7种垃圾回收器特点，优劣及使用场景 一、常见垃圾收集器 ==++++常见的垃圾回收器种类++++== 新生代收集器SerialParNewparallel 老年代收集器Ser...
发简信
IP属地：广东
-
7种垃圾回收器特点，优劣及使用场景 -
JVM底层原理、四大垃圾回收算法详解(长文警告)转载请注明出处：https://www.jianshu.com/p/9e6841a895b4[https://www.jianshu.com/p/9e6841a895b4] ...
-
Spring Boot 整合 RocketMq
官方有专门的springboot-starter:https://github.com/apache/rocketmq-externals/blob/master/rocke...
-
-
这也许是你看到过的最通俗易懂的ElasticSearch文章了（理论篇）本周在数据库研发和运营组做了关于ELK的分享，这个分享主要是居于ES部分做的相关理论和测试的结论。下面是对此次分享的文字版整理，希望对研究学习ElasticSearch的朋友...
-
hadoop常见的面试题一、hdfs上传和下载文件流程 hdfs上传 客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照块的大小进行分块(hadoop...
-
Hbase技术详细学习笔记最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase...
-
hadoop设计原理一、hadoop概念 Hadoop由两部分组成，一是负责存储与管理文件的分布式文件系统HDFS、二是负责处理与计算的MapReduce的计算框架。 二、HDFS1.namen...
-
DAGScheduler源码分析(stage划分算法)
DAGScheduler的stage划分算法总结:会从触发action操作的那个rdd开始反向解析,首先会为最后一个rdd创建一个stage,反向解析的时候，遇到窄依赖就把当...
-
Spark性能优化之shuffle性能优化1.没有开启consolidation机制的性能低下的原理剖析 2.开启consolidation机制的性能低下的原理剖析 new SparkConf().set("spar...
-
Spark性能优化之数据本地化
一、数据本地化背景 数据本地化对于Spark job性能有着巨大的影响。如果数据以及要计算它的代码一起的,那么性能当然非常高，但是，如果数据和计算它的代码是分开的，那么其中之...
-
Spark性能优化之提高并行度实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。 Spark会自动设置以文件作为输...
-
Spark性能优化之Java虚拟机垃圾回收调优一、Java虚拟机垃圾回收调优的背景 如果在持久化RDD的时候,持久化了大量数据，那么Java虚拟机的垃圾回收就可能成为一个性能瓶颈。因此Java虚拟机会定期进行垃圾回收，此...
-
Spark性能优化之RDD持久化或Checkpoint1.使用序列化的持久化级别 除了对多次使用的RDD进行持久化操作之外，还可以进一步优化其性能。因为很有可能，RDD的数据是持久化到内存，或者磁盘中的。那么，此时，如果内存大小...
-
Spark性能优化之优化数据结构
一、前言 其实主要就是优化算子函数,内部使用到局部数据,或是算子函数外部数据，都可以进行数据结构优化,优化之后,都会减少其对内存的消耗和占用。 二、如何优化数据结构 优先使用...
-
Spark性能优化之高性能序列化类库
一、高性能序列化类库 数据序列化概述 1)在任何分布式系统中，序列化都是扮演着一个重要的角色的。如果使用的序列化技术，在执行序列化操作的时候很慢，或者是序列化后的数据还是很大...
-
