1. 控制reduce端缓冲大小以避免OOM 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，r...
发简信
IP属地：四川
-
Spark故障排除
-
Spark 数据倾斜解决方案
Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。 例如，reduce点一...
-
Spark调优常规性能调优 1. 最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上...
-
Hive调优Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees; 在这种情况下，Hiv...
-
SpringCloud Eureka Server配置优化
1. Eureka的自我保护 默认情况下，如果EurekaServer在一定时间内（默认90秒）没有接收到某个微服务实例的心跳，Eureka Server将会移除该实例。但是...
-
Hbase数据模型及其架构原理HBase数据模型 逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个mul...
-
HDFS架构及其工作原理HDFS架构 NameNode: 就是Master，它就是一个主管，管理者（1）管理hdfs的名称空间（2）配置副本策略（3）管理数据块（Block）映射信息（4）处理客户端...
-
Kafka介绍及其工作原理Kafka是一个分布式，基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 基础架构 为了方便扩展，并提高吞吐量，一个topic分为多个partition 配合分区...
-
RocketMQ介绍及其工作原理RocketMQ是一个开源的分布式消息中间件。 集群架构与角色 Producer先去NameServer请求，NameServer分配一个Broker给Producer，Pr...
-
Spring源码剖析（二） - Bean对象的三级缓存前面讲到Spring在创建Bean的过程中使用了三级缓存来对Bean对象进行缓存。这个三级缓存是用来解决对象的循环依赖问题。 什么是对象的循环依赖？ 举个例子： class ...
-
Spring源码分析（一） - 概述以及Bean的创建应用上下文创建流程概览 源码剖析 创建Spring应用程序上下文 进入ClassPathXmlApplicationContext构造函数 （1）调用父类构造方法，创建Res...
-
FastDFS工作原理浅析什么是FastDFS FastDFS 是一个 C 语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持 Linux、FreeBSD、AID 等 Un...
-
ElasticSearch相关性算分
搜索的相关性算分，描述了一个文档和查询语句匹配的程度。ES会对每个匹配查询条件结果进行算分_score. 打分的本质是排序，需要把最符合用户需求的文档排在前面。ES5之前，算...
-
ElasticSearch倒排索引及其原理正排索引：文档ID到文档内容和单词的关联 倒排索引：单词到文档ID的关系备注：ES对文档每个字段都有自己的倒排索引，可以指定某些字段不做索引，这样可以节省存储空间，缺点是这个...
-
Redis-Cluster浅析简述 redis cluster是Redis的分布式解决方案，在3.0版本推出后有效地解决了redis分布式方面的需求. 自动将数据进行分片，每个master上放一部分数据，...
-
Redis内存淘汰策略
当Redis内存超过最大允许的内存之后，Redis就会触发内存淘汰策略(阈值可配置) 早期Redis版本：allkeys-random：在所有的缓存中随机删除（不推荐）all...
-
Redis缓存穿透，击穿，雪崩缓存穿透 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求。由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数...
-
Redis跳表，压缩表，quicklist跳表(skiplist) 跳表由多层链表组成，通过先比较上一层的大小，就可以很快找到该值在下一层的区间范围。时间复杂度为log(n). Redis的zset，有序集合，是字典...
-
Redis持久化机制一，RDB 每隔一段时间，把内存中的数据写入磁盘的临时文件，作为快照，恢复的时候把快照文件读进内存。 优势 每隔一段时间备份，全量备份 灾备简单，可以远程传输 子进程备份的时...
-
Redis线程模型在Redis启动及初始化的时候,Redis会(预先)将连接应答处理器跟"AE_READABLE"事件关联起来,接着如果一个客户端向Redis发起连接,此时就会产生一个"AE_...