scott_alpha

一.目录 本系列文章对Hadoop知识进行复盘。分为四个阶段，Copy阶段，Merge阶段，Sort阶段，Reduce阶段。如下为ReduceTask类的runNewRedu...

scott_alpha

一.目录 本系列文章对Hadoop知识进行复盘。分为五个阶段，Read阶段，Map阶段，Collect阶段，溢写阶段，Combine阶段。如下为MapTask类的runNew...

scott_alpha

一.目录 本系列文章对Hadoop知识进行复盘。分为两个阶段，建立连接阶段，提交job阶段。 二.建立连接 客户端提交MR程序后，首先是运行job.waitForComple...

scott_alpha

链接失效了，能再发一份吗

UltraEdit for Mac安装包、破解文件和破解教程

UltraEdit是一套功能强大的文本编辑器，可以编辑文本、十六进制、ASCII码，可以取代记事本，内建英文单字检查、C++及VB指令突显，HTML标签颜色显示、搜寻替换以及...

景彧

14045 15 10

scott_alpha

抽象类：如果一个类含有抽象方法，则称这个类为抽象类，抽象类必须在类前用abstract关键字修饰。由于抽象方法只有声明而没有具体的实现，所以不能用抽象类创建对象。如果一个类继...

scott_alpha

paxos算法是一种基于消息传递的且具有高度容错性的一种算法，解决的问题是一个分布式系统如何就某个值达成一致。该算法的前提是假设不存在拜占庭将军问题。在该算法中一共有三种角色...

scott_alpha

主要通过事务日志以及数据快照来实现。事务日志：记录了对zookeeper的操作，以axid命名，可以快速的定位到查询的事务。同时采用磁盘预分配策略，未使用的部分写为0，避免每...

scott_alpha

zookeeper中的ACL由三部分组成：权限模式、授权对象、权限权限模式：IP digest world super

scott_alpha

zookeeper中的事务都是由一个全局唯一的ID称为zxid，zxid由两部分组成：一部分为leader周期epoch，一部分为递增计数器。从算法的角度描述数据同步的过程：...

scott_alpha

2pc,3pc,paxos,zab在分布式应用中，每个节点都知道自己的事务提交的结果是成功或者失败，但是无法直接获取其他分布式节点的结果。因此需要一个协调者，其他节点成为参与...

scott_alpha

zookeeper为分布式应用提供了一个高效可靠的分布式协调服务，实现依赖于ZAB协议，实现了一种主备模式的架构来保持集群中数据的一致性。zookeeper使得分布式应用通过...

scott_alpha

char类型变量是用来存储Unicode编码的字符的，Unicode编码字符集中包含了汉字，所以，char型变量中当然可以存储汉字。不过，如果某个特殊的汉字没有被包含在Uni...

scott_alpha

repartition和coalesce两个都是对RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现。假设RDD有N...

scott_alpha

RDD的任一分区出现故障，都可以根据依赖的RDD恢复过来。由于spark streaming中的所有数据的变换操作都是基于RDD的，因此只要输入数据集存在，所有的中间结果就可...

scott_alpha

https://www.2cto.com/net/201612/575696.html1.Broadcast Join在数据库的常见模型中（比如星型模型或者雪花模型），表一般...

scott_alpha

RDD由以下几个主要部分组成：partitions，partition集合，一个RDD中有多个data partitiondependencies，RDD依赖关系，即对其他R...

scott_alpha

HashPartitioner分区原理很简单，对于给定的key计算hashcode，并除以分区的个数取余，最后返回的值就是这个key所属的分区ID。从HashPartitio...

scott_alpha

优点：spark streaming会被转化为spark作业执行，由于spark作业依赖DAGScheduler和RDD，所以是粗粒度方式而不是细粒度方式，可以快速处理小批量...

scott_alpha

运行时间优化：1.合理设置批处理时间2.减少数据序列化、反序列化的负担。DStream同样也能通过persist()方法将数据流存放在内存中，默认的持久化方式是MEMORY_...