1. zookeeper 在 kafka 中起到什么作用 Controller 选举Controller 是一个特殊的 Broker, 其负责维...
11. mapreduce 的 shuffle 调优参数 具体参考:MapReduce Shuffle性能调优 Map 端优化参数 Reduce...
一、 hadoop 离线部分 1. hadoop HA 集群都要启动哪些进程,他们的作用是什么 Namenode:(1) 维护文件系统的目录树,...
1.什么是 Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分...
一、Spark 集群安装 修改 spark-env.sh 文件,在该配置文件中添加如下配置 修改 slaves 文件,加入节点。 发送到其他机器...
背景介绍:学会 akka 编程,自己编写一个分布式的 RPC 通信框架,为学习 spark 的源码做准备。 一、Akka 简介 Akka 基于 ...
注:我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中,作...
一、Scala 基础 变量 定义方法和函数 定义方法: 定义函数: 3. apply 方法 通常我们会在类的伴生对象中定义apply方法,当遇到...
一、多线程 说明下线程的状态 java中的线程一共有 5 种状态。 NEW:这种情况指的是,通过 New 关键字创建了 Thread 类(或其子...