Approach : Flume-style Push-based Approach Flume 可以使用push的方式来整合spark-streaming主要步骤为： 创建...
发简信
IP属地：湖南
-
Flume Push方式整合Spark-Streaming
-
Flume Pull方式整合Spark-Streaming
Approach: Pull-based Approach using a Custom Sink Flume的sink不直接连接Spark组件，而是存到一个Customer...
-
JVM类的加载过程
一、loading 加载 该加载是狭义上的，指将class文件从外部加载到内存中 class文件来源可以有： 过程分为： 1、通过一个类的全限定名获取此定义类的二进制...
-
groupByKey、reduceByKey、aggregateByKey区别
三者都可以做分组操作。reduceByKey、aggregateByKey不但分组还做了聚合操作 groupByKey直接进行shuffle操作，数据量大的时候速度较慢。 r...
-
Spark三大数据结构RDD: 弹性分布式数据集 RDD特点 数据集：RDD是spark中最常见的数据结构。RDD中不直接存储数据，只存储了数据的计算逻辑，只有当action算子被触发的时候，才会...
-
Flume概览一、Flume 核心组件 一个Flume处理组件组成成为Agent 1）Soucrce 用来收集数据，是数据的来源， 2）Channel 用来暂时缓存数据，可以是在内存中、文...
-
离线计算和实时计算的对比数据来源 1）数据来源 离线计算：HDFS 历史数据等，一般数据规模比较大 实时计算：一般来自于消息队列（kafka等），实时地新增、修改记录过来的某一笔数据。 2）处理过程...
-
@CoderJed 嗯嗯解决了 有个jar包缺失了
spark读写HBase之使用hortonworks的开源框架shc（二）：入门案例
shc测试环境的搭建参考：spark读写HBase之使用hortonworks的开源框架shc（一）：源码编译以及测试工程创建 读写HBase需要两个核心的元素： 用户描述数...
-
spark读写HBase之使用hortonworks的开源框架shc（二）：入门案例shc测试环境的搭建参考：spark读写HBase之使用hortonworks的开源框架shc（一）：源码编译以及测试工程创建 读写HBase需要两个核心的元素： 用户描述数...
-
spark01是我的一台server的名字
spark读写HBase之使用hortonworks的开源框架shc（二）：入门案例
shc测试环境的搭建参考：spark读写HBase之使用hortonworks的开源框架shc（一）：源码编译以及测试工程创建 读写HBase需要两个核心的元素： 用户描述数...
-
你好，我按照你的步骤做完在local上可以执行成功，用spark-submit提交到集群中报错
zookeeper.ClientCnxn: Opening socket connection to server spark01/192.168.216.129:2181. Will not attempt to authenticate using SASL (unknown error)
集群的hosts文件是配好的spark读写HBase之使用hortonworks的开源框架shc（二）：入门案例
shc测试环境的搭建参考：spark读写HBase之使用hortonworks的开源框架shc（一）：源码编译以及测试工程创建 读写HBase需要两个核心的元素： 用户描述数...
