1.为应用构建基本运行环境，Driver 创建SparkContext进行资源的申请，任务的分配，监控。2.ClusterManager为Exe...
投稿
收录了19篇文章 · 3人关注
-
spark 运行架构
-
spark core
fastdisk 10xmemory 100x easycodeinteractive shell unified stackbatchstre...
-
RDD五大特性
1. a list of partitions 2. a function for computing each split 3. a list...
-
sparkcore进行wordcount词频统计
准备一份数据/home/admin/data/helloworld.txt 按照词频排序
-
sparkcore的join
先准备两个rdd数据 1.a join b得到的结果 2.a leftOuterJoin b得到的结果 3.a rightOutJoin b得到...
-
Rdd的操作
1.transformation lazy:仅仅记录transformation路径，不发生操作 map 对每一个元素进行转换 filter 对...
-
Rdd的创建
1.通过集合生成 Spark will run one task for each partition of the cluster.一个par...
-
hdfs ha架构
1.两个namenode，在同一个工作空间，一个active一个standby，只有一个是正在运行提供服务，有zookeeper控制2.data...
-
HBase上面regionserver宕机之后的处理
1.zookeeper上面没收到regionserver心跳，发现掉线2.HLog进行拆分，分配到相应的region上面3.region分发到相...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1701412/d88af094a85204887d03aa8de0c67cc7.jpg', '推荐专题《大数据学习之路》（ 分享自 @简书 ）','https://jianshuapi.com/c/5c7611a70b4f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}