1、目录、文件操作 pwd ( print working directory )查看当前所在路径--绝对路径 cd (change directory )切换目标 cd ....
发简信
IP属地：宁夏
-
git Bash 命令行大全
-
Spark远程调试
start-all.sh -> start-master.sh -> start-slaves.sh 1.Master启动的脚本start-master.sh -> spa...
-
Hadoop重新格式化HDFS的方法
一、记一次“不合格”的方法 这种方法也是网上参考博客得来的，一开始就觉得有问题，后来真的发现了问题。 首先停止已经启动的hadoop： 然后查看hadoop配置文件hdfs-...
-
为VMware虚拟机内安装的Ubuntu 16.04设置静态IP地址1.安装环境 VMware 10.0.4 build-2249910 Ubuntu 16.04 x86_64 2.在VMware中，配置网络环境 VMware在默认安装完成之...
-
Spark Core源码精读计划#5：事件总线及ListenerBus目录 前言 Spark事件总线概述 ListenerBus特征addListener()与removeListener()方法doPostEvent()方法postToAll...
-
一张图读懂非公平锁与公平锁在Java并发编程中，公平锁与非公平锁是很常见的概念，ReentrantLock、ReadWriteLock默认都是非公平模式，非公平锁的效率为何高于公平锁呢？究竟公平与非公...
-
Spark延迟任务调度-实例分析
最近在看Spark任务调度，尤其是延迟调度这块，翻了好多资料与博客都是发现延迟调度中是这样介绍的：“在为任务分配节点时（executor），先判断任务的最佳运行节点是否空闲，...
-
有结论了吗请问
Spark的位置优先: TaskSetManager 的有效 Locality Levels
based on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages tag 上，我们可以看到这个的表...
-
此处猜想了一下，如果是Shuffle过程中的ReduceTask，则其输入RDD的 PreferredLocations 是什么呢？ 其数据来自许多host，locality levels 该是什么呢？ 如果按照延迟调度中的说法，NO_PREF没有本地性偏好（maxLocality ！= TaskLocality.NO_PREF ），是不是ReduceTask所对应的locality level 为NO_PREF? 不知道是否正确
-
-
Spark shuffle中 reduce task是怎么拉取数据的？1.map task 执行完毕后会将计算状态以及磁盘小文件位置等信息分装到mapStatue对象中，然后由本进程中的MapOutPutTrackerWorker对象将mapS...
-
Java开发，不定期更新（没啥事不会更新）。
-
Spark Core源码精读计划#14：Spark Web UI界面的实现目录 前言 创建SparkUISparkContext中的操作初始化SparkUI WebUI的具体实现属性成员和Getter方法WebUI提供的attach/detach类...
-
楼主，如果不指定分区，shuffle前和shuffle后的分区数量是不变的吧。
Java Spark 简单示例（七） RDD分区 分区划分器
大数据学习交流微信群 更多RDD的信息参考：https://www.cnblogs.com/qingyunzong/p/8899715.html 分区 在Spark程序中，R...
-
机器学习----朴素贝叶斯算法浅析和spark MLlib实现文/michael 前言 最近研究下Machaine Learning，这篇文章作为开始吧。 贝叶斯 贝叶斯（Bayes）算法是什么？ 我们在大学时都知道概率论吧，条件概率，...
-
程序员谈求职系列之求内推的正确姿势
前言 大家好，我是光源。 我曾经在学生时代各种找内推（基本都得到了内推），也在来到网易后各种被找内推，所以对内推的套路还是挺了解。 “求内推”可是个技术活，你找准姿势了么？ ...
