本文基于Spark2.1.0版本套用官文Tuning Spark中的一句话作为文章的标题： *Often, choose a serialization type will ...
发简信
IP属地：上海
-
利用Kryo序列化库是你提升Spark性能要做的第一件事 -
利用Spark提供的属性来提升Spark Web UI的安全性本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如无特殊说明，本文的Spark Web UI，特指: [Driver Web UI]（默认是http://运...
-
当CPU飙高时，它在做什么在开发过程中，有时候我们发现JVM占用的CPU居高不下，跟我们的预期不符，这时，CPU在做什么呢？是什么线程让CPU如此忙碌呢？我们通过如下几步，可以查看CPU在执行什么线程...
-
一个Spark DataFrame操作的例子
1 定义数据库连接 2 读取两个表 3 连接 使用join，默认是left out join。条件判断是相等。然后删除掉一个重复的列card_id。 4 统计 group b...
-
使用bind架设内网dns
在之前的spark on yarn集群配置中，感觉最麻烦的就是各个机器之间的网络配置了，一直想简化这部分的工作。一开始的办法是一台机器一台机器的编辑/etc/network/...
-
Java 8并发工具包漫游指南Java 8并发工具包简介 Java 8并发工具包由3个包组成，分别是java.util.concurrent、java.util.concurrent.atomic和jav...
-
Spark 开发初步开始着手分析数据，数据是导出成csv格式的文本文件，每一行格式如下： 1701170830490656,"2014-01-06 22:31:18.608000",8.64,1...
-
Spark On Yarn部署本文使用的软件环境同第一篇，另增加了hadoop的环境： Linux 4.4.0-62-generic #83-Ubuntu x86_64 GNU/Linuxjava ver...
