大哥有没亲自运行下程序？？？！！！！
Java的BitSet原理及应用原理 众所周知，Java的BitSet使用一个Long（一共64位）的数组中的没一位（bit）是否为1来表示当前Index的数存在不。但是BitSet又是如何实现的呢？其实只...
发简信
IP属地：北京
-
-
博主 方法2 可以解释一下吗
如何使用spark实现topN的获取
方法1：按照key对数据进行聚合(groupByKey)将value转换为数组，利用sortBy或者sortWith进行排序val rddData1 = sparkSessi...
-
堆外内存少一次拷贝
Netty中的坑(下篇)
其实这篇应该叫Netty实践，但是为了与前一篇名字保持一致，所以还是用一下坑这个名字吧。 Netty是高性能Java NIO网络框架，在很多开源系统里都有她的身影，而在绝大多...
-
没明白什么意思，可以解释一下吗
解决Spark Streaming写入HDFS的小文件问题
今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。 我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果...
-
【Spark实战】Spark之读写HBase1 配置 1.1 开发环境： HBase：hbase-1.0.0-cdh5.4.5.tar.gz Hadoop：hadoop-2.6.0-cdh5.4.5.tar.gz Zo...
-
stage最后一个rdd的partition数就是该stage的并行度
解决Spark Streaming写入HDFS的小文件问题
今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。 我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果...
-
分区数之间的比例悬殊。比如原有500个分区，减少到1个分区，就要将shuffle设为true，保证生成CoalescedRDD之前的操作有足够的并行度
这句话一开始没读懂现在懂了，博主高人啊解决Spark Streaming写入HDFS的小文件问题
今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。 我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果...
