前面讲到了RDD的分区、RDD的创建，这节将讲解RDD的转换，RDD的转换就是从父RDD生成一个新的RDD，新的RDD分区可能和父RDD一致也可能不再一致。常用的转换函数: ...
发简信
IP属地：河南
-
SPARK[RDD之转换函数]
-
SPARK[RDD之创建函数]
RDD的创建大多数情况下是从hdfs文本来的，当然也可以从其他组件接入进来，如kafka、hbase等，后续介绍 创建类型： 1、文本类型没有指定分区个数的，如果是hdfs则...
-
SPARK[RDD之分区函数]
rdd的计算都是以partiotion为单元的，这些分区的转换函数(见后面的章节)不会直接返回结果。当出现collect,count,toList,print才会真正执行。 ...
-
SPARK[RDD之partitions]
RDD是容错、并行的数据结构，具备分区的属性，这个分区可以是单机上分区也可以是多机上的分区，对于RDD分区的数量涉及到这个RDD进行并发计算的粒度。每一个分区都会在一个单独的...
-
SPARK[RDD之dependencies]
Resilient Distributed Datasets [rɪ'zɪlɪənt] 准确翻译为 容错的 并行的 数据结构 而不是弹性分布式数据集合RDD提供了丰富的集合...
-
SPARK[star]
AMPAlgorithms 算法Machines 机器people 人 spark较mapreduce快100倍的原因：内存数据、调度优化、传输优化、DAG执行引擎。 一...
-
HBASE[3]建表考虑hbase建表在hbase中的表，表大小可以使10亿行和数百万个列，存储量是其他任何radbms无法比拟的，查询更新等待时间并丝毫不比radbms慢，反而会快的很多。当然缺点...
-
-
MySql高效应用(1)客户端 -->解析优化-->缓存-->存储引擎 并发控制 1、串行(队列)执行2、读(共享锁) 写(排他锁)锁 锁粒度 1、表锁2、行锁 行锁实现层在存储引擎上，mysql不...
-
Mac 优化工具 Dr. Cleaner RD<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fappletuner.trendmicro.com" target="_blank">http://appletuner.trendmicro.com</a>
-
What does the sun.reflect.CallerSensitive annotation mean?
在class.forName(String)中： Reflection.getCallerClass()返回调用此方法的方法调用者的类，忽略关联的框架及其实现。JVM将跟踪这...
-
借一斑略知全豹，以一目尽传精神。 投稿须知： 1.本专题收录各种类型短篇小说，内容须言 之有物。 2.内容须为原创，结构完整（未完待续及连 载小说请勿投）。 3.字数要求：三千字以上，三万字以下。 4.文章排版整洁，段落分明，无明显错别 字。 5.优秀短篇，编辑将会手动加入短篇小说月刊专题，并邀请加入优秀作者群。 更多投稿要求请点击《短篇小说专题投稿指南》https://www.jianshu.com/p/e46829ef7a33 专题主编：苏小飞 https://www.jianshu.com/u/7ef36743bc26 申请短篇小说专题群交流学习，请添加主编苏小飞微信13953505883，编辑李布波微信18764407758。加微信请备注“短篇小说群”。
