大数据修行

1.自我介绍2.HBase1.compaction2.列族和HFile3.何时用hdfs何时用hbase4.meta表3.hive1.内部表外部表2.开窗函数3.udf函数4...

大数据修行

菜单新建打开已保存另存为导出打印主题偏好设置关于关闭Future的使用 get(long timeout, TimeUnit unit)package java.util.c...

大数据修行

1.Client 提交一个job2.ResourceManager分配资源，在NodeManager上启动AppMaster3.AppMaster在RecourceManag...

大数据修行

fastdisk 10xmemory 100x easycodeinteractive shell unified stackbatchstreamingmlib deplo...

大数据修行

1. a list of partitions 2. a function for computing each split 3. a list dependencies o...

大数据修行

准备一份数据/home/admin/data/helloworld.txt 按照词频排序

大数据修行

先准备两个rdd数据 1.a join b得到的结果 2.a leftOuterJoin b得到的结果 3.a rightOutJoin b得到的结果 4.a fullOut...

大数据修行

1.transformation lazy:仅仅记录transformation路径，不发生操作 map 对每一个元素进行转换 filter 对元素进行过滤3.flatmap...

大数据修行

1.通过集合生成 Spark will run one task for each partition of the cluster.一个partition对应一个task ...

大数据修行

1.：n跳转到第n行2.：set number显示行数3.：dd删除当前行4.：u撤回5.：G到末尾6.: gg到开头

大数据修行

1、安装bzip2以及各种依赖yum -y install wget gcc gcc-c++ bzip2 bzip2-devel zlib zlib-devel openss...

大数据修行

1.orderby全局排序2.sortby 分区排序3.distributeby 分区4.clusterby 相当于sortby和distributeby的key相同的时候