海牛大数据_青牛老师

mapreducer是经典的计算框架，是学习大数据处理的基础，请带着这句话“化大为小，分而治之” 点击下面连接按笔记顺序进行学习 mapreducer 原理[http://...

海牛大数据_青牛老师

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装...

海牛大数据_青牛老师

23 Actor 并发编程模型 23.1 Actor概述 为什么要学习actor? 我们现在学的Scala Actor是Scala 2.10.x版本及以前版本的Actor； ...

海牛大数据_青牛老师

22 泛型 泛型就是不确定的类型，可以在类或方法不确实传入类型时使用，可以提高代码的灵活性和复用性； scala中泛型的用法和java中差不多，但是会有一些自己独特的语法； ...

海牛大数据_青牛老师

21 隐式转换 作用：能够丰富现有类库的功能，对类的方法进行增强，常用作类型转换也就是把一个类型转赋予另一个类的功能； 隐式转换应用场景 隐式转换函数、隐式值、隐式参数、隐式...

海牛大数据_青牛老师

20 柯理化 是把接受多个参数的函数变成接受一个参数的函数； 柯理化的两种表现形式： 以 加法函数为例： 在柯理化形式的基础上，固定一个参数，传入一个参数 柯里化函数，配合i...

海牛大数据_青牛老师

17 抽象类（abstract class）与 特质（trait） 抽象类： 特质： 重写： 特质和抽象类的使用区别： 下面分别详细说明 17.1 抽象类 1）重写父类的非抽...

海牛大数据_青牛老师

18 高阶函数 在数据和计算中，高阶函数是至少满足下列一个条件的函数： 输出一个函数 传入的是一个函数 传入函数 (Int,Int) => Int 传入函数 Int => I...

海牛大数据_青牛老师

16 样例类和样例对象 样例类 在class 前加上 case 关键字，这样的类称为样例类。默认实现了Serializable接口，可以封装数据。 scala 为每一个样例类...

海牛大数据_青牛老师

13 private关键字总结 修饰class 1、在class前面使用private可以被相同包（包含递归子包）访问（能引入类）； 2、在class前面使用private[...

海牛大数据_青牛老师

15 apply和unapply方法 apply、unapply方法都被隐式的调用 apply方法： apply方法定义在object对象 apply方法定义在class上 ...

海牛大数据_青牛老师

14 模式匹配 14.1 match 语句 match 语句用在当需要从多个分支中进行选择的场景，类似于java 中的switch 语句。 语法： 其中： 1）case 后面...

海牛大数据_青牛老师

11 单例对象 在scala中没有像java一样的static关键字； 在scala中是没有静态方法和静态字段的，但是可以使用object关键字加类名的语法结构实现同样的功能...

海牛大数据_青牛老师

9 类 定义语法： 其中： 类中的属性： 可以分为可变(var)和不可变(val) 访问修饰可以分 private 和 private[this] 示例： private 与...

海牛大数据_青牛老师

8 集合常用方法和函数操作 foreach oreach 方法的原型： 该方法接受一个函数 f 作为参数， 函数 f 的类型为Elem => U，即 f 接受一个参数，参数的...

海牛大数据_青牛老师

配置文件 cdh yarn界面下载客户端配置文件 下载后放在代码的conf目录中，下载krb5.conf与keytab文件放入conf文件夹中，如下： 代码结构 pom文件 ...

海牛大数据_青牛老师

4 建立文件和目录 4.1 建立目录：mkdir 命令格式： 命令功能： 参数： -m：--mode=模式，设定权限<模式> (类似 chmod)，数字类型；rwx 421 ...

海牛大数据_青牛老师

1 linux目录结构 bin： 存放二进制可执行文件(ls,cat,mkdir等) boot： 存放用于系统引导时使用的各种文件 dev： 用于存放设备文件 etc：存放系...

海牛大数据_青牛老师

6 数据结构 不可变集合层次结构： 可变集合层次结构： 6.1 数组 1）定长数组 注意： 2）变长数组 不能直接使用，需要引用ArrayBuffer这个类，不引入就找不到这...