奋斗的蛐蛐

JMM JMM(Java内存模型，Java Memory Model)本身是一种抽象的概念，并不真实存在，它描述的是一组规则或规范，通过规范定制了程序中的各个变量的访问方式。...

奋斗的蛐蛐

synchronized synchroized 是一个重量级锁，但是现在经过优化后，引入了自旋锁、锁消除、锁粗化、偏向锁、轻量级锁、重量级锁后已经不是很笨重了。 synch...

奋斗的蛐蛐

Spark GraphX概述 GraphX是Spark的一个组件，专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD：定向多图，其属性附...

奋斗的蛐蛐

Spark Streaming 随着大数据技术的不断发展，人们对于大数据的实时性处理要求也在不断提高，传统 的 MapReduce 等批处理框架在某些特定领域，例如实时用户推...

奋斗的蛐蛐

Spark SQL Spark SQL的概述 Hive的诞生，主要是因为开发MapReduce程序对 Java 要求比较高，为了让他们能够操作HDFS上的数据，推出了Hive...

奋斗的蛐蛐

序列化 在实际开发中会自定义一些对RDD的操作，此时需要注意的是： 初始化工作在Driver端进行的 实际运行程序是在Executor端进行的 那么在这个过程就涉及到网络通信...

奋斗的蛐蛐

RDD编程 什么是RDD RDD是Spark的基石，是实现Spark数据处理的核心抽象。RDD是一个抽象类，它代表一个不可变、可分区、里面元素可并行计算的集合。 RDD（Re...

奋斗的蛐蛐

前言 内容： MapReduce、Spark、Flink（实时）=> 3代计算引擎，昨天、今天、未来 MapReduce、Spark：类MR引擎，底层原理非常相似，数据分区、...

奋斗的蛐蛐

隐式机制及Akka 隐式转换 隐式转换和隐式参数时Scala中两个非常强大的功能，利用隐式转换和隐式参数，可以提供类库，对类库的使用者隐匿掉具体细节。 Scala会根据隐式转...

奋斗的蛐蛐

集合 可变和不可变集合 根据容器中元素的组织方式和操作方式，可以分为有序和无序、可变和不可变等不同容器类别。 不可变集合：是指集合的元素一但初始化完成就不可在进行更改，任何对...

奋斗的蛐蛐

函数及抽象化 函数字面量及函数的定义 Scala中函数为头等公民，不仅可以定义一个函数然后调用它，还可以写一个未命名的函数字面量，然后可以把它当成一个值传递到其它函数或是赋值...

奋斗的蛐蛐

模式匹配和样例类 模式匹配 Scala没有Java中的switch case，它有一个更加强大的模式匹配机制，可以应用到很多场合。 Scala的模式匹配可以匹配各种情况，比如...

奋斗的蛐蛐

继承与特质 继承 继承的概念 使用extends关键字： 构造器的执行顺序 Scala在继承的时候构造器的执行顺序：首先执行父类的主构造器，其次执行子类自身的主构造器。 类有...

奋斗的蛐蛐

类和对象 Scala是一个函数式面向对象语言 什么是面向对象？ 面向对象是一种变成语言，它是基于面向过程的，强调的是以对象为基础完成各种操作 三大特点： 跟符合程序员的思考习...

奋斗的蛐蛐

数组与元组 数组定义 数组几乎是所有语言中最基础的数据结构，数组可索引、类型一致、长度不变 Scala数组分为定长数组和变长数组 定长数组：Array 变长数组：ArrayB...