JMM JMM(Java内存模型,Java Memory Model)本身是一种抽象的概念,并不真实存在,它描述的是一组规则或规范,通过规范定制了程序中的各个变量的访问方式。...
synchronized synchroized 是一个重量级锁,但是现在经过优化后,引入了自旋锁、锁消除、锁粗化、偏向锁、轻量级锁、重量级锁后已经不是很笨重了。 synch...
Spark GraphX概述 GraphX是Spark的一个组件,专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD:定向多图,其属性附...
@哇哈哈_8816 主要是联系一下如何搭建,我后来用三个阿里云机器,都是1C2G的,自己玩还行
阿里云使用Docker搭建Hadoop集群摘要 吐血整理,搭建了两遍,亲测可用!!!我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本。在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7....
Spark Streaming 随着大数据技术的不断发展,人们对于大数据的实时性处理要求也在不断提高,传统 的 MapReduce 等批处理框架在某些特定领域,例如实时用户推...
Spark SQL Spark SQL的概述 Hive的诞生,主要是因为开发MapReduce程序对 Java 要求比较高,为了让他们能够操作HDFS上的数据,推出了Hive...
序列化 在实际开发中会自定义一些对RDD的操作,此时需要注意的是: 初始化工作在Driver端进行的 实际运行程序是在Executor端进行的 那么在这个过程就涉及到网络通信...
RDD编程 什么是RDD RDD是Spark的基石,是实现Spark数据处理的核心抽象。RDD是一个抽象类,它代表一个不可变、可分区、里面元素可并行计算的集合。 RDD(Re...
前言 内容: MapReduce、Spark、Flink(实时)=> 3代计算引擎,昨天、今天、未来 MapReduce、Spark:类MR引擎,底层原理非常相似,数据分区、...
隐式机制及Akka 隐式转换 隐式转换和隐式参数时Scala中两个非常强大的功能,利用隐式转换和隐式参数,可以提供类库,对类库的使用者隐匿掉具体细节。 Scala会根据隐式转...
集合 可变和不可变集合 根据容器中元素的组织方式和操作方式,可以分为有序和无序、可变和不可变等不同容器类别。 不可变集合:是指集合的元素一但初始化完成就不可在进行更改,任何对...
函数及抽象化 函数字面量及函数的定义 Scala中函数为头等公民,不仅可以定义一个函数然后调用它,还可以写一个未命名的函数字面量,然后可以把它当成一个值传递到其它函数或是赋值...
模式匹配和样例类 模式匹配 Scala没有Java中的switch case,它有一个更加强大的模式匹配机制,可以应用到很多场合。 Scala的模式匹配可以匹配各种情况,比如...
继承与特质 继承 继承的概念 使用extends关键字: 构造器的执行顺序 Scala在继承的时候构造器的执行顺序:首先执行父类的主构造器,其次执行子类自身的主构造器。 类有...
类和对象 Scala是一个函数式面向对象语言 什么是面向对象? 面向对象是一种变成语言,它是基于面向过程的,强调的是以对象为基础完成各种操作 三大特点: 跟符合程序员的思考习...
数组与元组 数组定义 数组几乎是所有语言中最基础的数据结构,数组可索引、类型一致、长度不变 Scala数组分为定长数组和变长数组 定长数组:Array 变长数组:ArrayB...