由于工作需要，这边需要学习大数据，先从spark开始，主要是从blibli的黑马程序员那里学习的，下面将记录重点
1. Spark简介
Spark是一款分布式内容计算的同意分析引擎，其特点就是对任意类型的数据进行自定义计算。
2. Spark VS Hadoop
对比图
尽管Spark相对于hadoop而言具有较大优势，但spark并不能完全替代hadoop
- 在计算层面，Spark相比较MR（MapReduce）有巨大优势，但纸巾仍有许多计算工具基于MR构架。
- Spark仅做计算，而Hadoop生态圈不仅有计算（MR）也有存储（HDFS）和资源管理制度（YARN），HDFS和TARN仍是许多大数据体系的核心架构
3. Spark特点
快
- Spark处理数据时，可以将中间处理结果数据存储到内存中
- Spark提供了非常丰富的算子（API），可以做到复杂任务在一个Spark程序中完成
简单运用
编程比较简单
通用性强
提供了很多模块、同时也有多个代码API
通用性强
运行方式
支持多种运行方式，包括在Hadoop和Mesos上，也支持Standalone的独立运行模式，同时也可以运行在云Kubernetes上。对于数据源而言，Spark支持从HDFS、Hbase、Cassandra以及Kafka等多种途径获取数据。
4. SPark框架模块
- Spark Core：Spark的核心，Spark功能均由Spark Core模块提供，Spark COre以RDD为数据抽象，提供Python、Java、Scale、R语言的API，可以变成金星海量离线数据批处理计算。
- SparkSQL：基于Spark Core之上，提供结构化数据的处理模块。SparkSQL支持SQL，提供离线计算场景。同时基于SparkSQL，Spark提供了StructureStreaming模块，可以以SparkSQL为基础，进行数据的流式计算
- SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。
- MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法。方便用户以分布式计算的模式进行机器学习计算。
- GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。
5. Spark运行模式
下面列举几种本地模式
- 本地模式（单机）：一个独立的进程，通过其他内部的多个线程来模拟整个Spark运行时的环境
- Standalone模式（集群）：SPark中的各个角色以独立进程的形式存在。并组成Spark集群环境
- Hadoop YARN模式（集群）：Spark中的各个角色运行在YARN的容器内部，并组成Spark的集群环境
- Kubernetes模式（容器集群）：Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境
- 云服务模式（运行在云平台上）：
参考：https://www.bilibili.com/video/BV1Jq4y1z7VP?p=3&vd_source=4f8aa8eaabf77c7c85e5cab32d59ed0c
