Spark - 文集

Spark

48篇文章 · 58337字 · 7人关注

spark 基础四：内存分配
Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发S...

1.1 727 0 4
Spark Streaming（九）：性能调优
1、数据接收并行度调优 1、通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收成为系统...

0.2 322 0 1

Spark Streaming（八）：容错和事务
1、RDD容错 1、RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个...

0.2 628 0 1
Spark Streaming（七）：部署、升级和监控应用程序
1、部署应用程序 1、有一个集群资源管理器，比如standalone模式下的Spark集群，Yarn模式下的Yarn集群等；2、打包应用程序为一...

0.2 875 0 1
Spark Streaming（六）：缓存与持久化
1、概述与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persis...

0.2 1312 0 1
Spark Streaming（五）：与Spark SQL整合
Spark Streaming最强大的地方在于，可以与Spark Core、Spark SQL整合使用，之前已经通过transform、fore...

0.1 1391 0 1
Spark Streaming（四）：output操作
DStream中的所有计算，都是由output操作触发的，比如print()；如果没有任何output操作，那么就不会执行定义的计算逻辑。注：...

0.1 369 0 1

Spark Streaming（三）：DStream的transformation操作
1、updateStateByKey 作用可以让我们为每个key维护一份state，并持续不断的更新该state；使用1、首先，要定义一个st...

0.2 2662 0 2
Spark Streaming（二）：DStream数据源
1、输入DStream和Receiver 输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，...

0.1 1038 0 1