Spark入坑 - 文集

Spark入坑

207篇文章 · 113145字 · 11人关注

207、Spark 2.0之Structured Streaming：基于checkpoint的容错机制
容错机制如果实时计算作业遇到了某个错误挂掉了，那么我们可以配置容错机制让它自动重启，同时继续之前的进度运行下去。这是通过checkpoint和...

0.1 1387 0 1
206、Spark 2.0之Structured Streaming：管理streaming query
管理streaming query

0.1 371 0 1

205、Spark 2.0之Structured Streaming：output mode、sink以及foreach sink详解
output操作定义好了各种计算操作之后，就需要启动这个应用。此时就需要使用DataStreamWriter，通过spark.writeStr...

0.1 1712 0 1
204、Spark 2.0之Structured Streaming：对流式的dataset和dataframe执行计算操作
基础操作：选择、映射、聚合我们可以对流式dataset/dataframe执行所有类型的操作，包括untyped操作，SQL类操作，typed...

0.1 670 0 1
203、Spark 2.0之Structured Streaming：创建流式的dataset和dataframe
创建流式的dataset和dataframe 流式dataframe可以通过DataStreamReader接口来创建，DataStreamRe...

0.1 390 0 1
202、Spark 2.0之Structured Streaming：编程模型
Structured Streaming基础编程模型 structured streaming的核心理念，就是将数据流抽象成一张表，而源源不断过...

0.1 488 0 1
201、Spark 2.0之Structured Streaming：wordcount入门案例
Structured Streaming structured streaming是一种可伸缩的、容错的、基于Spark SQL引擎的流式计算引...

0.1 552 0 1

200、Spark 2.0之Structured Streaming：深入浅出的介绍
流式计算大多数的流式计算引擎（比如storm、spark streaming等）都仅仅关注流数据的计算方面：比如使用一个map函数对一个流中每...

0.1 902 0 1
199、Spark 2.0之Dataset开发详解-其他常用函数
日期函数：current_date、current_timestamp数学函数：round随机函数：rand字符串函数：concat、conca...

0.1 844 0 1