原文：https://tech.meituan.com/spark-tuning-basic.html Spark性能优化指南——基础篇 前言 在大数据计算领域，Spark已...
IP属地：广东
-
Spark性能优化指南——基础篇 -
Flink 状态管理前言 在传统的批处理中，数据划分为一个个batch，然后每一个Task去处理一个batch。一个批次的数据通过计算处理输出就是最终的结果。对于state的需求不高 对于流计算...
-
Flink Window1.window 概述 streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集 Window窗口就在一个无界...
-
HBase之 数据刷写 (Memstore Flush) 详细说明本文转载自过往记忆（https://www.iteblog.com/）链接: 【HBase 入门之数据刷写(Memstore Flush)详细说明】（https://www....
-
Spark系列——Spark On Yarn 资源申请流程Spark On Yarn 资源申请流程 Client 模式因为是Client模式，所以当我们 Spark-Submit 提交Spark任务的时候，会直接走到我们的main方...
-
Kafka 重平衡 全流程解析前言 本文来自 极客时间 Kafka核心技术与实战这段时间有看 极客时间的这个课程,这里仅以分享的角度来做个笔记。那么本文将涉及到以下几个知识点： 重平衡是什么？为什么要了解...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消费者如何管理 offset 我之前有写一篇kafka Consumer — offset的控制如果你对于这方面的知识还不太清楚，建议你去看一下，毕竟理解了K...