wisfern

Spark之参数介绍 Spark之性能优化2.1. 官方性能优化指南2.2. Spark性能优化指南——基础篇2.3. Spark性能优化指南——高级篇

wisfern

1 数据倾斜调优 1.1 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方...

wisfern

1 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、...

wisfern

1 spark on yarn常用属性介绍 2 客户端模式和集群模式的区别 这里我们要区分一下什么是客户端模式（client mode），什么是集群模式（cluster mo...

wisfern

由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网...