对于目前基于k8s的的spark应用，主要采用两种方式运行 spark原生支持的 spark on k8s[http://spark.apache.org/docs/3.0....
发简信
IP属地：北京
-
【k8s系列1】spark on k8s 与 spark on k8s operator的对比
-
Spark宽依赖和窄依赖深度剖析RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄...
-
Spark--Spark Shuffle发展史及调优方法资料整理，图片来源自互联网，如有侵权请联系删除--李小李 1-Spark Shuffle发展史 1.1 Shuffle概述 在Spark的源码中，负责shuffle过程的执行...
-
hadoop shuffle 过程MapReduce简介 在Hadoop MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很...
-
-
对象存储系统之一 openstack swift 详解本文借鉴了swift官方资料，以及网络公开可查的技术文档或者图片，非绝对原创，向开源领域的贡献者和传播者致敬。 openstack swift 架构简单介绍 Swift简介 ...
-
对象存储系统之二 ceph详解本文借鉴了ceph官方资料，以及网络公开可查的技术文档或者图片，非绝对原创，向开源领域的贡献者和传播者致敬。 架构简单介绍 Ceph介绍 Ceph是一个分布式存储系统，提供对...
-
来自农村的我，好想在城里买套房文/怀左同学 01 大四的时候，我跟着老潘工作过一段时间，他当时在做生意，而我，帮他看管其中的一处。 他比我大八九岁，聊城人，之前在北京工作了几年，面带风尘，用他的话来讲：“...
-
基础篇 | 一份Markdown新手的完全操作指南首先什么是Markdown? Markdown是一种可以使用普通文本编辑器编写的标记语言，它可以使普通文本内容具有一定的格式。 上面的官方解释可能你不太理解什么是标记语言，什...
