一、kafka 架构和原理 1.1 相关概念 [图1] 1.2 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示： 1.3、内部原理及实现...
发简信
IP属地：浙江
-
kafka和zookeeper详解 -
spark 4种 shuffle机制与mapreduce shuffle机制对比纵观整个mapreduce过程会发现存在许多的排序和文件合并操作。 为什么要排序，主要原因有： 1、key的存在combiner操作，排序之后相同的key放到一块显然方便做合...
-
Spark Streaming 实现原理Spark Streaming 实现思路 Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述： 可以看到Spark Streamin...
-
【译】Scala面试问题（Scala interview questions）意译一篇《scala面试问题》的博客，原文地址：http://pedrorijo.com/blog/scala-interview-questions/，代码示例我在本地做了...
-
深入理解 Scala 中的闭包（Closures）摘要 本文通过 Scala 语言来实现一个简单的闭包，并且通过 Opcode 来深入理解 Scala 中闭包的实现原理。 一个简单的例子 闭包，简单的理解就是：函数内部的变量...
-
Scala的函数(1) :函数与方法【原创】
建议：阅读此文需要Java8及更高版本的基础 问题 Scala中，通常函数（Function）指的是一段代码逻辑的集合，可以有输入和输出，通常在开发中用来封装一段逻辑或者功能...
-
-
图解：MapReduce计算框架中的shuffle过程前言 相对来说，MapReduce是一个款比较 “古老” 的大数据离线计算框架，但该框架对批量数据离线计算的思想仍值得借鉴！ 在处理过程中需要把mapper阶段的数据传递给r...
