《老炮儿》里有不少北京的特色吃食。 煎饼果子 煎饼果子是北京街头常见的平民食品。戏里开场,灯罩儿就是因为煎饼摊没办证被城管抄了。 《老炮儿》里现成有买煎饼果子的一幕戏,很地道...
IP属地:浙江
《老炮儿》里有不少北京的特色吃食。 煎饼果子 煎饼果子是北京街头常见的平民食品。戏里开场,灯罩儿就是因为煎饼摊没办证被城管抄了。 《老炮儿》里现成有买煎饼果子的一幕戏,很地道...
上文学习了简单的map、flatmap、filter,在这里开始继续看keyBy及reduce keyBy 先看定义,通过keyBy,DataStream→KeyedStre...
最近的一个计费项目,在rpc调用和流式处理之间徘徊了许久,后来选择流式处理。一是可以增加吞吐量,二是事务的控制相比于rpc要容易很多。 确定了流式处理的方式,后续是技术的选型...
821 cp /data/software/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar ./lib/8...
本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景: Kafka做为一款流行的分布式发布订阅消息系统,以高吞吐、低延时、高可靠的特点著...
在如何给老婆解释什么是RPC中,我们讨论了RPC的实现思路。那么这一次,就让我们通过代码来实现一个简单的RPC吧! RPC的实现原理 正如上一讲所说,RPC主要是为了解决的两...
Spark Job执行流程大体如下:用户提交Job后会生成SparkContext对象,SparkContext向Cluster Manager(在Standalone模式下...
关于executor和task的概念可以参考官方文档本文使用的源码是spark 2.0.0版本 Task的数量 根据类DAGScheduler中的submitMissingT...