240 发简信
IP属地:上海
  • 120
    这是一篇可以帮你入门英文原著的文章

    之前在一篇文章里说要写一篇英文原著的入门参考,这篇算是吧。 我的想法是,先把20本相对比较简单的英文原著按阅读难易程度排列出来,从易到难。选书这个步骤我觉得是非常重要的,比阅...

  • spark底层源码解析之作业提交:

    作业的提交做的主要的事情是:通过提交的最后一个rdd的依赖关系来划分stage,在再将stage转换成task,由diver端发送给一个个的将task发送到Mster端,最后...

  • 120
    数仓分层模型|简练实用(推荐收藏)

    通过阅读本文,可以让你快速了解数仓如何分层,合理,实用。笔者坚持原创,根据实践总结,希望对新手有所帮助。 分层案例 1.电信通讯stage层 ->bdl层 ->analysi...

  • 120
    (基于最新的Kafka version 0.10.2 new consumer API )想要Spark Streaming精确一次消费Topic?拿去不谢,记得点赞和分享!

    本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景: Kafka做为一款流行的分布式发布订阅消息系统,以高吞吐、低延时、高可靠的特点著...

  • 120
    Spark 2.0 Structured Streaming 分析

    前言 Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结...

  • Spark会把数据都载入到内存么?

    这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。 前言 很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位,就会产生一些误解。 比如,很多时候我们常常以...

  • 120
    快速理解Spark Dataset

    1. 前言 RDD、DataFrame、Dataset是Spark三个最重要的概念,RDD和DataFrame两个概念出现的比较早,Dataset相对出现的较晚(1.6版本开...

  • 哈哈 真的太谢谢啦你的鼓励了,我现在还是个小菜鸟,会努力变得更加优秀的

    spark底层源码解析之通信:

    这是本人第一次发表技术帖,借鉴了很多大神的文章和自己的一些拙见,有什么不正确的大家可以指出来,共同进步 Spark底层RPC通信:记住这里是以事件进行驱动的!!!!三个主要的...

  • spark底层源码解析之通信:

    这是本人第一次发表技术帖,借鉴了很多大神的文章和自己的一些拙见,有什么不正确的大家可以指出来,共同进步 Spark底层RPC通信:记住这里是以事件进行驱动的!!!!三个主要的...

个人介绍
想要成为作家的程序员