240 发简信
IP属地:宁夏
  • Resize,w 360,h 240
    Spark源码系列-Yarn模式下Client&Cluster模式的资源启动

    本文带读者从源码查看,分析Yarn模式下Client&Cluster模式的资源启动流程,分析Client&Cluster究竟有什么不一样 回顾 ...

  • Resize,w 360,h 240
    Spark源码系列-Standalone模式下Client&Cluster模式的资源启动

    本文带读者从源码查看,分析Standalone模式下Client&Cluster模式的资源启动流程,分析Client&Cluster究竟有什么不...

  • Resize,w 360,h 240
    VIM

    https://coolshell.cn/articles/5426.html[https://coolshell.cn/articles/54...

  • Resize,w 360,h 240
    spark-shuffle原理&调优

    spark-shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,S...

  • Resize,w 360,h 240
    2020-11-29 实时同步

    背景 数据源进入数据仓库,需要一步ETL操作,传统通过离线的方式,将前一天T+1的数据导入到ODS层中。但是随着公司业务不断发展,数据量不断增加...

  • Resize,w 360,h 240
    spark-shuffle v4

    spark shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,S...

  • Resize,w 360,h 240
    spark shuffle v2

    spark shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,S...

  • Resize,w 360,h 240
    spark2.4.3源码分析-Master、Worker启动

    总结 Master启动后会定时清理超时的Worker,Worker启动需要传入Master的地址信息,启动后会向Master注册其相关信息,内存...

  • Resize,w 360,h 240
    Spark2.3整合bubbo问题总结

    1.在java代码中写scala代码 2.为了减少定位问题成本,使用jdk1.8,不然会出现各种诡异问题 3.dubbo中使用jdk wiki:...