240 发简信
IP属地:北京
  • 120
    Spark Core

    Spark Core是什么 Spark之一行写WordCount: sc.textFile("/home/data.txt").flatMap(_.split("/t"))....

  • MapReduce之WordCount

    本文章采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本文章必须也遵循署名-非商业用途-保持一致的创作共用协议. 1. 再述MapReduce计算模型 JobT...

  • ##[倾斜]Hive 数据倾斜总结

    Hive 数据倾斜总结 - 菠萝大数据梦工厂(Free World) - 博客频道 - CSDN.NET http://blog.csdn.net/jiangshouzhu...

  • 五种大数据处理架构Hadoop、Storm、Samza、Spark、Flink

    大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,...

  • 120
    Spark性能优化指南——高级篇

    原文:https://tech.meituan.com/spark-tuning-pro.html Spark性能优化指南——高级篇 前言 继基础篇讲解了每个Spark开发人...

  • RDD、DataFrame和DataSet的区别

    spark 2.X开始,三者的关系发生了变化,可以参考《且谈Apache Spark的API三剑客:RDD、DataFrame和Dataset》 ,在2.X中DataFram...