发简信
IP属地：北京
-
聊聊spark shuffle分苹果 我们先以生活中的个小故事来个开场白，小王今年家里苹果丰收，总共摘了三大筐的苹果，小王准备按照大、中和小规格包装成礼盒放到商场里卖，小王身...
-
如何在华为平台使用自己的spark
场景 我们私有云团队在给客户部署系统时遇到困难，客户要求在他们购买的华为大数据平台上部署我们的产品，我们底层主要用到了spark、hdfs、和h...
-
sparkSQL新增优化器实现复杂计算的快速预览场景 有时我们使用sparkSQL做复杂模型时需要实现对数据的快速预览，假如模型是用好几表做Join且每个表的数据量都挺大时，那么预览就会很慢。...
-
spark2以后对limit的优化和存在问题
问题 假如我们在spark-shell上执行：spark.sql("select * from table limit 1000").colle...
-
SparkSQL自定义Hint优化器解决热点数据导致JOIN数据倾斜问题场景 有时我们通过sparkSQL来分析数据，当使用Join操作时，最让人头疼的莫过于数据倾斜了，如果你是大表关联小表的情况，那情况还不是很糟糕...