养生小菜鸡

0. 前言 spark python提供丰富的库函数，比较容易学习。但是对于新手来说，如何完成一个完整的数据查询和处理的spark，存在一些迷惑 因此本文将详细的对一个入门d...

养生小菜鸡

0. 前言 spark python提供丰富的库函数，比较容易学习。但是对于新手来说，如何完成一个完整的数据查询和处理的spark，存在一些迷惑 因此本文将详细的对一个入门d...

养生小菜鸡

1. spark_submit 启动声明的参数 和在py里面声明的参数有什么区别？
比如
spark = SparkSession.builder \
.config("spark.driver.memory", "20g") \
.config("spark.executor.memory", "40g") \
.config("spark.dynamicAllocation.initialExecutors", "2") \
.config("spark.dynamicAllocation.maxExecutors", "1000") \
.config("spark.executor.memoryOverhead", "20g") \
.config("hive.exec.dynamic.partition", "true") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.enableHiveSupport() \
.getOrCreate()
2. spark.sql 读取出来的默认是dataframe，求更多dataframe的使用方法；
3. 求pyspark的debug开发方法，能够支持快速开发调试；
4. 大佬牛逼，崇拜，请受小弟一拜。

pyspark基础入门demo

0. 前言 spark python提供丰富的库函数，比较容易学习。但是对于新手来说，如何完成一个完整的数据查询和处理的spark，存在一些迷惑 因此本文将详细的对一个入门d...

欧呆哈哈哈

2297 6 1 2