# -*- coding: utf-8 -*-
"""
"""
from __future__ import print_function
from os.path import expanduser, join, abspath
from pyspark.sql import SparkSession, DataFrame
import datetime
import sys
import pandas as pd
from IPython.display import display, HTML
if __name__ == '__main__':
warehouse_location = abspath('spark-warehouse')
spark = SparkSession.builder \
.appName('PS_SOR_WAICUI_JIXIAO_002_ALLOC_REPAY_MONTH_STATIS') \
.config('spark.sql.warehouse.dir', warehouse_location) \
.enableHiveSupport() \
.getOrCreate()
# stat_date_ymd = sys.argv[1]
# -- 小文件个数控制
spark.sql('set hive.merge.mapfiles=true;')
spark.sql('set hive.merge.mapredfiles=true;')
spark.sql('set hive.merge.size.per.task=256000000;')
spark.sql('set hive.merge.smallfiles.avgsize=256000000;')
# 执行语句
exec_sql = """ select * from FDM_DPA.pls_info_kpi_new_d where stat_date='20230930' limit 150
"""
exec_info = spark.sql(exec_sql)
print("cjw_test001: ")
exec_info.show()
print("cjw_test002: ")
reuslt = exec_info.toPandas().to_string()
print("cjw_test003: ")
print(reuslt)
print("cjw_test004: ")
display(reuslt)
# 结束
spark.stop()
Pyspark打印数据
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 在我们iOS开发过程中，改BUG的时间甚至超过了写功能代码的时间。如何在程序代码出错时，精准定位到有问题的代码位置...
- 创建一个宏 把这段代码粘上去 在使用的地方调用就可以了 #ifdef DEBUG #define NSLog(FO...
- Date: 2019/01/07 Author: Ryuusouei 8051串口初始化 今天我们来谈谈...
