首先，写入动态分区表，要设置一些严格模式的参数，将其设置为非严格模式 插入非分区 Hive 表 对于插入 Hive 表来说，这个重分区不是必须的...

SparkSQL 有着强大的与其他存储介质交互的功能，其中就包括MySQL，这里简单介绍一下我在工作中用到的使用 PySpark 读写 MySQ...

刚做了一个小需求，对文件系统有一些操作，记录一下，巩固记忆。 获取文件自己所在的路径： 创建文件夹： 删除文件： 下载hdfs 文件本地: 读取...

背景：表中有一个降水强度字段，但是并不是真实的降雨量，后来数据模型的同事给了一个python脚本，按照脚本可以大体转换成降雨量。思路：1.想过用...

需求： 1.从hive 表中获取数据。 2.计算各个指标与主分析指标间的相关系数。 3.将计算出来的相关系数，放入csv 文件，待使用。 首先，...

经常使用mysql 的查询功能，比较少使用删除。最近在网上做了几个sql题，有一个删除的问题，本以为挺简单，确报出如题目的错误，在网上一搜索才发...