IP属地：北京
-
SparkSql写Mysql报错：java.sql.BatchUpdateException: Incorrect string value: '\xE5\xBC\x80\xE5\x8F\x91...一、报错信息 SparkSql代码写入Mysql逻辑如下，代码会自动生成目标Mysql表，报错如图： 报错信息： 二、解决方案 原因：代码自动生...
-
org.apache.spark.sql.catalyst.catalog.ExternalCatalog as super class
一、报错 在进行SparkSql代码调试时，代码确认无误执行报如下错误：Exception in thread "main" java.lang...
-
org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V
一、报错 在进行SparkSql代码调试时，不同的项目相同的pom.xml依赖相同的代码，其中一个项目正常执行，另一个项目报错如下：Except...
-
Spark读写HBase表数据
一、Maven依赖 二、Spark代码
-
Spark广播变量应用
一、广播变量 1、广播变量的优点 不需要每个task带上一份变量副本，而是变成每个节点的executor存一份副本。这样的话， 就可以让变量产生...
-
Spark读写mysql表数据进行统计分析
一、Mysql数据样例 数据表为job_details，数据样例如下： 需求1：求取每个搜索关键字search_key下的职位数量，并将结果入库...
-
Hive on MapReduce 性能优化一、MapReduce完整流程 MapTask工作机制 ReduceTask工作机制 MapTask工作机制： （1）Read阶段：MapTas...
-
Hive处理json数据
一、测试数据 该数据采用json格式存储：id：代表当前用户微博的id；ids：代表当前微博用户关注其他微博用户的id列表；total_numb...
-
Python读取EXCEL表结构生成DDL一、说明 近期工作中需要对Excel维护的数据库表表结构进行Oracle的DDL整理，故编写如下脚本。该脚本识别固定Excel文件，读取每个sh...