数据大致格式如下，需求：求当前公司等于P的角色(JSON中的R字段) company_namecase_role江苏XXXX集团有限公司[{"P":"张三","R":"申请执...
发简信
IP属地：河北
-
Hive数组嵌套JSON如何取需要的数据
-
Docker新手练习一、练习网址 无需安装Docker直接通过网址进行Docker的学习，访问以下网址直接点击以docker登录https://labs.play-with-docker.com...
-
此简书用来发布Spark+AI的深夜学堂，每夜一更新！夜空中最亮的星：Spark！
-
SparkSQL统计新增用户
原始数据，放置在IDEA的data文件夹下的log1.txt 通过SparkSQL读取文件，注册成一张零食表 log1TODO 统计每日日活用户(只要当天有一条访问记录的用户...
-
SparkSQL【02】 SparkSQL三种Join
对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： BroadcastHashJoin ： 适合一张较小的表和一张大表进行join Shuffle...
-
Mac Kylin 启动报错
检查hive/hbase/spark/kafka依赖是报错，找不到对应的lib Mac不支持printf '%p，需要改成awk所以find-hive-dependency....
-
Scala的case class究竟默认实现了哪些方法？
首先写一个样例类Demo 运行后，使用反编译打开，会发现一个样例类 Dollar会生成Dollar$.class和Dollar.class文件 首先来看Dollar$.cla...
-
-
Hive分组TopNPeople表明细如下： 需求：按照性别分组，求分组后年龄最大的两个年龄的人员信息 学生技能表如下 需求：按照技能分组，求分组后年龄最大的两个学生信息 先将skills炸开 ...
-
Hive列转行(explode/lateral view)explode称之为Hive爆炸函数，意思就是将一行数据炸开。Usage:explode(array/map) explode函数传递的参数必须是一个array或者是ma...
-
@codeBugCoder 可以，只要能读到
scalikejdbc框架操作MySQL
一、构建一个Maven的Scala项目，然后在项目中添加以下依赖 然后在src下一级目录创建resource文件夹，并指定为Resources文件 在resource文件下创...
-
Flink自定义MySQLSource读取MySQL数据
先查看数据库连接池实现MySQL连接池 MySQL表student的实体采用case class定义 实现RichSourceFunction来自定义MySQLSource ...
-
生产高效shell命令汇总
1、快速定位ERROR信息方式1 cat hadoop-hadoop-namenode-JD.log | grep -A 5 ERROE cat hadoop-hadoop-...
-
IDEA小胖包打包方式一、现象说明pom有以下依赖 IDEA常用打包方式，只会包含我们自己编写的主类，不会包含依赖jar包。点击package打包后 使用WinRAR打开dw-1.0.jar，发现...