@Bruce_King 下载在硬盘的资源都被pig队友一键删除了
大数据之Ambari2.7+HDP3.0（二）三、安装Ambari+HDP 大家在安装之前，一定要先确认好安装哪个版本的，如果不知道自己需要安装哪个版本的，可以先到官网查看一下每个版本的差别：https://zh.hor...
发简信
IP属地：上海
-
-
@81e64fc97de4 可以的，试试，我现在就是这么搞的
采坑：java调shell脚本执行hive语句
最近有个需求，就是SpringBoot提供一个web接口给业务方，业务方传入参数调接口，接口去执行hive离线计算，一般可能是说直接用jdbc去连hive执行hive操作，但...
-
-
Phoenix从4.7升级到4.14之前有过一篇文章讲述CDH5.16.1如何整合phoenix，但是，但是，但是，这个版本整合的是phoenix4.7，这个版本无法使用分页查询，所以必须升级为phoenix4...
-
采坑：java调shell脚本执行hive语句最近有个需求，就是SpringBoot提供一个web接口给业务方，业务方传入参数调接口，接口去执行hive离线计算，一般可能是说直接用jdbc去连hive执行hive操作，但...
-
记一次hive调优之旅我遇到的业务场景是统计10个维度的用户画像数据，之前我是放在一个shell脚本里串行跑，总共跑下来差不多要9个多小时：从数据预处理、维度统计、数据上传三大部分。 9个多小时，...
-
@暮春丶秋色 集成成功了吗？？我们公司换到CDH了
大数据之Ambari2.7+HDP3.0（二）
三、安装Ambari+HDP 大家在安装之前，一定要先确认好安装哪个版本的，如果不知道自己需要安装哪个版本的，可以先到官网查看一下每个版本的差别：https://zh.hor...
-
MapReduce将HDFS数据清洗到多个Hbase表中最近一直在对历史数据进行清洗，原始数据是纯数据格式，现在要清洗到hbase中，方便后期跟hive进行整合查询。。可能现在基本上都使用spark来做清洗了，但是如果受机器本身硬...
-
hive将多行查询成一个json字符串
今天在用hive做一个离线统计的任务，既然是统计，那就是某个ID可能在某个维度有多个值，比如某个部门男女人数分别是多少。 部门ID性别人数000101200000116000...
-
Spark读取HDFS数据输出到不同的文件
最近有一个需求是这样的：原来的数据是存储在MySQL，然后通过Sqoop将MySQL的数据抽取到了HDFS集群上，抽取到HDFS上的数据都是纯数据，字段值之间以\t分隔，现在...
-
大数据之CDH5.16.1集成PhoenixCDH中预装的hbase是没有Phoenix的，需要我们手动来集成，下面我们就简单的记录一下笔者集成的流程。 1下载parcels http://archive.cloude...
-
iostat对磁盘IO情况实时监控kafka集群搭建完成后，对集群进行压测。这样的话，就需要实时查看kafka集群机器的IO情况。那怎么办呢？其实linux是有一个命令来做这个事儿的。这个命令就是iostat...
-
大数据之CDH5.16.1集成Tez0.9.2俗话说：磨刀不误砍柴工。。上两篇中，我们介绍完了CDH环境的基本搭建。在这篇中，我们讲述对hive的一个优化措施之一：执行引擎tez。在HDP中hive的执行引擎默认是tez...
-
大数据之CM+CDH5.16.1（二）接着上一篇继续安装CDH环境 三、安装CM和CDH 3.1 CDH下载 以CentOS7.5和CDH5.16.1举例 3.1.1 cm的tar包下载 下载地址：http://...
-
大数据之CM+CDH5.16.1（一）鉴于在Ambari2.7+HDP3.0使用过程中有很多不方便之处，所以还是决定选择CDH框架来做。我是准备了4台虚拟机来搭这个环境。 一、集群规划 1.2 机器准备 host...
-
大数据之Ambari2.7+HDP3.0（二）三、安装Ambari+HDP 大家在安装之前，一定要先确认好安装哪个版本的，如果不知道自己需要安装哪个版本的，可以先到官网查看一下每个版本的差别：https://zh.hor...
-
大数据之Ambari2.7+HDP3.0（一）公司目前在开展大数据业务，在大数据框架选型方面一直在Ambari+HDP 和CM+CDH之中徘徊。我就尝试动手搭建了两套环境来试试效果。接下来我会记录搭建HDP和CDH环境的...
