1.数据倾斜产生原因? 原因:由于数据本身原因或者是使用filter算子过滤后导致分区内数据量相差太大,有的分区多,有的分区少 解决方案:可以使用saprkWeb端口4040...
发简信
IP属地：甘肃
-
Spark调优
-
Hive优化
Hive调优（语法与参数层面优化）一、简介作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由H...
-
MapReduce内存调优
内存调优 Hadoop处理数据时，出现内存溢出的处理方法？（内存调优） 1、Mapper/Reducer阶段JVM内存溢出（一般都是堆） 1)JVM堆(Heap)内存溢出：堆...
-
Ganglia和Flume1.7安装与部署一、flume安装 二、Ganglia安装和部署 1.安装阿里云yum源 sudo wget -O /etc/yum.repos.d/CentOS-Base.repo htt...
-
Hadoop2.7.2-hive1.2.1-lzo0.4.20一.环境准备 1. 下载、安装并编译lzo和lzop 1.安装LZO 2.安装LZOP 最好root用户下操作否则make instasll权限不够) 3.把lzop复制到/...
-
hive的comment乱码
1、进入数据库 hive中执行以下 5 条 SQL 语句 （1）修改表字段注解和表注解 （2）修改分区字段注解 （3）修改索引注解 2、修改 metastore 的连接 UR...
-
hive存储和压缩格式大全
1.parquet Hive 0.10 - 0.12 Hive 0.13 and later 2.lzo 3.orc 转换成lzo或者忘lzo表里insert 4.avro ...
-
hive on tez
编译 tez 下载 apache-tez-0.9.2-src 并解压到/opt下 设置环境变量 1.环境要求 可参考官方的编译与安装步骤http://tez.apache.o...
-
DataX3.0安装Datax3.0使用说明 原文链接：https://github.com/alibaba/DataX/blob/master/introduction.md[https://...
-
-
有问题或者写的不对的地方欢迎同行指正
