一、fetch抓取
尽量避免数据的查询分析跑mapreduce。
hive.fetch.task.conversion = more；
本地模式：
开启本地模式：hive.exec.mode.local.auto=true；
本地模式下的最大输入文件大小：set hive.exec.mode.local.auto.inputbytes.max=51234560; 默认128M
本地输入文件的个数：set hive.exec.mode.local.auto.input.files.max=10; 默认大小4个
二、表的优化
1、join原则：
1）小表join大表（使用group by 代替distinct）（默认开启的）
查询score表中一共有多少个学生的成绩：
select ccount(distince s_id) from score;
select count(1) from (select s_id from score group by s_id) scorenew ;
使用group 是在map端做了局部的聚合
2) 多表关联， 拆成小段
3）大表join 大表
1)空key的过滤
对于关联的字段如果为空，且当前数据不需要，可以进行查询过滤。
SELECT a.* FROM (SELECT * FROM nullidtable WHERE id IS NOT NULL ) a JOIN ori b ON a.id = b.id;
2）空key的转换
对于关联的字段如果为空，且当前数据需要，数据是有用的，可以将id进行赋值。
不随机分布：
id hive
SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN 'hive' ELSE a.id END = b.id;
3）空key的散列
key的随机分布：数据倾斜
SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN concat('hive', rand()) ELSE a.id END = b.id;
3、mapJoin （默认就是开启的）
（1）设置自动选择Mapjoin
set hive.auto.convert.join = true; 默认为true
（2）大表小表的阈值设置（默认25M以下认为是小表）：
set hive.mapjoin.smalltable.filesize=25123456;
4.groupby
1）开启Map端聚合参数设置
（1）是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
（2）在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000;
（3）有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
5.count
建议使用group先进行分组，然后在count求数量
6.笛卡尔积
要避免笛卡尔积。
7.动态分区调整
INSERT overwrite TABLE ori_partitioned_target PARTITION (p_time)
SELECT id, time, uid, keyword, url_rank, click_num, click_url, p_time
FROM ori_partitioned;
重点：在数据查询导入的时候，要将分区的字段放在，查询字段的最后一个，就可以完成自动分区。
三、数据的倾斜
解决数据倾斜的基本处理方式：设置map数量 和reduce数量1
（1）map数量的设置：
1.设置块大小 dfs.blocksize;
2.设置分片：maxsplit 和minsplit
3.增加map：
set mapreduce.job.reduces =10;
create table a_1 as
select * from a
distribute by rand(123);
（2）reduce个数：
1.setnumreducetask（hadoop）
· set mapreduce.job.reduces = 15;
动态分区：hashpartitioner，要进行测试，判断出一个合适的分区。
2.
（1）每个Reduce处理的数据量默认是256MB
hive.exec.reducers.bytes.per.reducer=256123456
（2）每个任务最大的reduce数，默认为1009
hive.exec.reducers.max=1009
（3）计算reducer数的公式
N=min(参数2，总输入数据量/参数1)
四、执行计划
使用explain的方式查询hql查询的计划。
例如 explain select * from course;：
五、并行执行
select * from score where month='201806' union all
select * from score where month='201808' ;
set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。
六、严格模式
hive.mapred.mode=nonstrict；
可以设置为strict；
1）对于分区表，where中一定加上分区字段。
2）对于order by的查询，一定加上limit；
3）一定不能使用笛卡尔积。
七、 jvm重用
set mapred.job.reuse.jvm.num.tasks=10;
八、压缩，可以减少网络传输的消耗
