hive在建表时,通常使用
ROW FORMAT DELIMITED
FIELDS TERMINATED BY "|#" 来限定数据中各个字段的分隔符,这种方式只支持单个分隔符,即:实际只会按照"|"进行分割,若想实现支持多分隔符,有如下几种方式:
1、hive从0.14版本以后支持MultiDelimitSerDe,可以比较优雅多解决多分隔符问题
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|#")
参考:https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe
2、使用RegexSerDe,需要写正则表达式
3、重写 InputFormat 中 RecordReader 类中的 next 方法,重写完成后打包成jar,放入到Hive目录的lib文件夹下面。创建表的时候再指定INPUTFORMAT
之后遇到的问题:
1、执行查询、join时报错:Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found
根据网上的方案1:进入hive执行add jar /usr/hdp/3.1.5.0-152/hive/lib/hive-contrib.jar
又报了如下的错误:
does not have following privileges for operation ADD [ADMIN] (state=,code=1)
根据网上的方案2:在hive-site.xml中添加如下配置,重启hive服务还是不生效
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/hdp/3.1.5.0-152/hive/lib/hive-contrib.jar</value>
</property>
问题先记下来后续有时间再解决,这里通过对源文件进行逐行处理,将多分隔符"|#"中的"#"替换为空字符,从而变成单分隔符
sed 's/#//g' data.txt > new_data.txt