此前一直使用HIVE的Insert overwrite到本地目录的方法进行文件导出,但问题多多。主要原因是分隔符经常出现在字段中,实操中用竖杠|分隔问题较少。
insert overwrite local directory '/url/lxb/hive'
row format delimited
fields terminated by ','
select * from table_name limit 100
此外也尝试使用HIVE -E的方法,再通过sed 's/x01/,/g'命令进行文件过滤。
两种效果均不是很理想,究其原因,主要是两种方法导出的文件都不是标准CSV。
目前使用比较顺畅的方式是通过spark-shell2, 先把Hive表转化为DataFrame,再基于DataFrame.writer.csv()(DataFrameWriter.csv)导出到HDFS。
df = spark.sql("select * from test.student3")
df.write.csv("/HDFS目录")
hadoop fs -get /HDFS目录 XXX
----------------------------------- 2019-08-05更新--------------------------------------
beeline -n hive -u jdbc:hive2://XXXX:10000 --verbose=true --outputformat=csv2 -e "XXXXXXXX" >> XXX.csv
通过beeline导出HIVE数据至CSV较为稳定。
然后导出的数据编码为utf-8,需要进行转码。
iconv -f UTF-8 -t GBK XXX.csv to XXX_gbk.csv
有时候转GBK会报错,可以选另外两种Excel可以直接打开的编码格式。