背景:最近执行一个 select count(*),发现mapreduce计算分片数很慢,且分片数的大小对不上 确定 hive 默认开启 map...
背景:对计算机核数比较模糊,整理了解 查看方法 我的电脑->属性->设备管理器->处理器,有多少个,就代表多少核image.png如图,即为12...
背景:公司有需求将hive数据导入es,之前是通过datax进行导数的;但是datax多线程很耗内存,并且经常性会出现一些程序上的问题。故想要使...
背景:这两天安装cdh,重新温习了下linux的使用,关于卸载应用,特记录 强制删除已安装程序及其关联:rpm -qa|grep python|...
背景:最近准备在自己的虚拟机上搭一个cdh的集群,在启动cloudera-scm-agent失败排查思路: 进去log日志查看报错信息:/usr...
背景: 最近电脑突然不知怎么的,输入法由简体转为繁体,并且不知如何更改 使用 ctrl+shift+f可进行简繁体切换 在使用idea时ctrl...
背景:公司数据涉及到从hive往es中导数,使用datax来进行抽取 报错:One or more of the items in the Bu...
背景:在工作过程中,一直经常性接触到hql拼接字符串的工作内容,但每次都是最常规的拼接,效率并不高。故调研发现hive早已提供相关函数进行更简便...
背景: 工作中多次使用到hql的时间转换,但一直未记录相关文档,每次查找都十分麻烦,故文档记录方便下次使用。 查找 hive 自带函数 展示hi...