240 发简信
IP属地:湖南
  • hive map数的控制

    背景:最近执行一个 select count(*),发现mapreduce计算分片数很慢,且分片数的大小对不上 确定 hive 默认开启 map...

  • Resize,w 360,h 240
    计算机核数查看

    背景:对计算机核数比较模糊,整理了解 查看方法 我的电脑->属性->设备管理器->处理器,有多少个,就代表多少核image.png如图,即为12...

  • hive 外部表映射 es

    背景:公司有需求将hive数据导入es,之前是通过datax进行导数的;但是datax多线程很耗内存,并且经常性会出现一些程序上的问题。故想要使...

  • Linux完全卸载某应用

    背景:这两天安装cdh,重新温习了下linux的使用,关于卸载应用,特记录 强制删除已安装程序及其关联:rpm -qa|grep python|...

  • centos6 启动cloudera-scm-agent失败

    背景:最近准备在自己的虚拟机上搭一个cdh的集群,在启动cloudera-scm-agent失败排查思路: 进去log日志查看报错信息:/usr...

  • windows10/windows11 简繁体切换

    背景: 最近电脑突然不知怎么的,输入法由简体转为繁体,并且不知如何更改 使用 ctrl+shift+f可进行简繁体切换 在使用idea时ctrl...

  • datax从hive往es中导数报错:One or more of the items in the Bulk request failed, check BulkResult.getItems...

    背景:公司数据涉及到从hive往es中导数,使用datax来进行抽取 报错:One or more of the items in the Bu...

  • 对于hql中拼接字符串的函数使用

    背景:在工作过程中,一直经常性接触到hql拼接字符串的工作内容,但每次都是最常规的拼接,效率并不高。故调研发现hive早已提供相关函数进行更简便...

  • hql日期函数

    背景: 工作中多次使用到hql的时间转换,但一直未记录相关文档,每次查找都十分麻烦,故文档记录方便下次使用。 查找 hive 自带函数 展示hi...