SQL开发中经常要用到日期类型的转换。一如yyyymmdd和yyyy-mm-dd日期之间的切换常用转换方法如下：方法1: from_unixti...

此前一直使用HIVE的Insert overwrite到本地目录的方法进行文件导出，但问题多多。主要原因是分隔符经常出现在字段中，实操中用竖杠|...

HIVE数据导出的姿势 1.问题描述 之前一直使用hive -e "SELECT XXX FROM XXX" > /XXX/XXX.csv 命令...

Spark运行在Standalone模式下产生的临时目录的问题 1.问题描述 收到运维线上告警。告警信息：文件系统剩余空间小于5% on vol...

数据库范式设计的意义 通常把一个数据库分成两个或多个表并定义表之间的关系以做到数据隔离，添加、删除和修改某个字段只需要在一个表中进行，接着可以通...

为什么要健身？ 身体是革命的本钱，干啥事没个健康健壮的身体，能成吗。 程序员久坐，对颈椎腰椎前列腺不好，得活动活动筋骨，有助于活久点。 健身可以...

头顶的太阳 燃烧着青春的余热它从来不会放弃 照耀着我们行进寒冬不经过这里 那只是迷雾的山林走完苍老的石桥 感到潮湿的味道翻过那青山 你说你看头顶...

数据迁移 1、问题描述 新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。 2、数据迁移工具 Distcp（分布式拷...

在编写shell脚本的时候经常会用到引号，有些时候却老是忘记单引号和双引号之间的区别， 所以就整理一下供以后脑子不好使了的时候前来复习一下。首先...