工作中经常遇到的shell整理如下: 1.shell脚本传入时间参数并判断 2.查找文件并拷贝 3.删除包含指定字符串的行 4.时间戳转换为时间格式 5.获取时间戳（纳秒） ...
发简信
IP属地：上海
-
JDBC连接hive导入、查询数据
说明 官网链接：https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer...
-
新手如何快速搭建hadoop集群
说明：所有的启动所需的文件(docker-compose.yml和hadoop.env)必须在同一个目录下否则docker compose找不到报错，hadoop目录可以自定...
-
hive udf 函数：MD5
利用 hive 做数据查询或者分析的时候，原生的 hive 函数可能无法满足我们的需求，这时候我们可以自定义 hive udf,函数； 自定义 hive udf 函数，有以下...
-
Mac忘记mysql登录密码
默认mysql配置文件在/etc/my.cnf，sudo root账号找到[mysqld]添加skip-grant-tables（Mac安装Mysql5.7请戳 https:...
-
Mac安装Mysql5.7下载Mysql，进入下载页面https://dev.mysql.com/downloads/ image.png 选择相应的操作系统及版本image.png3.下载ima...
-
Hive分区表新增字段查询为空
在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL 解决方法：对分区增加相应的字段alter table student partition(pt = '...
-
Mac上Idea重装后打不开的解决办法解决步骤 查找问题Finder -> Application -> 右键“show package contents” -> Contents -> MacOS -> 双击"...
-
-
-
MAC本地搭建Hadoop、Hbase、kafka、zookeeper环境背景 由于项目中需要用到实时处理框架，基于现有架构选择spark streaming消费kafka使用scala语言进行开发。出于服务器资源紧张以及登录测试服务器需要动态验证...
