门朝大海

背景：表中有一个降水强度字段，但是并不是真实的降雨量，后来数据模型的同事给了一个python脚本，按照脚本可以大体转换成降雨量。思路：1.想过用 python 现将表中的数查...

码仙丶

之前一直将offset存到zookeeper，由于streaming程序会对zk有大量的读取操作，故将offset存到zk不太好，现已将offset都改到hbase中 kaf...

码仙丶

快速，简单，可靠。HikariCP是一个“零开销”生产就绪JDBC连接池。大约130Kb,它的性能几乎是C3P0、DBCP的25倍，十分强悍引用大话数据库连接池 配置也是十分...

码仙丶

删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题，发现都会偶然出现无法彻底删除kafka的情况。前提：kafka必须配...

Mervyn_2014

hive性能优化 一、Map阶段的优化： （控制hive任务中的map数，确定合适的map数，以及每个map处理合适的数据量）。 map个数影响因子： input目录中文件总...