大数据运维 - 专题

投稿

大数据运维

收录了10篇文章 · 69人关注

大数据运维问题记录(九)
问题描述:部门承接的某运营商的CRM项目日志查询出现延迟，最高延迟达半小时，严重影响业务运行。问题解决:首先对他们的数据流向进行了解后得知，数据...

0.7 火车飞侠 0 51
大数据运维问题记录(八)
问题描述:一个hbase集群出现数据倾斜，并且服务器经常会宕机问题解决:登录60010界面查看region的分布情况，发现region分布不均衡...

0.8 火车飞侠 1 50

大数据运维问题记录(七)
问题描述:公司中一个项目我们用netty接收厂商提供的数据入kafka，接收速度较慢，入kafka也比较慢，需要对其进行一些优化。问题解决:利用...

0.6 火车飞侠 1 50
大数据运维问题记录(六)
问题描述:公司之前的采集产品由于对大数据这块水土不服,入库慢等原因,再加上负责这个产品的团队全部走光,导致现在出了问题没人能解决,谁都不愿意踩这...

0.9 火车飞侠 0 51
大数据运维问题记录(五)
问题描述：集群中原有采集程序从源文件入hbase出现积压，优化修改程序都无济于事，需要赶紧出个方案进行解决问题解决：集群中的采集程序也有一条线...

0.9 火车飞侠 0 49
Hive系列之HSQL转换成MapReduce过程
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句，像操作关系数据库一样操作文件内容，比如执行查询，统计，插...

1.2 wujustin 0 22
大数据运维问题记录(一)
问题描述：在hive里运行select count(1)操作一个表时，老是失败，但是其它sql确不报错能正常跑出结果问题解决：查看日志，发现会...

0.8 火车飞侠 5 51

大数据运维问题记录(二)
问题描述：一个项目组的同事反应他们的集群hive突然出现了问题，走mr就报错问题解决：首先问了下他们最近做了些什么操作，说是最近在lib下复制...

1.0 火车飞侠 0 51
大数据运维问题记录(三)
问题描述：在resourcemanager页面查看到一些节点的Health report中报 1/4 local-dirs are bad: /...

1.1 火车飞侠 0 50
大数据运维问题记录(四)
问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们给解决，优化一下配置问题解决...

0.8 火车飞侠 0 49