240 投稿
收录了10篇文章 · 69人关注
  • 大数据运维问题记录(九)

    问题描述:部门承接的某运营商的CRM项目日志查询出现延迟,最高延迟达半小时,严重影响业务运行。问题解决:首先对他们的数据流向进行了解后得知,数据...

  • Resize,w 360,h 240
    大数据运维问题记录(八)

    问题描述:一个hbase集群出现数据倾斜,并且服务器经常会宕机问题解决:登录60010界面查看region的分布情况,发现region分布不均衡...

  • Resize,w 360,h 240
    大数据运维问题记录(七)

    问题描述:公司中一个项目我们用netty接收厂商提供的数据入kafka,接收速度较慢,入kafka也比较慢,需要对其进行一些优化。问题解决:利用...

  • 大数据运维问题记录(六)

    问题描述:公司之前的采集产品由于对大数据这块水土不服,入库慢等原因,再加上负责这个产品的团队全部走光,导致现在出了问题没人能解决,谁都不愿意踩这...

  • 大数据运维问题记录(五)

    问题描述:集群中原有采集程序从源文件入hbase出现积压,优化修改程序都无济于事,需要赶紧出个方案进行解决 问题解决:集群中的采集程序也有一条线...

  • Resize,w 360,h 240
    Hive系列之HSQL转换成MapReduce过程

    hive的库、表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插...

    1.2 wujustin 0 22
  • 大数据运维问题记录(一)

    问题描述:在hive里运行select count(1)操作一个表时,老是失败,但是其它sql确不报错能正常跑出结果 问题解决:查看日志,发现会...

  • 大数据运维问题记录(二)

    问题描述:一个项目组的同事反应他们的集群hive突然出现了问题,走mr就报错 问题解决:首先问了下他们最近做了些什么操作,说是最近在lib下复制...

  • 大数据运维问题记录(三)

    问题描述:在resourcemanager页面查看到一些节点的Health report中报 1/4 local-dirs are bad: /...

  • Resize,w 360,h 240
    大数据运维问题记录(四)

    问题描述:有个hadoop集群,跑hive任务的时候慢,而且经常跑的跑的就挂了,报内存不够等等的相关异常,需要我们给解决,优化一下配置 问题解决...

专题公告

在日常工作中遇到的大数据运维问题记录