问题描述:一个hbase集群出现数据倾斜，并且服务器经常会宕机问题解决:登录60010界面查看region的分布情况，发现region分布不均衡 同时Regions in T...
发简信
IP属地：海南
-
大数据运维问题记录(八) -
大数据运维问题记录(七)问题描述:公司中一个项目我们用netty接收厂商提供的数据入kafka，接收速度较慢，入kafka也比较慢，需要对其进行一些优化。问题解决:利用一周左右的时间对其代码和相关配...
-
Spark Streaming 数据产生与导入相关的内存分析
前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍 哪些点可能导致内存问题，以及...
-
大数据运维问题记录(六)
问题描述:公司之前的采集产品由于对大数据这块水土不服,入库慢等原因,再加上负责这个产品的团队全部走光,导致现在出了问题没人能解决,谁都不愿意踩这个坑,于是让我们部门重新出个方...
-
翻译：Hadoop权威指南之Spark-5
本文原始地址 剖析Spark工作的运行 我们来看下当我们运行一个Spark工作时，会发生什么。在最高级别上，有两个独立的实体：驱动（driver）和执行器（executors...
-
大数据运维问题记录(四)问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们给解决，优化一下配置 问题解决：跑hive慢，一方面是hiv...
-
大数据运维问题记录(一)
问题描述：在hive里运行select count(1)操作一个表时，老是失败，但是其它sql确不报错能正常跑出结果 问题解决：查看日志，发现会出现如下错误 Error: C...
-
数据的价值哪里来？来自更好的决策现在大家都在谈大数据，数据分析，机器学习，但是这些都是手段，决策才是我们的目的，要想发挥数据的价值，先看看你身边的工作中有哪些决策，再决定用什么样的数据，怎样用数据来改进他们...
