7篇文章 · 1895字 · 1人关注
-
【实战】spark streaming 如何保证消费EOS
前段时间，一直有人问 spark streaming 偏移量问题。什么是偏移量？百度。一个正常或者线上的sparkstreaming执行顺序：1...
-
（持续更新）那些年我踩过的phoenix的坑
老规矩..开篇点题.....
-
记一次yarn资源足够但是任务却提交阻塞直接上图: yarn集群资源内存只用了246.50G,一共有515G,cpu用了211个,一共240个.但是这个任务死活提交不上去,此任务需要2...
-
记一次周末加班spark内存泄露
开篇点题,,原因已知道,待看源码....
-
惨案,kafka又滞后1.5亿数据,这次坑定是elasticsearch的锅(上篇)
距上次才一个周末吧,周一早上过来接口组的小伙伴又说滞后了....我在想 这怎么可能,,,一看shell...mmp又是1.5亿的滞后数据.......
-
记一次生产kafka消费滞后2亿数据的处理过程..某一个下午,接口组的小伙伴突然说再kibana上看到的消息是7天前的,吓得我赶紧放下了手中的代码,直接看生产kafka的消费情况,,一看,果然~...
文集作者
