背景 笔者的大数据监控系统中有一项hdfs路径下异常格式文件检测的功能。简单的说就是每天需要定期的采集hdfs下的路径。 在某天添加了hive staging路径后，发现程序...
IP属地：广东
-
记springboot程序OOM排查和解决过程 -
PMQ源码阅读(3)---线程批次概念
背景 线程批次概念主要作用于消息消费的过程，在PMQ项目是比较好的设计功能点之一，可以借鉴学习在日后工作中。 概念 在PMQ中，消息消费默认是采用多线程进行消费，所以偏移量的...
-
PMQ源码阅读(2)---消息产生和消费过程背景 本章主要记录PMQ中关于消息从生产者端提交到消费者消费消息的过程 从中我们可以看到实现一个消息系统需要的发送、存储、消费和重试环节 一些有用的编码风格和技巧也值得学习 ...
-
数据算法 Hadoop/Spark大数据处理---第二章
在上一章中，我们实现的虽然是二次排序，但是排序的value是String或Integer，但是假如换一下，把value换成元组，也即是本章所给的例子：LIMM，2013-12...
-
数据算法 Hadoop/Spark大数据处理---第三章
本章欲解决的问题为求TOP(N)，共用到的方法有: 假设输入键都是唯一的，也即给定的输入集合{(K,V)},所有的K都是唯一的，用Mapreduce/Hadoop方法 假设输...
-
hihoCoder#1032 : 最长回文子串
方法一：暴力法 枚举所有子串进行判断，复杂度O(n^3)，实现略过（这么写，面试应该会挂） 方法二：动态规划（TLE） P[i,j] =P[i+1,j-1], if(s[i]...
-
【转】计算机网络基础知识总结作者：Poll的笔记博客出处：http://www.cnblogs.com/maybe2030/本文版权归作者和博客园所有，欢迎转载，转载请标明出处。 阅读目录1. 网络层次...
