发简信
IP属地：广东
-
线程安全的list
一个并发相关的问题。关于线程安全的list结构，网上只找到两种答案：(1) Collections.synchronizedList和(2) C...
-
spark 调度优化1.问题 在做spark-streaming的时候最近遇到个特别的问题：每个batch的任务调度执行的时候，某些excutor上调度的任务特别多...
-
filebeat常见问题
1.Too many open file handlers Filebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取...
-
filebeat工作原理Filebeat是本地文件的日志数据采集器。 作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件，tail file，并将它们转...
-
kafka发送消息分区选择策略
发送kafka：(版本0.10.11) kafka 生产者发送消息分区选择策略 通过跟踪send方法，发现KafkaProducer是通过内部的...
-
azkaban配置多节点集群模式部署
azkaban有2种集群模式： 1.首先需要在web-server配置多节点模式 2.配置存储模式azkaban有2种3模式：1）.local单...
-
Spark读写压缩文件
一、 压缩文件读取 spark 自动根据文件后缀名判断压缩格式，不用特别指定 二、写文件时压缩 spark会加载Hadoop的默认的配置，如果h...