改了History Server代码，只拉取最新500M的日志进行解析
【Spark】HistoryServer 进程运行日志无限增长问题解决Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apa...
发简信
IP属地：青海
-
-
tableau 服务器需要安装ODBC驱动
【clickhouse】clickhouse连接tableau
Windows版本tableau连接 windows版本tableau是通过ODBC配置管理器加载clickhouse ODBC驱动连接。下载clickhouseODBC驱动...
-
@发生s 2.0以上应该都有
[Spark] Spark LogicalPlan 逆向生成SQL语句
在使用spark进行sql分析过程中，一般是将sql语句解析成LogicalPlan查看执行计划，LogicalPlan能够帮助我们了解Spark-SQL的解析，转换，优化，...
-
Clickhouse实现累计求和cumulative sum
源表数据如下： timeprovinceorder_cnt20200601shandong10020200601jiangsu20020200601zhejiang30020...
-
【clickhouse】clickhouse连接tableauWindows版本tableau连接 windows版本tableau是通过ODBC配置管理器加载clickhouse ODBC驱动连接。下载clickhouseODBC驱动...
-
【Clickhouse】Spark通过ClickHouse-Native-JDBC写入Clickhouse
目前通过JDBC写Clickhouse有两种插件可以用官方的JDBC：8123端口基于HTTP实现的，整体性能不太出色，有可能出现超时的现象housepower的ClickH...
-
【Flink】Flink手动触发savepoint失败问题今天看了checkpoint和savepoint的区别，尝试手动触发一个savepoint保存在本地，使用命令bin/flink savepoint 91db9ffba718...
-
【Flink】Windows环境部署Flink 1.10版本问题解决
最近开始重拾大数据的工作，接手实时计算。计划按照官网的手册Flink_on_Windows在Windows环境部署Flink 1.10版本，发现TaskManager启动失败...
-
图像识别现代史 Modern History of Object Recognition
Modern History of Object Recognition 最近看到一篇很好的介绍图像识别技术发展路线图的文章《Modern History of Object...
-
@和腐朽说再见 指的文件大小。平台有1000台物理节点，日均30万任务，日志文件几天就上百G了。
【Spark】HistoryServer 进程运行日志无限增长问题解决
Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apa...
-
【Git操作】记一些常用的git命令
查看远程仓库 git remote -v 从远程origin/master分支拉取代码，在本地创建一个新分支 git fetch git@bdgit.mycompany.co...
-
@han昆仑 delay崩溃可以考虑调下并发spark.streaming.concurrentJobs这个参数，默认是1的。
【Spark】SparkStreaming 新增Metrics 支持Kafka数据消费堆积监控
在SparkStreaming任务运行的过程中，由于数据流量或者网络的抖动，任务的batch很可能出现delay，所以就出现了一个需求：实时监控任务对kafka消息的消费，及...
-
Java集合源码分析之开篇
初衷 Java集合是我们使用最频繁的工具，也是面试的热点，但我们对它的理解仅限于使用上，而且大多数情况没有考虑过其使用规范。本系列文章将跟随源码的思路，分析实现的每个细节，以...
-
[ES-Spark] es array mapping 正确映射到Spark
之前有篇文章介绍ES数据探查的文章，出门左转可以看到。刚刚踩到一个小坑：ES中的字段有可能是事实上的Array类型，虽然ES中并没有明确的支持Array，但是数据可以是平铺的...
-
[Spark] Spark LogicalPlan 逆向生成SQL语句在使用spark进行sql分析过程中，一般是将sql语句解析成LogicalPlan查看执行计划，LogicalPlan能够帮助我们了解Spark-SQL的解析，转换，优化，...
