一、系统架构 1. 接入层 Canal、Flume、Kafka 针对业务系统数据，Canal监控Binlog日志，发送至kafka； 针对日志数据，由Flume来进行统一收集...
发简信
IP属地：陕西
-
基于Flink的实时计算平台的构建 -
通俗了解Flink的几个核心概念做Flink做了好几年，让我感触最深的是，虽然写了Flink代码好多年，但是要让我通俗易懂地将Flink的重要的核心概念串起来，我一时还真找不到切入点，好多人可能跟我一样，脑...
-
快准狠！解决jar包冲突问题由于考虑到项目后期需要用Flink对接Hive，所以这次项目升级需要将Flink版本由1.10升级到1.11，且保证项目能够平稳的运行。 有人可能觉得框架版本升级很简单，把p...
-
@安春辉 会有冲突，flink有提供解决冲突后的Hadoop的jar包，但是只是针对有限个Hadoop的版本😂😂
flink1.10连接hive1.1.0的填坑历程
最近有个项目，需要读取hive表中的数据写到Hbase中，正好flink1.10版本刚出来，而且支持连接hive，那就他了。 哪想到这才是噩梦的开始。确定了技术栈，就开始着手...
-
flink1.10连接hive1.1.0的填坑历程最近有个项目，需要读取hive表中的数据写到Hbase中，正好flink1.10版本刚出来，而且支持连接hive，那就他了。 哪想到这才是噩梦的开始。确定了技术栈，就开始着手...
-
Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！Flink 1.10 同时还标志着对 Blink[1] 的整合宣告完成，随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能...
-
赞一个
Flink on YARN时，如何确定TaskManager数
答案写在最前面：Job的最大并行度除以每个TaskManager分配的任务槽数。 问题 在Flink 1.5 Release Notes中，有这样一段话，直接上截图。 这说明...
-
@尼小摩 StreamExecutionEnvironment 是structrd streaming中的吧，批流一体了，可惜我还没玩过😌
Spark利用ConfigFactory获取配置文件详解
获取配置文件中的配置 在实际开发中，项目中的一些配置文件会放在classpath下的resources文件中，然后在程序中会加载配置文件。 加载配置文件两种方式： 利用类加载...
-
Flink如何快速定位SubTask在哪台机器哪个进程中执行痛点：假如我们在FLink的WebUI Metrics页面发现有一个SubTask每秒处理的数据明显比其他低，又或者在CheckPoint页面，发现有一个SubTask的Ch...
