1. 数据获取 1.1 控制节点 控制节点定时获取区块高度和区块时间 如果区块时间和当前时间超过一定阈值则发送告警 根据区块高度生成解析任务，并将解析任务的状态存到数据库（m...
IP属地：上海
-
链上数据分析平台架构 -
-
mysql同步数据到hive---binlog方式
概述 mysql同步数据到hive大部分公司目前都是走的jdbc的方式。 这种方式有两个好处： 开发简单。只需要从mysql读取相关的数据，插入到hive表当中就行了。Sqo...
-
-
爬了拉勾30页数据，我做了这几张图其实是个萌新的“爬虫+tableau”练手，因为关于这次操作的所有知识在王隐在录音的文章里都齐全了，但亦步亦趋跟着教程做一份一模一样的练手意思不大，于是就萌生了把爬虫对象从“...
-
一生想做浪漫技客<br>Github: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fjoyang1" target="_blank">https://github.com/joyang1</a><br>个人博客: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.tommyyang.cn" target="_blank">https://blog.tommyyang.cn</a><br>个人公众号：Tommy 学习录
-
-
最好用的 Kafka Json Logger Java客户端，赶紧尝试一下
最好用的 Kafka Json Logger Java客户端。 slf4j4json 最好用的 Kafka Json Logger 库；不尝试一下可惜了！ Descripti...
-
Airflow 有关task并行度的问题
有三个参数可以用来控制airflow运行的并行度 parallelism ：这是用来控制每个airflow worker 可以同时运行多少个task实例。这是airflow集...
-
-
hive 使用同一个session执行不同的sql注意事项
问题 最近在hue上开多个窗口执行不同的sql的时候，发现如果在某个窗口里面设置某些properties的时候（比如 set spark.executor.memory=10...
