240 发简信
cyangssrs
IP属地：上海
  • Resize,w 360,h 240
    链上数据分析平台架构

    1. 数据获取 1.1 控制节点 控制节点定时获取区块高度和区块时间 如果区块时间和当前时间超过一定阈值则发送告警 根据区块高度生成解析任务，并...

    0.9 110 0 1
  • Resize,w 360,h 240
    图片存储

    0.7 140 0 2
  • mysql同步数据到hive---binlog方式

    概述 mysql同步数据到hive大部分公司目前都是走的jdbc的方式。 这种方式有两个好处： 开发简单。只需要从mysql读取相关的数据，插入...

    2.4 5491 1 11
  • Airflow 有关task并行度的问题

    有三个参数可以用来控制airflow运行的并行度 parallelism ：这是用来控制每个airflow worker 可以同时运行多少个ta...

    2.1 7616 1 10
  • hive 使用同一个session执行不同的sql注意事项

    问题 最近在hue上开多个窗口执行不同的sql的时候，发现如果在某个窗口里面设置某些properties的时候（比如 set spark.exe...

    0.3 2425 0 1
  • 夏季钓鱼注意事项

    思路 钓鱼最主要的就是对鱼的了解。影响鱼进食的最主要的几个重点就是：溶氧、食物、温度 溶氧 夏季溶氧因为气温比较高，水里的容量比较低，所以溶氧是...

    0.5 260 0 1
  • hive MapJoinMemoryExhaustionException

    原因 hive 在执行的过程中会报错，然后到task里面取看的时候，具体原因是因为MapJoinMemoryExhaustionExceptio...

    0.3 384 0 0
  • hive 解析 json 字符串

    json_tuple (推荐用这个) json_tuple udtf 功能是在 hive 0.7 版本之后加入的，具体使用方法： get_jso...

    0.3 1243 0 0
  • Resize,w 360,h 240
    hive 永久性添加 json serde jar

    hive 添加jar 你可以在每个session中手动去添加某个jar 2 . 你也可以在为所有session永久性添加某个jar 在你的hiv...

    0.3 1872 0 0
个人介绍
一个爱钓鱼的程序员