240 发简信
IP属地:广东
  • 120
    利用maxwell 组件实时监听Mysql的Binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费

    一:在linux环境下安装部署好mysql 1 :开启binlog sudo vi /etc/my.cnf (Mysql的配置文件) 2: mysql的binlog格式有...

  • MySQL的binlog日志

    本文转载于: https://www.cnblogs.com/martinzhang/p/3454358.html binlog 基本认识 MySQL的二进制日志可以说是...

  • impala + kudu一些优化心得

    用了几次impala + kudu做大数据实时计算场景,一路踏坑过来,这里分享踏坑经验 一开始需要全量导入kudu,这时候我们先用sqoop把关系数据库数据导入临时表,再用i...

  • 两集群数据拷贝

    业务场景: 公司有两套集群,A集群专门做数据存储,B集群专门做数据清洗和数据展现 A集群每天定时把数据同步过来B集群后,B集群负责后续清洗和供业务系统使用 集群背景 两套集群...

  • flume-ng添加自定义拦截器

    业务场景:收集nginx日志中个别信息进入kafka,为了避免kafka压力过大,这里优化了两点 刷选掉不需要分析的数据进入kafka 尽量把消息均匀分布在不同的broker...

  • 120
    kafka =>SparkStreaming=>kudu集成kerberos

    本文档主要介绍在cdh集成kerberos情况下,sparkstreaming怎么消费kafka数据,并存储在kudu里面 假设kafka集成kerberos 假设kudu集...

  • 120
    生产beeline事故分析

    场景分析 生产环境用beeline连接hive总是偶尔卡死 hive健康检查也总是偶尔告警 hive健康检查失败的同时,beeline连不上hive 场景截图如下:beeli...