240 发简信
IP属地:香港
  • 现在发现这个特有用,特别是在需要push消息或者某些需要计算某些推广页面细粒度的pv,uv的时候。可以动态添加,可以动态移除一个job吗?比如业务要推广一个活动,需要以分钟来观察页面的pv,uv,但是一个星期就结束了。

    Spark Streaming + Spark SQL 实现配置化ETL流程

    Spark Streaming 非常适合ETL。但是其开发模块化程度不高,所以这里提供了一套方案,该方案提供了新的API用于开发Spark Streaming程序,同时也实现...

  • 我们现在的监控系统一般是主动发起的监控,比如mysql主从延迟,然后发现问题再报警。要是换成大数据的思维,是不是可以理解成:mysql主从延时会记录日志,日志会经过各种方式到kafka然后再经由类似spark streaming的准实时分析,发现问题则报警?

    用大数据思维做运维监控

    今天一大早就看到了一篇文章,叫【大数据对于运维的意义】。该文章基本上是从三个层面阐述的: 工程数据,譬如工单数量,SLA可用性,基础资源,故障率,报警统计 业务数据,譬如业务...

  • 里Contravariant[-T]定义成逆变类型,所以Contravariant[Animal]被看作Contravariant[Animal]的子类型,故c可以被赋值给c2。这句应该是写错了

    scala-协变、逆变、上界、下界

    测试源代码 欢迎大家关注: scala工具库 ,里面包含各种库的测试用例和使用说明文档 B是A的子类,A是B的父类。 当我们定义一个协变类型List[A+]时,List[Ch...

  • 当你慢慢懂得了一件事情,你发现时间已经过去一大半了

    工作迷思

    早上看到一个报告,说是北京工作学习时间平均达到每天9小时以上,周末用来工作学习的时间也是全国最高的。在这个因空气质量,交通拥堵而闻名的巨型城市,每个人,只要愿意,都有机会实现...

  • 工作迷思

    早上看到一个报告,说是北京工作学习时间平均达到每天9小时以上,周末用来工作学习的时间也是全国最高的。在这个因空气质量,交通拥堵而闻名的巨型城市,每个人,只要愿意,都有机会实现...