slowrabbit

Scala Spark使用 特殊引用 使用比如hive sql或者rdd转换toDF是通过隐式转换，需要增加相关的包引用1 hive sql： import spark.sq...

slowrabbit

背景 在基于hadoop 集群的spark2环境中，使用python编写任务。groupByKeys后，对value进行处理的时候，处理函数fun需要一个参数。传入后，使用s...

slowrabbit

现象 今天写好logstash后（kafka-》 logstash -》kafka ），本地测试OK后，上线后，疯狂重启，错误日志如下(没有什么用)： 使用版本 os：Cen...

slowrabbit

开发软件指pycharm？cpu过高，一般是有大量计算，检查下逻辑呢

Mac多python版本环境搭建

参考：mac下使用pyenv,pyenv-virtualenv治理python的多个版本Mac OSX 下使用pythonbrew安装zlib 报ImportError: N...

slowrabbit

3065 2 1

slowrabbit

pyspark 使用总结 配置 SparkContext SparkSession配置初始化 导入 sc从文本导入 从csv导入 1.1版本： 这种方式需要在运行的时候添加-...

slowrabbit

听着赵雷的《成都》，在最后90后和18岁说再见的时候，依依不舍地和2017说再见。。。 工作 傍晚和前同事一起吃饭，吃饭的地点是前公司附近的购物中心。回家在公交车看两旁的街景...

slowrabbit

好问题，同时不好意思没有注意到消息，晚回复了。
logstash默认是扫描1天内的文件，如果比如设定3天内的内容，可以ignore_older改成3 * 24 * 60 * 60，下面是一个实例，请参考~
input {
file {
path => "/var/log/*"
exclude => "*.gz" # 排除压缩文件
start_position => beginning # 老文件需要处理的话，设置这个
ignore_older => 86400 # 1 day
}
}

ELK 5.1部署

ELK已经升级到6了，希望使用6的同学，可以查看Ken同学的这篇文章 参考：ELK部署详解centos7虚拟机安装elasticsearch5.0.x-安装篇logstash...

slowrabbit

1556 2 7

slowrabbit

Design Microservices Architecture for Failures这是在hacknoon看到一篇微服务的文章，里面应对异常的方案非常好，所以提取要点...

slowrabbit

ELK已经升级到6了，希望使用6的同学，可以查看Ken同学的这篇文章 参考：ELK部署详解centos7虚拟机安装elasticsearch5.0.x-安装篇logstash...

slowrabbit

目的 算算玩了Django也好长时间了，从开始对模板的一无所知，但现在也可以将bootstrap嵌入到Django中了，记录下整个过程，对于自己是一次总结，希望也能对开始使用...

slowrabbit

一年又一年，匆匆2016。。。迷惘，选择，重新上路。 理性 到2016年7月，我已经工作四年了。我努力过、坚持过，更纠结过、挣扎过。收获了很多，但也隐忍了很多。记得5月提离职...

slowrabbit

Q:Why is it hard to understand what people are talking in TV Series?A:People often mumb...

slowrabbit

我们经常会讨论，如果时光倒回十年，我们希望当初的自己能够更早地明白一些道理。网络上也有各种各样的版本。今晚将我看过的最美的英文版本整理后分享给大家。 关于职场 Don’t w...