Graylog安装使用

准备

Java

$ sudo yum install java-1.8.0-openjdk-headless.x86_64

安装MongoDB

$ sudo vim /etc/yum.repos.d/mongodb-org-3.2.repo

添加如下内容：

[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

保存文件并退出编辑。
执行命令：

$ sudo yum install mongodb-org

启动服务：

$ sudo chkconfig --add mongod
$ sudo systemctl daemon-reload
$ sudo systemctl enable mongod.service
$ sudo systemctl start mongod.service

安装Elasticsearch

$ sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

$ sudo vim /etc/yum.repos.d/elasticsearch.repo

添加如下内容：

[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

保存文件并退出编辑。

$ sudo yum install elasticsearch

更改elasticsearch配置文件：

$ sudo vim /etc/elasticsearch/elasticsearch.yml

将cluster name设置成graylog，并去掉改行前面的#：

cluster.name: graylog

启动服务：

$ sudo chkconfig --add elasticsearch
$ sudo systemctl daemon-reload
$ sudo systemctl enable elasticsearch.service
$ sudo systemctl restart elasticsearch.service

安装Graylog

$ sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.rpm
$ sudo yum install graylog-server

编辑配置文件 /etc/graylog/server/server.conf 添加 password_secret 、root_password_sha2，执行如下命令，将结果添加到分别添加到配置文件对应的部分。

$ sudo yum install pwgen
$ pwgen -N 1 -s 96

执行$ sudo yum install pwgen若出现以下的问题：

[vagrant@graylogNode1 ~]$ sudo yum install pwgen
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.sohu.com
 * extras: mirrors.sohu.com
 * updates: mirrors.sohu.com
No package pwgen available.
Error: Nothing to do

解决办法：执行$ sudo yum install epel-release，然后再执行$ sudo yum install pwgen。
将结果添加到配置文件的password_secret 部分。

$ echo -n 123456 | sha256sum

将结果添加到配置文件的 root_password_sha2 部分。
启动服务：

$ sudo chkconfig --add graylog-server
$ sudo systemctl daemon-reload
$ sudo systemctl enable graylog-server.service
$ sudo systemctl start graylog-server.service

至此，graylog web已经安装完成，访问http://localhost:9000即可看到web界面。

后端Graylog side-car安装

版本对应：

Sidecar version	Graylog server version
0.0.9	2.1.x
0.1.x	2.2.x,2.3.x

Graylog默认支持Beats 和NXlog，以下介绍其安装方法。

Beats backend

Ubuntu
Beats二进制文件（Filebeat和Winlogeventbeat）包含在Sidecar软件包中。所以只需使用如下命令安装：

$ sudo dpkg -i collector-sidecar_0.0.9-1_amd64.deb

编辑配置文件/etc/graylog/collector-sidecar/collector_sidecar.yml，配置Graylog server URL 、tags，tag用于定义接收哪个主机的配置。
创建系统服务并启动：

$ sudo graylog-collector-sidecar -service install

[Ubuntu 14.04 with Upstart]
$ sudo start collector-sidecar

[Ubuntu 16.04 with Systemd]
$ sudo systemctl start collector-sidecar

CentOS
使用RPM包安装：

$ sudo rpm -i collector-sidecar-0.0.9-1.x86_64.rpm

Sidecar作为系统服务启动：

$ sudo graylog-collector-sidecar -service install 
$ sudo systemctl start collector-sidecar

NXLog backend

Ubuntu
下载相应的安装包nxlog，由于Sidecar要控制NXlog 的启动和停止，因此必须停止NXlog的所有运行实例并解除配置默认系统服务。之后我们可以安装和设置Sidecar：

$ sudo /etc/init.d/nxlog stop 
$ sudo update-rc.d -f nxlog remove 
$ sudo gpasswd -a nxlog adm 
$ sudo chown -R nxlog.nxlog / var / spool / collector-sidecar / nxlog 

$ sudo dpkg -i collector-sidecar_0.0.9-1_amd64.deb

编辑/etc/graylog/collector-sidecar/collector_sidecar.yml并注册Sidecar作为服务：

$ sudo graylog-collector-sidecar -service install

[Ubuntu 14.04 with Upstart]
$ sudo start collector-sidecar

[Ubuntu 16.04 with Systemd]
$ sudo systemctl start collector-sidecar

CentOS
下载相应的安装包安装并启动服务：

$ wget https://nxlog.co/system/files/products/files/348/nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm
$ sudo yum localinstall nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm -y
$ sudo service nxlog start

执行如下的命令操作，配置graylog控制nxlog：

$ sudo service nxlog stop
$ sudo chkconfig --del nxlog
$ sudo gpasswd -a nxlog root
$ sudo chown -R nxlog.nxlog /var/spool/collector-sidecar/nxlog

$ sudo rpm -i collector-sidecar-0.0.9-1.x86_64.rpm

Sidecar作为系统服务启动：

$ sudo graylog-collector-sidecar -service install
$ sudo systemctl start collector-sidecar

配置

配置文件所在位置：/etc/graylog/collector-sidecar/collector_sidecar.yml
Filebeat配置示例：

server_url: http://192.168.93.128:9000/api/
update_interval: 30
tls_skip_verify: true
send_status: true
list_log_files:
node_id: graylog-collector-sidecar
collector_id: file:/etc/graylog/collector-sidecar/collector-id
cache_path: /var/cache/graylog/collector-sidecar
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
    - linux
    - apache
backends:
    - name: filebeat
      enabled: true
      binary_path: /usr/bin/filebeat
      configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml

NXlog 配置示例：

server_url: http://192.168.93.128:9000/api/
update_interval: 30
tls_skip_verify: true
send_status: true
list_log_files:
  - /var/log
node_id: graylog-collector-sidecar
collector_id: file:/etc/graylog/collector-sidecar/collector-id
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
  - linux
  - apache
backends:
    - name: nxlog
      enabled: true
      binary_path: /usr/bin/nxlog
      configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf

初次启动

system	command
Debian/Ubuntu	sudo start collector-sidecar
RedHat/CentOS	sudo systemctl start collector-sidecar
Windows	C:\Program Files\graylog\collector-sidecar\graylog-collector-sidecar.exe -service start

初次启动后，会有以下问题：

INFO[0006] [RequestConfiguration] No configuration found for configured tags!

这只是意味着没有与Sidecar启动时的配置相同标签。所以我们必须创建一个新的配置，定义输出和输入并标记它以收集日志文件。

Web界面配置Step-by-step guide

以下简单介绍下Apache日志、系统日志的采集。
收集Apache日志

创建一个Beats input用于接收收集器发送的数据，点击“System->Inputs”并创建一个监听在0.0.0.0:5044的全局Beats input。
收集器配置，点击“System->Collectors->Manage configurations”进行配置。
创建新的配置文件。
填写配置名称，点击“Save”按钮保存。
点击刚刚创建的配置，配置Beats output，点击“Save”保存。
配置Beats intput用于收集Apache访问日志，点击“Save”保存。
为配置打上tag。
查看收集到的Apache日志。

收集系统日志
使用rsyslog转发系统日志配置：
UDP：

*.* @graylog.example.org:514;RSYSLOG_SyslogProtocol23Format

TCP：

*.*@@graylog.example.org:514;RSYSLOG_SyslogProtocol23Format

如果您使用的是不提供内置RSYSLOG_SyslogProtocol23Format模板的rsyslog（rsyslog 5.10之前的版本）的旧版本，则可以创建自定义消息模板。
上面的UDP示例变成：

$template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date-rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg%\n"
*.* @graylog.example.org:514;GRAYLOGRFC5424

本次使用 TCP 配置，具体步骤如下。

在 /etc/rsyslog.d目录下创建文件graylog.conf，写入配置并保存：
```
$ vim /etc/rsyslog.d/graylog.conf
```
写入如下内容：
```
 *.* @@localhost:5140;RSYSLOG_SyslogProtocol23Format
```
注解
此处使用514端口时会出现权限的问题，因此换用5140端口，web界面配置时使用的端口应该与其一致。
重启rsyslog服务：
```
$ sudo service rsyslog restart
```
web界面创建System TCP input:
填写配置，点击“Save”按钮保存：
完成的配置如下图所示，处于running状态：
查看收集到的系统日志：

告警配置

编辑graylog配置文件：

$ vim /etc/graylog/server.conf

添加如下smtp配置内容：

# Email transporttransport_email_enabled = truetransport_email_hostname = smtp.163.com
transport_email_port = 25
transport_email_use_auth = true
transport_email_use_tls = false
transport_email_use_ssl = false
transport_email_auth_username = example@163.com
transport_email_auth_password = xiao*******
#transport_email_subject_prefix = [graylog]
transport_email_from_email = example@163.com
transport_email_web_interface_url = http://localhost:9000

保存修改并退出编辑。

配置通知：
点击“Alerts->Manage notifications”

点击“Add new notification”

添加notification，如下图

点击“Test”测试通知是否配置正确
配置触发条件：
点击“Alerts->Manage conditions”

点击“Add new condition”

添加condition，如下图

至此，一个简单的告警配置已经完成。
上述告警示例表示当5分钟内接收到的日志消息超过10条的时候，发送告警通知给邮箱 example@example.com。
收到的告警通知邮件如下图：

最后编辑于：2017.12.11 02:54:42

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 201,924评论 5赞 474
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 84,781评论 2赞 378
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 148,813评论 0赞 335
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,264评论 1赞 272
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,273评论 5赞 363
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,383评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,800评论 3赞 393
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,482评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,673评论 1赞 295
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,497评论 2赞 318
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,545评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,240评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,802评论 3赞 304
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,866评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,101评论 1赞 258
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,673评论 2赞 348
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,245评论 2赞 341