title: ELK系列之一：安装和基本使用
categories: Linux
tags:
- ELK
timezone: Asia/Shanghai
date: 2019-02-02

ELK介绍

需求背景：

业务发展越来越庞大，服务器越来越多
各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志
开发人员排查问题，需要到服务器上查日志，不方便
运营人员需要一些数据，需要我们运维到服务器上分析日志

为什么要用到ELK：

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。
但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，
面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。
需要集中化的日志管理，所有服务器上的日志收集汇总。
常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

大型系统通常都是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，
大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，
构建一套集中式日志系统，可以提高定位问题的效率。

一个完整的集中式日志系统，需要包含以下几个主要特点：

收集－能够采集多种来源的日志数据
传输－能够稳定的把日志数据传输到中央系统
存储－如何存储日志数据
分析－可以支持 UI 分析
警告－能够提供错误报告，监控机制

ELK简介：

ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。
不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)
Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具，
目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。

为什么被采集端使用 Filebeat ，而不用原来的 Logstash 呢？

原因很简单，资源消耗比较大。
由于 Logstash 是跑在 JVM 上面，资源消耗比较大
后来作者用 GO 写了一个功能较少但是资源消耗也小的轻量级的 Agent 叫 Logstash-forwarder。
后来作者加入 elastic.co 公司， Logstash-forwarder 的开发工作给公司内部 GO 团队来搞，最后命名为 Filebeat。
Filebeat 需要部署在每台应用服务器上，可以通过 Salt 来推送并安装配置。

image

image

整体架构

Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。

Kibana ：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

Logstash ：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。

Filebeat：轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择。

环境

[root@centos181002 httpd]# cat /etc/centos-release
CentOS Linux release 7.6.1810 (Core)

[root@centos181001 home]# java -version
java version "1.8.0_192"
Java(TM) SE Runtime Environment (build 1.8.0_192-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.192-b12, mixed mode)

Elastic Stack 6.6.0

第一步：系统初始化设置

1.关闭系统默认防火墙（支持REHL\CentOS6和7）

setenforce 0
sed -i -r "/^SELINUX=/c SELINUX=disabled" /etc/selinux/config
which systemctl && systemctl stop firewalld
which systemctl && systemctl disable firewalld
which systemctl && systemctl stop iptables || service iptables stop
which systemctl && systemctl disable iptables || chkconfig iptables off

2.安装JDK环境

Elasticsearch requires Java 8 or later. Use the official Oracle distribution or an open-source distribution such as OpenJDK.

官方建议使用Oracle JDK1.8.0.131或更高，这里我们使用的是1.8.0.192

# 解压并重命名
tar vxf jdk-8u192-linux-x64.tar.gz
mv jdk1.8.0_192 jdk

# 修改环境变量并提前备份原始文件
/bin/grep 666666 /etc/profile && /bin/cp /etc/profile.666666 /etc/profile || /bin/cp /etc/profile /etc/profile.666666
cat <<EOF >>/etc/profile
export JAVA_HOME=/home/jdk
export CLASSPATH=.:\${JAVA_HOME}/jre/lib/rt.jar:\${JAVA_HOME}/lib/dt.jar:\${JAVA_HOME}/lib/tools.jar
export PATH=\$PATH:\${JAVA_HOME}/bin
EOF
source /etc/profile

第二步：安装Elasticsearch

配置文件：/etc/elasticsearch/

启动日志：/var/log/messages

默认日志：/var/log/elasticsearch

官方安装说明：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

1.下载并安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm
rpm -ivh elasticsearch-6.6.0.rpm

2.修改配置文件

# 1.修改监听IP和监听端口
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml

network.host: 11.11.11.61
http.port: 9200


# 2.为elasticsearch设置jdk路径，否则启动时候会报错
cp /etc/sysconfig/elasticsearch /etc/sysconfig/elasticsearch.bak
vim /etc/sysconfig/elasticsearch

JAVA_HOME=/home/jdk

3.启动服务

systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service
systemctl status elasticsearch.service

4.检查程序是否正常运行。

# 1.查看服务状态是否正常
systemctl status elasticsearch.service

# 2.查看监听端口是否正常（elasticsearch会监听9200和9300两个端口）
# 虽然我们这里是单机模式，不过9300一样会正常监听
# 9200则是数据传输时用的
# 9300端口是集群通信用的
netstat -lntp |grep java

# 3.查看进程是否正常
ps aux | grep elasticsearch

# 4.检查9200端口返回状态
# 也可以通过浏览器此地址测试：http://11.11.11.61:9200/
curl -X GET "11.11.11.61:9200/"

[root@centos181001 elasticsearch]# curl -X GET "11.11.11.61:9200/"
{
  "name" : "iI1f5lo",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "1QFZh0mDQHWmW5uJJnXixw",
  "version" : {
    "number" : "6.6.0",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "a9861f4",
    "build_date" : "2019-01-24T11:27:09.439740Z",
    "build_snapshot" : false,
    "lucene_version" : "7.6.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

使用浏览器显示出来的也是一堆字符串，我们希望这些信息能以图形化的方式显示出来，那就需要安装kibana来为我们展示这些数据了。

第三步：安装Kibana

配置文件：/etc/kibana/

官方安装说明：https://www.elastic.co/guide/en/kibana/6.6/index.html

1.下载并安装

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-x86_64.rpm
rpm -ivh kibana-6.6.0-x86_64.rpm

2.修改配置文件

# 1.修改Kibana服务监听IP、监听端口、配置elasticsearch地址
# elasticsearch为es服务器的ip，如果是集群则配置该集群中主节点的ip
cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
vim /etc/kibana/kibana.yml

server.port: 5601
server.host: "11.11.11.61"
elasticsearch.hosts: ["http://11.11.11.61:9200"]

3.启动并设置开机自动启动

systemctl enable kibana
systemctl stop kibana
systemctl start kibana
systemctl status kibana

4.检查程序是否正常

# 1.检查默认监听端口
# 由于kibana是使用node.js开发的，所以进程名称为node
netstat -lntp |grep 5601

# 2.查看进程
ps aux | grep kibana

5.打开浏览器访问管理页面

打开浏览器里进行访问，由于我们并没有安装x-pack，所以此时是没有用户名和密码的，可以直接访问的。

到此我们的kibana就安装完成了，很简单，接下来就是安装logstash，不然kibana是没法用的。

http://11.11.11.61:5601

到此我们的kibana就安装完成了，很简单，接下来就是安装logstash，不然kibana是没法用的。

第四步：安装Logstash

程序如果启动错误或者端口没有正常监听，可以到/var/log/message查看日志

1.下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.rpm
rpm -ivh logstash-6.6.0.rpm

2.安装以后先不要启动服务，先配置Logstash收集syslog日志并测试

1.创建文件并编辑

cat <<EOF >/etc/logstash/conf.d/syslog.conf
input {  # 定义日志源
  syslog {
    type => "system-syslog"  # 定义类型
    port => 10514    # 定义监听端口
  }
}

output {  # 定义日志输出
  stdout {
    codec => rubydebug  # 将日志输出到当前的终端上显示
  }
}
EOF
cat /etc/logstash/conf.d/syslog.conf

2.检查配置文件是否有错误

/usr/share/logstash/bin/logstash \
        --path.settings /etc/logstash/ \
        -f /etc/logstash/conf.d/syslog.conf \
        --config.test_and_exit

--path.settings 用于指定logstash的配置文件所在的目录
-f 指定需要被检测的配置文件的路径
--config.test_and_exit 指定检测完之后就退出，不然就会直接启动了

# 显示Configuration OK代表配置没问题
[root@centos181001 conf.d]# /usr/share/logstash/bin/logstash \
>         --path.settings /etc/logstash/ \
>         -f /etc/logstash/conf.d/syslog.conf \
>         --config.test_and_exit
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2019-02-02T03:06:08,558][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/var/lib/logstash/queue"}
[2019-02-02T03:06:08,582][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/var/lib/logstash/dead_letter_queue"}
[2019-02-02T03:06:09,714][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
Configuration OK
[2019-02-02T03:06:21,137][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

3.配置kibana服务器的ip以及配置的监听端口：

# 1.编辑并在#### RULES ####位置增加以下行（IP地址为本机监听IP地址和端口）
vim /etc/rsyslog.conf
*.* @@11.11.11.61:10514

# 2.重启rsyslog，让配置生效
systemctl restart rsyslog

4.指定配置文件，启动logstash测试

/usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf

# 等待出现以下信息
[root@centos181001 conf.d]# /usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2019-02-02T03:16:57,098][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2019-02-02T03:16:57,192][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.6.0"}
[2019-02-02T03:16:57,259][INFO ][logstash.agent           ] No persistent UUID file found. Generating new UUID {:uuid=>"b98c03ce-ca73-4b08-a392-653913d80883", :path=>"/var/lib/logstash/uuid"}
[2019-02-02T03:17:11,739][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2019-02-02T03:17:12,794][INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x1b532bc9 run>"}
[2019-02-02T03:17:12,892][INFO ][logstash.inputs.syslog   ] Starting syslog udp listener {:address=>"0.0.0.0:10514"}
[2019-02-02T03:17:12,913][INFO ][logstash.inputs.syslog   ] Starting syslog tcp listener {:address=>"0.0.0.0:10514"}
[2019-02-02T03:17:13,011][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2019-02-02T03:17:13,751][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

5.检查10514端口是否已被监听

netstat -antp | grep 10514

6.用另外机器ssh登录到这台服务器，看看是否有日志输出

应该可以看到很多以JSON的格式打印的收集到的日志

3.配置Logstash

以上只是测试的配置，这一步我们需要重新改一下配置文件，让收集的日志信息输出到es服务器中，而不是当前终端

1.编辑配置文件

cat <<EOF >/etc/logstash/conf.d/syslog.conf
input {
  syslog {
    type => "system-syslog"
    port => 10514
  }
}

output {
  elasticsearch {
    hosts => ["11.11.11.61:9200"]  # 定义es服务器的ip
    index => "system-syslog-11.11.11.61-%{+YYYY.MM}" # 定义索引
  }
}
EOF
cat /etc/logstash/conf.d/syslog.conf

2.为Logstash手动指定JAVA_HOME，否则启动程序会报错

cp /usr/share/logstash/bin/logstash.lib.sh /usr/share/logstash/bin/logstash.lib.sh.bak
vim /usr/share/logstash/bin/logstash.lib.sh
JAVA_HOME=/home/jdk

3.检测配置文件是否有错误

/usr/share/logstash/bin/logstash \
    --path.settings /etc/logstash/ \
    -f /etc/logstash/conf.d/syslog.conf \
    --config.test_and_exit

4.将以下两个文件夹所有者改为logstash，否则启动的时候会因为没有权限报错

chown -R logstash:logstash /var/log/logstash/
chown -R logstash:logstash /var/lib/logstash/

5.修改Logstash默认监听IP

cp /etc/logstash/logstash.yml /etc/logstash/logstash.yml.bak
vim /etc/logstash/logstash.yml
http.host: "11.11.11.61"

4.测试OK后启动并设置开机自动启动

systemctl enable logstash
systemctl stop logstash
systemctl start logstash
systemctl status logstash

5.检查是否是否正常启动

# 1.检查进程
ps aux |grep logstash

# 2.查看服务状态
systemctl status logstash

# 3.查看监听端口
netstat -antp | grep -E '9600|10514'

6.可以使用以下命令查看索引

curl '11.11.11.61:9200/_cat/indices?v'

# 这里可以看到上边我们配置的：
# index => "system-syslog-11.11.11.61-%{+YYYY.MM}" # 定义索引

第五步：登录Kibana查看

到这里我们已经可以实现了将本地的message日志归档并可使用Kibana查看

1.登录Kibana

http://11.11.11.61:5601

2.需要设置索引才能够查看。

    - Management 
    - Create index pattern 
    - 选择刚才添加索引名称，可以使用通配符，比如：system-syslog*，然后点击【Next step】
    - 选择【@timestamp】后点击【Create index pattern】

3.查看日志

    - Discover
        在这里可以跟在搜索框里搜索任意想要查找的日志内容。

第六步：使用Filebeat采集日志

之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具。而且beats可扩展，支持自定义构建。

这里我们新增一台测试服务器11.11.11.62来安装Filebeat并将日志发送到ES服务器

1.关闭系统默认防火墙（支持REHL\CentOS6和7）

setenforce 0
sed -i -r "/^SELINUX=/c SELINUX=disabled" /etc/selinux/config
which systemctl && systemctl stop firewalld
which systemctl && systemctl disable firewalld
which systemctl && systemctl stop iptables || service iptables stop
which systemctl && systemctl disable iptables || chkconfig iptables off

2.下载安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm
rpm -ivh filebeat-6.6.0-x86_64.rpm

3.测试配置

1.先将配置文件备份

cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml.bak

2.过滤掉#开头的备注内容和空行，方便修改查看

cat /etc/filebeat/filebeat.yml.bak | grep -v '^#' | grep -v '^  #' | grep -v '^$' > /etc/filebeat/filebeat.yml

3.修改配置文件

[root@centos181002 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
# 本行注释掉
#  enabled: false

# 这里是日志路径可以有多条
  paths:
#    - /var/log/*.log
     - /var/log/messages
    #- c:\programdata\elasticsearch\logs\*

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:

# 这里先注释掉，设定输出到控制台先测试
#output.elasticsearch:
#  hosts: ["localhost:9200"]

# 新增这里，让日志输出到控制台，以测试
output.console:  # 指定在终端上输出日志信息
  enable: true

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

4.修改完以上配置后执行以下命令，查看是否有日志输出，终端内有打印日志说明配置正常

/usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml

4.修改为正式配置文件并启动程序

1.修给配置文件为以下内容

[root@centos181002 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
# 本行注释掉
#  enabled: false

# 这里是日志路径可以有多条
  paths:
#    - /var/log/*.log
     - /var/log/messages
    #- c:\programdata\elasticsearch\logs\*

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:

# 这里设定ES服务器地址
output.elasticsearch:
  hosts: ["11.11.11.61:9200"]

# 新增这里，让日志输出到控制台，以测试，测试部分注释掉
#output.console:  # 指定在终端上输出日志信息
#  enable: true

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

2.启动Filebeat服务并设置开机自动启动

systemctl enable filebeat
systemctl stop filebeat
systemctl start filebeat
systemctl status filebeat

3.查看服务是否正常

# 1.查看服务状态
systemctl status filebeat

# 2.查看进程
ps aux | grep filebeat

# 3.查看ES服务器上是否新增了一个以filebeat-6.0.0开头的索引
# 这就代表filesbeat和es能够正常通信了
curl '11.11.11.61:9200/_cat/indices?v' 

4.登录ES管理页面，配置索引，并查看日志。

- 登录页面：http://11.11.11.61:5601
- Management
- Index Patterns
- Create index pattern
- 填写Index pattern（索引模式，支持通配符，比如：filebeat-6.6.0*）后【Next step】
- Time Filter field name选择【@timestamp】后点击【Create index pattern】
- 到Discover可以查看系统收集到的日志。

5.在以上基础上增加httpd日志搜集

因为filebeat日志路径是支持多条的，所以这里只需要将需要采集的日志路径填入配置文件即可。

1.安装httpd

yum install -y httpd

2.修改filebeat配置文件以搜集httpd日志
httpd默认日志路径：/var/log/httpd/

vim /etc/filebeat/filebeat.yml
在paths:处增加以下内容：
- /var/log/httpd/

3.重启Filebeat服务并启动httpd服务

systemctl stop filebeat
systemctl start filebeat
systemctl start httpd
systemctl status filebeat httpd

4.打开浏览器访问httpd服务，并到ES服务器查看是否有httpd日志被采集。

第六步：汉化

作者主页：https://github.com/anbai-inc

结语：到这里ELK的架设和简单使用基本OK，更深入的使用和其他内容将抽时间继续整理。

附录：

所用到离线包下载：https://pan.baidu.com/s/16uVQL-d5HdgjajzCpY2e3g

官方安装：https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html

中文官网：https://www.elastic.co/cn/products

ELKstack中文指南：https://elkguide.elasticsearch.cn/logstash/examples/nginx-access.html

不错的文章（亿级 ELK 日志平台构建实践）：http://blog.51cto.com/13527416/2117141

搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群：http://blog.51cto.com/zero01/2079879

搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器：http://blog.51cto.com/zero01/2082794