ELK7.8.0架构部署(收集Tomcat和nginx日志)

1、环境介绍

安装软件	主机名	IP地址	系统版本
Elasticsearch	mes-1	10.8.156.35	centos7.4--3G
tomcat/nginx/Logstash	es-2	10.8.156.91	centos7.4--2G
head/Kibana	es-3	10.8.156.34	centos7.4---2G

2、软件版本

下载地址https://www.elastic.co/cn/downloads/past-releases#logstash
Elasticsearch: 7.8.0
Logstash: 7.8.0
Kibana: 7.8.0

3、Elasticsearch部署

因为Elasticsearch7.8.0内置有jdk环境，所以我们不需要再提供本地jdk环境

3.1 创建运行ES的普通用户

[root@mes-1 ~]# useradd elsearch
[root@mes-1 ~]# echo "123456" | passwd --stdin "elsearch"

3.2 安装配置ES

[root@mes-1 ~]# tar xzf elasticsearch-7.8.0.tar.gz -C /usr/local/
[root@mes-1 ~]# cd /usr/local/elasticsearch-7.8.0/config/
[root@mes-1 config]# ls
elasticsearch.yml  log4j2.properties  roles.yml  users_roles
jvm.options        role_mapping.yml   users
[root@mes-1 config]# cp elasticsearch.yml elasticsearch.yml.bak
[root@mes-1 config]# vim elasticsearch.yml    ----找个地方添加如下内容
cluster.name: elk
node.name: elk01
node.master: true
node.data: true
cluster.initial_master_nodes: ["elk01"]
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
#discovery.zen.ping.unicast.hosts: ["192.168.246.234", "192.168.246.231","192.168.246.235"]
#discovery.zen.minimum_master_nodes: 2
#discovery.zen.ping_timeout: 150s
#discovery.zen.fd.ping_retries: 10
#client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"

配置项含义：

cluster.name        集群名称，各节点配成相同的集群名称。
node.name       节点名称，各节点配置不同。
node.master     指示某个节点是否符合成为主节点的条件。
node.data       指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data       数据存储目录。
path.logs       日志存储目录。
bootstrap.memory_lock       内存锁定，是否禁用交换。
bootstrap.system_call_filter    系统调用过滤器。
network.host    绑定节点IP。
http.port       端口。
discovery.zen.ping.unicast.hosts    提供其他 Elasticsearch 服务节点的单点广播发现功能。
discovery.zen.minimum_master_nodes  集群中可工作的具有Master节点资格的最小数量，官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数量。
discovery.zen.ping_timeout      节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries        节点发现重试次数。
http.cors.enabled               是否允许跨源 REST 请求，用于允许head插件访问ES。
http.cors.allow-origin              允许的源地址。

3.3 设置JVM堆大小

[root@mes-1 config]# vim jvm.options     ----将
-Xms1g    ----修改成 -Xms2g
-Xmx1g    ----修改成 -Xms2g
#一般设置为虚拟机内存的一半，最少为2G，推荐设置为4G

注意：确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。堆内存大小不要超过系统内存的50%

3.4 创建ES数据及日志存储目录

[root@mes-1 ~]# mkdir -p /data/elasticsearch/data
[root@mes-1 ~]# mkdir -p /data/elasticsearch/logs

[root@mes-1 ~]# chown -R elsearch:elsearch /data/elasticsearch
[root@mes-1 ~]# chown -R elsearch:elsearch /usr/local/elasticsearch-7.8.0

3.6 系统优化

3.6.1 增加最大文件打开数

永久生效方法echo "* - nofile 65536" >> /etc/security/limits.conf

3.6.2 增加最大进程数

[root@mes-1 ~]# vim /etc/security/limits.conf    ---在文件最后面添加如下内容
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

解释：

soft  xxx  : 代表警告的设定，可以超过这个设定值，但是超过后会有警告。
hard  xxx  : 代表严格的设定，不允许超过这个设定的值。
nofile : 是每个进程可以打开的文件数的限制
nproc  : 是操作系统级别对每个用户创建的进程数的限制

3.6.3 增加最大内存映射数

#增大用户使用内存的空间(临时)
[root@mes-1 ~]# sysctl -w vm.max_map_count=262144
#永久
[root@mes-1 ~]# vim /etc/sysctl.conf   ---添加如下
vm.max_map_count=262144
vm.swappiness=0
[root@mes-1 ~]# sysctl -p

3.7 启动ES

[root@mes-1 ~]# su - elsearch
[elsearch@mes-1 ~]$ cd /usr/local/elasticsearch-7.8.0/
[elsearch@mes-1 elasticsearch-7.8.0]$ nohup ./bin/elasticsearch &    #放后台启动
[1] 11731
[elsearch@mes-1 elasticsearch-7.8.0]$ nohup: ignoring input and appending output to ‘nohup.out’
[elsearch@mes-1 elasticsearch-7.8.0$ tail -f nohup.out   #看一下是否启动

浏览器访问10.8.156.35:9200

image.png

4、安装配置head监控插件（Web前端）

主机：10.8.165.34

4.1 安装node

[root@es-3 ~]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
[root@es-3 ~]# tar -xzf node-v4.4.7-linux-x64.tar.gz -C /usr/local/
[root@es-3 ~]# vim /etc/profile   #添加如下变量
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
[root@es-3 ~]# source /etc/profile
[root@es-3 ~]# node --version  #检查node版本号
v4.4.7

4.2 下载head插件

[root@es-3 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@es-3 ~]# cp master.zip /usr/local/
[root@es-3 ~]# yum -y install unzip
[root@es-3 ~]# cd /usr/local
[root@es-3 ~]# unzip  master.zip

4.3 安装grunt

[root@es-3 ~]# cd elasticsearch-head-master/
[root@es-3 elasticsearch-head-master]# npm install -g grunt-cli  #时间会很长
[root@es-3 elasticsearch-head-master]# grunt --version  #检查grunt版本号
grunt-cli v1.3.2

4.4 修改head源码

[root@es-3 elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/Gruntfile.js （95行左右）

image.png

添加hostname，注意在上一行末尾添加逗号,hostname 不需要添加逗号
[root@es-3 elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js
如果head和ES在一台机器上面可以不修改下面的操作，保持原来的就可以了。
原本是http://localhost:9200 ，如果head和ES不在同一个节点，注意修改成ES的IP地址

image.png

4.5 下载head必要的文件

[root@es-3 ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@es-3 ~]# yum -y install bzip2
[root@es-3 ~]# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/  #解压

4.6 运行head

[root@es-3 ~]# cd /usr/local/elasticsearch-head-master/
[root@es-3 elasticsearch-head-master]# npm config set registry https://registry.npm.taobao.org
[root@es-3 elasticsearch-head-master]# npm install
[root@es-3 elasticsearch-head-master]# nohup grunt server &
[root@es-3 elasticsearch-head-master]# tail -f nohup.out 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

4.7 测试

浏览器访问：http://10.8.156.34:9100/

image.png

5、kibana部署

主机IP：10.8.156.34

5.1 安装配置Kibana

[root@es-3 ~]# tar zvxf kibana-7.8.0-linux-x86_64.tar.gz -C /usr/local/
[root@es-3 ~]# cd /usr/local/kibana-7.8.0-linux-x86_64/config/
[root@es-3 config]# vim kibana.yml
server.port: 5601
server.host: "10.8.156.34"     #kibana本机的地址
elasticsearch.hosts: "http://10.8.156.35:9200"  #ES主节点地址+端口
kibana.index: ".kibana"

配置项含义：

server.port kibana 服务端口，默认5601
server.host kibana 主机IP地址，默认localhost
elasticsearch.hosts  用来做查询的ES节点，默认http://localhost:9200
kibana.index       kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana

启动：

[root@es-3 config]# cd ..
[root@es-3 kibana-7.8.0-linux-x86_64]# nohup ./bin/kibana  --allow-root &
[root@es-3 kibana-7.8.0-linux-x86_64]# tailf nohup.out

5.2 安装配置Nginx反向代理

5.2.1 安装nginx

[root@es-3 ~]# yum install -y eprl-release;yum install -y nginx

5.2.2 配置反向代理

[root@es-3 ~]# vim /etc/nginx/nginx.conf     -----如果里面有server模块要删掉
[root@es-3 ~]# cd /etc/nginx/conf.d/
[root@es-3 conf.d]# vim nginx.conf
server {
        listen       80;
        server_name  10.8.156.34;

        #charset koi8-r;

       # access_log  /var/log/nginx/host.access.log  main;
       # access_log off;

         location / {  
             proxy_pass http://10.8.156.34:5601;
             proxy_set_header Host $host:5601;  
             proxy_set_header X-Real-IP $remote_addr;  
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
             proxy_set_header Via "nginx";
                     }
         location /status { 
             stub_status on; #开启网站监控状态 
             access_log /var/log/nginx/kibana_status.log; #监控日志 
             auth_basic "NginxStatus"; }

         location /head/{
             proxy_pass http://10.8.156.34:9100;
             proxy_set_header Host $host:9100;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                         }  
}

5.2.3 配置nginx

1.将原来的log_format注释掉，添加json格式的配置信息，如下：
[root@es-3-head-kib conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
2.引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;

image.png

5.2.4 启动nginx

[root@es-3 ~]# systemctl start nginx
浏览器访问http://10.8.156.34/刚开始没有任何数据，会提示你创建新的索引。

image.png

6、Logstash部署

主机IP：10.8.156.91

6.1 安装jdk

[root@es-2 ~]# tar -xvzf jdk-8u211-linux-x64.tar.gz  -C /usr/local/
[root@es-2 ~]# cd /usr/local/
[root@es-2 local]# mv jdk1.8.0_211/ java
[root@es-2 local]# vim /etc/profile
[root@es-2 local]# vim /etc/profile      ----添加
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
[root@es-2 local]# source /etc/profile

6.2 安装配置nginx

[root@es-2 ~]# yum install -y eprl-release;yum install -y nginx
#将原来的日志格式注释掉定义成json格式：
[root@es-2-zk-log conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
#引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;
#启动nginx
[root@es-2 ~]# systemctl start nginx 
[root@es-2 ~]# systemctl enable nginx

浏览器多访问几次

6.3 安装配置logstash

[root@es-2 ~]# tar xvzf logstash-7.8.0.tar.gz -C /usr/local/
#创建目录，我们将所有input、filter、output配置文件全部放到该目录中。
[root@es-2 ~]# mkdir -p /usr/local/logstash-7.8.0/etc/conf.d
[root@es-2 ~]# cd /usr/local/logstash-7.8.0 /etc/conf.d/       
[root@es-2 conf.d]# vim input.conf       #---在下面添加
input{                        #让logstash可以读取特定的事件源。
    file{                                       #从文件读取
        path => ["/var/log/nginx/access_json.log"]        #要输入的文件路径
#   code => "json"               #定义编码，用什么格式输入和输出，由于日志就是json格式，这里不用再写
        type => "shopweb"                       #定义一个类型，通用选项. 用于激活过滤器
       }
}
[root@es-2 conf.d]# vim output.conf
output{           #输出插件，将事件发送到特定目标
    elasticsearch {            #输出到es
    hosts => ["10.8.156.35:9200"]       #指定es服务的ip加端口
    index => ["%{type}-%{+YYYY.MM.dd}"]     #引用input中的type名称，定义输出的格式
    }
}
启动：
[root@es-2 conf.d]# cd /usr/local/logstash-7.8.0/
[root@es-2 logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &
[root@es-2 logstash-7.8.0]# tailf nohup.out

6.4、收集nginx日志

在浏览器中访问本机的nginx网站，然后去head插件页面查看是否有shopweb索引出现

image.png

发现之后，去配置kibanna添加索引

image.png

7、收集Tomcat日志

配置文件：

[root@es-2 logstash-7.8.0]# cat etc/conf.d/tomcat.conf 
input {
    file {
      path => "/usr/local/tomcat/logs/localhost_access_log*.txt"
      type => "tomcat"
#      start_position => "beginning"
#      stat_interval => "2"
    }
}

output {
    elasticsearch {
      hosts => ["10.8.156.35:9200"]
      index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}

效果如下图：

image.png

ELK7.8.0架构部署(收集Tomcat和nginx日志)

1、环境介绍

2、软件版本

3、Elasticsearch部署

3.1 创建运行ES的普通用户

3.2 安装配置ES

3.3 设置JVM堆大小

3.4 创建ES数据及日志存储目录

3.5 修改安装目录及存储目录权限

3.6 系统优化

3.6.1 增加最大文件打开数

3.6.2 增加最大进程数

3.6.3 增加最大内存映射数

3.7 启动ES

4、安装配置head监控插件（Web前端）

4.1 安装node

4.2 下载head插件

4.3 安装grunt

4.4 修改head源码

4.5 下载head必要的文件

4.6 运行head

4.7 测试

5、kibana部署

5.1 安装配置Kibana

5.2 安装配置Nginx反向代理

5.2.1 安装nginx

5.2.2 配置反向代理

5.2.3 配置nginx

5.2.4 启动nginx

6、Logstash部署

6.1 安装jdk

6.2 安装配置nginx

6.3 安装配置logstash

6.4、收集nginx日志

7、收集Tomcat日志