基于 Docker18.09.0
声明
本文是以下面的文章知识作为基础的
工作流程图
image.png
编写 Dockerfile
创建上下文环境
先为这个小测试创建一个目录，作为各个容器的上下文环境
mkdir -p elk/{filebeat,logstash,elasticsearch}
创建自定义的网络
当在一台宿主机上创建多个可以网络互通的容器时，建议不要使用默认的网桥，
因为我们之前在基础部分说过，默认的网桥，容器之间的通信需要使用彼此的 IP，这样比较麻烦。
所以我们使用自己创建的网桥，就可以使用彼此的容器名进行互相通信了，容器的名称会被转换为容器的主机名。
# 创建
$ docker network create -d bridge elk-net
14c05413eb5b45d5fac79f2346bdd03263cc3a01ce86d44b8f3d54b6eeebd90e
# 查看
$ docker network ls |grep elk-net
14c05413eb5b elk-net bridge local
1. Elasticsearch
a.容器的默认值：
- JVM
-Xms1g
-Xmx1g
elasticsearch.yml
cluster.name: "docker-cluster"
network.host: 0.0.0.0
- 端口号
9200和9300
所以这里我们作为测试，不必修改任何配置就可以启动他。
b. 运行容器
docker run -d --name=elasticsearch --network=elk-net -p 9200:9200 docker.elastic.co/elasticsearch/elasticsearch:7.10.0
-d后台运行此容器
--rm由于是测试，所以当停止这个容器的时候同时删除这个容器
--network连接到指定的网络
-p映射端口到宿主机
c. 检查 elasticserch 集群状态
用浏览器访问宿主机的9200 端口
http://127.0.0.1:9200/_cat/health
image.png
2. Logstash
a. 准备管道配置文件
下面的配置是监听本机的 5044 端口接收 Fielbeat 的输入
并且将处理清洗过的事件数据输出到 elasticsearch
elk/logstash/logstash_nginx.conf
input {
beats {
port => 5044
host => "0.0.0.0"
}
}
filter {
if ([fileset][module] == "nginx") {
if ([fileset][name] == "access") {
grok {
match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
remove_field => "message"
}
mutate {
add_field => { "read_timestamp" => "%{@timestamp}" }
}
date {
match => [ "[nginx][access][time]", "dd/MMM/YYYY:H:m:s Z" ]
remove_field => "[nginx][access][time]"
}
useragent {
source => "[nginx][access][agent]"
target => "[nginx][access][user_agent]"
remove_field => "[nginx][access][agent]"
}
geoip {
source => "[nginx][access][remote_ip]"
target => "[nginx][access][geoip]"
}
}
else if [fileset][name] == "error" {
grok {
match => { "message" => ["%{DATA:[nginx][error][time]} \[%{DATA:[nginx][error][level]}\] %{NUMBER:[nginx][error][pid]}#%{NUMBER:[nginx][error][tid]}: (\*%{NUMBER:[nginx][error][connection_id]} )?%{GREEDYDATA:[nginx][error][message]}"] }
remove_field => "message"
}
mutate {
rename => { "@timestamp" => "read_timestamp" }
}
date {
match => [ "[nginx][error][time]", "YYYY/MM/dd H:m:s" ]
remove_field => "[nginx][error][time]"
}
}
}
}
output {
elasticsearch {
hosts => ["elasticsearch:9200"]
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug } # 假如有问题，可以同时进行调试
}
关于文件中的
filter部分会在以后专门讨论。
关于
output
- hosts ==>["elasticsearch:9200"] 指定机群的主机名，主机名就是容器名
- manage_template => false 禁用默认的模板，详细官方介绍
- index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
- %{[@metadata][beat]} 从源数据获取到处理日志的插件,比如
Filebeat- %{[@metadata][version]} 从源数据获取到版本号
- %{+YYYY.MM.dd} 以
Logstash的时间戳格式显示的时间
b. Dockerfile
elk/logstash/Dockerfile
FROM docker.elastic.co/logstash/logstash:7.10.0
COPY ./logstash_nginx.conf /usr/share/logstash/pipeline/logstash.conf
c. 这样构建和运行
cd elk/logstash
docker build -t elk_logstash .
docker run -itd --rm --name=logstash71 --network=elk-net elk_logstash
3. Filebeat
a. 准备源数据
elk/filebeat/example.log
95.213.177.126 - - [18/Jul/2017:00:01:09 +0800] "POST http://check.proxyradar.com/azenv.php HTTP/1.1" 404 326 "https://proxyradar.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)" "-"
202.108.211.56 - - [18/Jul/2017:00:03:23 +0800] "GET http://1.1.1.1/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21" "-"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/css/style_eeoweb.css HTTP/1.1" 200 11988 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/mobile/js/deviceType.js HTTP/1.1" 200 1055 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jplayer/skin/black/css/style.css HTTP/1.1" 200 3339 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/index_eeoweb.js HTTP/1.1" 200 910 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/easySlider.js HTTP/1.1" 200 2431 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/require_eeoweb.js HTTP/1.1" 200 7161 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jquery.js HTTP/1.1" 200 46467 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
你可以自己准备一个日志文件，或者将上面的内容多复制1000行到文件中
b. 准备配置文件
elk/filebeat/filebeat_to_logstash.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /*.log
output.logstash:
# The Logstash hosts
hosts: ["logstash71:5044"]
c. Dockerfile
elk/filebeat/Dockerfile
FROM docker.elastic.co/beats/filebeat:7.10.0
COPY ./example.log /example.log
COPY ./filebeat_to_logstash.yml /usr/share/filebeat/filebeat.yml
d. 这样构建和运行
cd elk/filebeat/
docker build -t elk_filebeat .
docker run -itd --rm --name=filebeat71 --network=elk-net elk_filebeat
4. kibana
a. 默认的配置
kibana 的容器其实处于测试性的目的就可以直接运行了。
因为默认的配置文件中集群的 url 就是 http://elasticsearch:9200
下面是容器内默认的配置文件内容
/usr/share/kibana/config/kibana.yml
---
# Default Kibana configuration from kibana-docker.
server.name: kibana
server.host: "0"
elasticsearch.url: http://elasticsearch:9200
xpack.monitoring.ui.container.elasticsearch.enabled: true
b. 这样运行 kibana 容器
docker run -d --name=kibana71 --network=elk-net -p 5601:5601 docker.elastic.co/kibana/kibana:7.10.0
c. 检查是否自动发现了我们创建的索引
使用浏览器访问宿主机的 5601 端口
比如 http://127.0.0.1:5601
image.png
image.png
d. 为 kibana 添加匹配索引的索引模式
要想让 kibana 识别到 elasticsearch 的数据，需要把我们在 elasticsearch 创建好的索引告诉他.
Kibana使用索引模式从Elasticsearch索引中检索可视化等内容。
image.png
image.png
image.png
image.png
image.png
