索引的创建以及IK的安装详见：elasticsearch与mysql数据同步（go-mysql-elasticsearch）
1. Logstash介绍
Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。
2. 应用场景
1.日志搜索器：logstash采集、处理、转发到elasticsearch存储，在kibana进行展示
2.Elk日志分析（elasticsearch+logstash+kibana）
3.logstash同步mysql数据库数据到es
3. logstash安装
1.拉取logstash镜像(需要与es版本对应)
docker pull logstash:7.12.1
2.构建logstash容器
#创建一个用于存储logstash配置以及插件的目录
mkdir /docker/logstash
docker run -p 9900:9900 -d --name logstash -v /docker/logstash:/etc/logstash/pipeline --privileged=true logstash:7.12.1
3.进入容器内部安装jdbc和elasticsearch插件
#进入容器内部
docker exec -it logstash bash
#使用logstash-plugin安装器安装logstash-input-jdbc插件，改安装器在bin目录下（此插件镜像新版本自带）
logstash-plugin install logstash-input-jdbc
#安装数据输出到es的插件
logstash-plugin install logstash-output-elasticsearch
4.下载jdbc的mysql-connection.jar包
https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.24/mysql-connector-java-8.0.24.jar
5.修改容器内部配置
修改/usr/share/logstash/config/logstash.yml文件
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://172.17.0.7:9200" ]
修改/usr/share/logstash/config/pipelines.yml文件
- pipeline.id: table1
path.config: "/etc/logstash/pipeline/logstash.conf"
6.退出容器，创建配置文件以及相关配置信息
创建配置文件
touch /docker/logstash/logstash.conf
配置文件内容（全量的配置文件）
input {
stdin { }
jdbc {
#注意mysql连接地址一定要用ip，不能使用localhost等
jdbc_connection_string => "jdbc:mysql://172.17.0.3:3306/lmrs"
jdbc_user => "root"
jdbc_password => "root"
#这个jar包的地址是容器内的地址
jdbc_driver_library => "/etc/logstash/pipeline/mysql-connector-java-8.0.24.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement => "select id,`name`,long_name,brand_id,three_category_id as category_id,shop_id,price,status,sold_count,review_count,create_time,last_time from lmrs_products"
schedule => "* * * * *"
}
}
output {
elasticsearch {
#注意es连接地址一定要用ip，不能使用localhost等
hosts => "172.17.0.7:9200"
index => "products"
document_type => "_doc"
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
增量的配置文件
input {
stdin { }
jdbc {
#注意mysql连接地址一定要用ip，不能使用localhost等
jdbc_connection_string => "jdbc:mysql://172.17.0.3:3306/lmrs"
jdbc_user => "root"
jdbc_password => "root"
#数据库重连尝试
connection_retry_attempts => "3"
#数据库连接可用校验超时时间，默认为3600s
jdbc_validation_timeout => "3600"
#这个jar包的地址是容器内的地址
jdbc_driver_library => "/etc/logstash/pipeline/mysql-connector-java-8.0.24.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
#开启分页查询（默认是false）
jdbc_paging_enabled => "true"
#单次分页查询条数（默认100000，字段较多的话，可以适当调整这个数值）
jdbc_page_size => "50000"
#执行的sql语句
statement => "SELECT a.id,a.`name`,a.long_name,a.brand_id,a.three_category_id AS category_id,a.shop_id,a.price,a.`status`,a.sold_count,a.review_count,a.create_time,a.last_time FROM lmrs_products AS a where a.id > :sql_last_value"
#需要记录查询结果某字段的值时，此字段为true，否则默认tracking_colum为timestamp的值
use_column_value => true
#是否将字段名转为小写，默认为true（如果具备序列化或者反序列化，建议设置为false）
lowercase_column_names => false
#需要记录的字段，同于增量同步，需要是数据库字段
tracking_column => id
#记录字段的数据类型
tracking_column_type => numeric
#上次数据存放位置
record_last_run => true
#上一个sql_last_value的存放路径，必须在文件中指定字段的初始值
last_run_metadata_path => "/etc/logstash/pipeline/products.txt"
#是否清除last_run_metadata_path的记录，需要增量同步这个字段的值必须为false
clean_run => false
#同步的频率（分 时 天 月 年）默认为每分钟同步一次
schedule => "* * * * *"
}
}
output {
elasticsearch {
#注意es连接地址一定要用ip，不能使用localhost等
hosts => "172.17.0.7:9200"
index => "products"
document_type => "_doc"
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
注：
last_run_metadata_path => "/etc/logstash/pipeline/products.txt":因为需要记录下上次同步的数据id，所以这里会有一个文件进行存储这个id，需要在logstash目录下去创建一个txt文件，用于存储这个id，同时需要给予权限。不给会出现权限异常问题（Permission denied）
7.相关演示
查看索引数据
GET /_cat/indices?v
启动容器，可通过docker logs -f logstash查看运行日志，稍后查看索引数据
