将数据同步到es中得时候,我们一般使用es客户端API将数据同步索引到es服务器,下面分享一种自动同步的方式,性能优缺点自行判断。
准备工作
elasticsearch 安装 版本7.6.1
logstash 安装 版本7.6.1
mysql jdbc下载 点击下载 版本8.0.17
将jdbc 文件放到logstash-core/lib/jars 下面
mysql 安装 版本 5.7+
不管使用哪个版本的es 和 logstash 两者的版本应该保持一致
我要同步的是user 表
结构如下,updated_at 是更新时间unix时间戳,我这里写的测试数据 ,
后面logstash 会根据最大更新时间来近实时同步数据到es
新建配置文件 配置内容如下 ,文件名随便起,我这里用的是,mysql.conf
启动es
启动 logstash
sudo ./logstash -f mysql.conf
输出如下
至此同步进程启动,可以查看打印的sql,logstash 通过 时间判断来进行增量更新