1、elasticsearch回顾
1.什么叫搜索
2.为什么mysql不适合全文搜素
3.什么是全文搜索lucene
4.es的应用场景
5.es的特点
6.es的安装部署
- java环境
- 内存不能小于2G
- 磁盘空间给足
- 配置文件开启内存锁定
- jvm虚拟机最大最小内存都一样
- 绑定了内网I和本地IP
7.解决内存锁定
- 配置文件增加允许内存锁定参数
- 重启es
8.测试
- ps -ef|grep elasticsearch
- ss -lntup|grep 9200
9.开放防火墙端口
- 9200
- 9300 通讯端口
10.安装es-head插件
- 安装包npm
- chrome浏览器插件
11.概念
- index 库
- type 表
- doc 行数据
- fields 字段
- shards 分片 分库 分表
12.操作命令CRUD
- put
- get
- post
- delete
13.集群配置
cluster.name: linux58 #集群模式，必须打开，同一个集群要全部一样
node.name: node-1 #节点名称，每个节点都不一样
path.data: /data/elasticsearch #如果你更换了目录，要授权给es用户和组
path.logs: /var/log/elasticsearch #如果是集群模式，日志名为{集群名.log}
bootstrap.memory_lock: true #内存锁定，一定要打开，然后修改system配置
network.host: 10.0.0.51,127.0.0.1 #绑定内网IP，本地IP可以选择不做
http.port: 9200 #默认9200，还有一个隐藏的通讯端口，9300
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"] #集群发现地址，只要包含自己和集群内任意一个节点就可以。
discovery.zen.minimum_master_nodes: 1 #选举相关参数，多数节点数量node/2 + 1
http.cors.enabled: true #为了让es-head可以访问es,同下
http.cors.allow-origin: "*" #为了让es-head可以访问es,同上
14.介绍集群的相关重要信息
- 分片数和副本数
- 默认创建为5分片，1副本
- 分片一旦创建好就不能改变了
- 副本数可以随时动态调整
- 集群健康状态
-- red #有数据不完整
--yellow #数据都完整，但是有索引的副本或分片状态不正常
--green #数据都完整，副本也符合条件
-监控节点数量
15.模拟故障现象
- 停掉服务器，观察集群状态
- 要注意，不能短时间内连续坏多台
- 要注意，不能短时间关闭重启多个回合
- 如果是0副本，数据所在的哪台机器，不能坏掉，不能数据丢失
16.Kibana管理es集群
- 打开监控功能
- DevTools可以方便执行命令
17.中文分词器
- 所有es节点都安装
- 所有es节点安装完成后要重启才能生效
- 先创建索引
- 在创建映射关系（类似于mysql建表语句）
- 然后指定使用中文分词器
- 搜素测试
ELK功能图
image.png
ELK架构图
image.png
1、ELK日志收集
E: Elasticsearch
F: Filebeat
L: Logstash
K: kibana
2、常规分析日志的操作
2.1、分析需求：
1.找出访问网站频次最高的IP排名前十
2.找出访问网站排名前十的URL
3.找出中午10点到2点之间www网站访问频次最高的IP
4. 对比昨天这个时间段和今天这个时间段访问频次有什么变化
5.对比上周这个时间和今天这个时间的区别
6.找出特定的页面被访问了多少次
7.找出有问题的IP地址，并告诉我这个IP地址都访问了什么页面，在对比前几天他来过吗？他从什么时间段开始访问的，什么时间段走了
8.找出来访问最慢的前十个页面并统计平均响应时间，对比昨天这也页面访问也这么慢吗？
9.找出搜索引擎今天各抓取了多少次？抓取了哪些页面？响应时间如何？
10.找出伪造成搜索引擎的IP地址
11.5分钟之内告诉我结果
2.2、需要收集哪些日志
系统层面： message secure
代理层：nginx haproxy lvs
web层：nginx tomcat php apache
数据库层：mysql redis mongo elasticsearch
3、收集nginx日志
3.1、还原环境，方便查询日志
systemctl stop elasticsearch
systemctl stop kibana
rm -rf /var/lib/kibana/*
rm -rf /data/elasticsearch/*
systemctl start elasticsearch
systemctl start kibana
3.1、收集nginx日志
1.安装启动nginx
yum install ntpdate -y
ntpdate time1.aliyun.com
yum install nginx -y
systemctl start nginx
2.安装filebeat
1）上传压缩包
2）安装
yum install filebeat-6.6.0-x86_64.rpm
3.修改配置文件
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: false
paths:
- /var/log/nginx/access.log
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
4.启动filebeat
systemctl start filebeat.service
systemctl enable filebeat.service
image.png
image.png
3.2、filebeat原理：
1.类似于tail -f
2.30秒检测一下日志有没有发生变化
3.3、停掉filebeat在启动中间数据如何处理
1. 直接从最后开始读取的话数据就会丢失
2. 从头开始读取数据就会重复收集
3. 从断开的地方开始读取
3.4、不完善的地方
不能单独统计展示访问网站的某项内容
3.5、nginx日志格式
我们期望的格式
$remote_addr：10.0.0.1
$remote_user：-
[$time_local]：[10/Jul/2019:17:59:52 +0800]
$request：GET/db01.html HTTP/1.1"
$status ：404
$body_bytes_sent：3650
$http_referer：-
$http_user_agent：Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
$http_x_forwarded_for：-
操作步骤：注意！所有nginx服务器都需要操作！
1.修改nginx配置文件
log_format json '{ "time_local": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"upstream_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
access_log /var/log/nginx/access.log json;
2.重启nginx
nginx -t
systemctl reload nginx
3.重新访问nginx产生新数据
curl 10.0.0.51
4.修改后的日志格式
{
"time_local": "10/Jul/2019:18:55:59 +0800",
"remote_addr": "10.0.0.1",
"referer": "-",
"request": "GET /db01.html HTTP/1.1",
"status": 404,
"bytes": 3650,
"agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
"x_forwarded": "-",
"up_addr": "-",
"up_host": "-",
"upstream_time": "-",
"request_time": "0.000"
}
5.清空nginx日志
> /var/log/nginx/access.log
6.修改filebeat配置文件
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
7.es删除旧的索引
8.重启filebeat
systemctl restart filebeat
image.png
