day35 综合架构实时同步

课程介绍:

1.实时同步原理概念
2.实现实时同步方式
3.实现实时同步方式
1)利用脚本实现实时同步
2)利用软件实现实时同步

知识回顾

全网备份项目思路:
1.对工作任务进行确认 (笔记录音)
2.根据需求编写文档资料 (部署计划 时间规划 人员规划 方案规划)
3.和领导开会 (相关人员着急)
4.根据规划完成任务
5.完成后项目文档总结(项目会议 人员培训)

完善客户端主机没有发送数据时,也可以让运维人员知道

        rsync
       if [  $? != 0 ]
       then
        echo "$(houstname -i)backup is failed" | mail -s "result" 邮箱

网站实时同步服务

数据备份方法:
定时任务备份数据: 内部人员备份数据 (备份数据最短周期一分钟)
实时同步备份数据: 外部人员备份数据(用户数据 没有等待时间)

实时同步备份原理

1. 监视存储服务器上指定目录 数据信息变化 inotify
2.利用同步传输数据软件 将变化数据传输 rsync 传输数据
3.实现实时传输数据 inotify+rsync 实时同步

image.png

数据监控软件 inotify

作用:监控目录中数据信息变化
第一个里程: 部署安装软件
yum install -y inotify-tools - - - 系统中epel源是否优化
/usr/bin/inotify - - -监控目录数据信息变化命令
第二个里程: 掌握inotifywait监控命令用法:
--exclude <pattern> - - -进行监控数据时,指定排除某目录/文件
--excludei <pattern>- - -进行监控数据时,指定哪些数据不区分大小写
-m,--monitor - - - 一直监控指定目录
-r,--recursive - - - 递归监控目录数据变化
--format - - - 定义输出信息格式
%w 监控目录路径信息
%f 监控触发事件数据信息
%e 监控被触发的事件
%T 定义触发事件时间信息(调用--timefmt所定义的事件格式)
--timefmt - - - 定义时间格式 "%F %T"
-q,--quiet - - - 将某些信息不要进行显示输出==2>/dev/unll
-e,--event - - - 指定监控的事件信息create,delete,move,close_write

定义输出格式和时间.png

inotify所有事件信息

access - - - 文件或目录内容被读取
modify - - - 文件或目录内容被写入
attrib - - - 文件或目录属性信息改变
close_write - - - 文件或目录被打开--写入--关闭
close_nowrite- - - 文件或目录被打开--没有写入--关闭
close - - - 文件或目录被关闭
open - - - 文件或目录被打开
moved_to - - - 文件或目录被移动到监控的目录中(拉取)
moved_from - - - 文件或目录被移动出监控目录(推送)
move - - - 监控目录中:文件或目录被移动
create - - - 监控目录中:文件或目录信息进行创建
delete - - - 监控目录中:文件或目录被删除

• inotifywait -mr /data --format "%T %w %f %e" --timefmt "%F %T" -e create,move,delete,close_write
• inotifywait -mrq /data --format "%w%f" -e create,delete,move,close_write 主要使用inotify监控数据变化命令 -- 实现数据变化实时同步

时间格式信息.png

事项实时同步数据过程

补充: 脚本循环用法: sleep脚本间隔时间
1. for 循环 for 变量 in 循环信息;do 操作命令;done(有限制循环)
2. while循环 while 条件表达式;do 操作命令;done(死循环 当条件为一时一直循环 真)
3. until循环 until 条件表达式;do 操作命令;done(死循环 当条件为零时一直循环 假)

方式一: 编写脚本实现
#!/bin/bash
#01.监控目录数据变化
inotifywait -mrq /data --format "%w%f" -e
create,delete,move,close_write|while rade line
#02.将变化数据进行传输
rsync -avz $line rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
问题:
1.如何让脚本文件始终运行?
nohup sh jiaoben.sh &
2.数据已经完成但脚本还在赋值运行?
cd /data && rsync -az -R "./oldboy02.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
cd /data && rsync -az -R --delete ./ --include="oldboy01.txt" --exclude=* rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

方式二: 利用软件
第一个里程:利用lrszs下载软件放入到linux
mkdir /server/tools -p
将软件保存在此目录中
unzip sersync_installdir_64bit.zip
cd /server/tools/sersync_installdir_64bit

第二个里程: 将解压好目录保存到指定目录中
mv sersync/ /usr/local/

第三个里程: 修改软件配置信息
vim conf/confxml.xml
# 定义 在同步传输数据时,哪些数据不要进行传输同步
6 <filter start="false">
7 <exclude expression="(.*).svn"></exclude>
8 <exclude expression="(.*).gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
# 定义监控事件信息
12 <inotify>
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>

24 <localpath watch="/opt/tongbu">
25 <remote ip="127.0.0.1" name="tongbu1"/>
26
27
28 </localpath>
29 <rsync>
30 <commonParams params="-artuz"/>
31 <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
32 <userDefinedPort start="false" port="874"/>

image.png

显示数据同步过程方法:
修改配置文件:
<debug start="true"/>

05. 课程知识点总结
1) 网站实时同步原理概念 1. 监控数据 2. 传输数据 3. 监控+传输
2) 掌握inotify监控软件使用方法
3) 掌握实现实时同步方法
a 利用脚本实现
循环方式 shell内置变量 $# $* 脚本如何在后台一直运行 nohup 脚本信息 &
b 利用软件实现
sersync软件
1) 软件部署过程 --- 二进制方式部署 解压
2) 编写软件配置 结合rsync传输数据命令
3) 如何启动服务 sersync命令参数

作业:
01. lsync实时同步软件 周五
02. 如何编写sersync启动脚本 sersyncd stop/start/restart