Rsync
1.什么是rsync：
rsync简称远程同步,可以实现不同主机之间的同步. 同时支持增量和全量的备份.
2.rsync如何实现的备份：
全量：完全备份, 效率低.
增量: 差异备份, 效率高.
3.rsync使用场景：
rsync数据传输模式: push推 pull拉
推: 客户端将需要备份的文件发送到服务端
拉: 客户端从服务端下载需要的文件
rsync数据传输模式-->问题
推: 如果机器过多,容易造成推送数据缓慢
拉: 如果客户端过多,会造成服务端压力过大.
4.rsync推送文件：
推送本地的文件至172.16.1.41服务器的/opt目录,使用41的root用户完成此操作
[root@nfs ~]# rsync -avz test.txt root@172.16.1.41:/opt
下载41服务器上的/opt/test.txt文件至本地当前目录,使用41的root用户完成此操作
[root@nfs ~]# rsync -avz root@172.16.1.41:/opt/test.txt ./
5.rsync守护进程,将程序运行在后台
-
安装rsync
[root@backup ~]# yum install rsync -y -
配置rsyncd.conf模块文件
[root@backup ~]# cat /etc/rsyncd.conf uid = www gid = www port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false auth users = rsync_backup secrets file = /etc/rsync.passwd log file = /var/log/rsyncd.log ##################################### [backup] comment = welcome to oldboyedu backup! path = /backup -
需要一个rsync进程运行时使用的普通用户组，用户--->www
groupadd -g 666 www useradd www -M -s /sbin/nologin -u 666 -g 666 -
服务端需要定义一个客户端连接 虚拟用户名和密码
echo "rsync_backup:123456" > /etc/rsync.passwd chmod 600 /etc/rsync.passwd -
准备模块定义好的目录,客户端的数据都存放在该目录下
mkdir /backup chown -R www.www /backup/ -
启动rsync,并加入开机自启
systemctl start rsyncd systemctl enable rsyncd systemctl status rsyncd -
检查rsync的进程\端口
ps aux | grep rsync netstat -lntp|grep 873
6.推送数据
rsync -avz ./test.txt rsync_backup@172.16.1.41::backup
7.下载数据
rsync -avz rsync_backup@172.16.1.41::backup /opt
rsync -avz rsync_backup@172.16.1.41::backup/test.txt /opt
8.无差异同步
1.客户端---push---服务端. 以客户端为准.
rsync -avz /root/ rsync_backup@172.16.1.41::backup #正常手法
rsync -avz --delte /root/ rsync_backup@172.16.1.41::backup #非正常手法
2.客户端---pull---服务端. 以服务端为准.
rsync -avz rsync_backup@172.16.1.41::backup ./ #正常手法
rsync -avz --delete rsync_backup@172.16.1.41::backup ./ #非正常手法
9.对同步进行限速100MB * 8 = 800兆 --bwlimit MB * 8 = 实际带宽100
[root@nfs ~]# rsync -avzP --bwlimit 1 ./size.disk rsync_backup@172.16.1.41::backup
10.排除不同的文件
--exclude=
rsync -avz /root/ --exclude=size.disk rsync_backup@172.16.1.41::backup
11.客户端输入密码验证
方式一: --password-file 准备一个客户端的密码文件 /etc/rsync.pass
echo "123456" > /etc/rsync.pass
chmod 600 /etc/rsync.pass.
rsync -avz /root/ rsync_backup@172.16.1.41::backup --password- file=/etc/rsync.pass
方拾贰:
export RSYNC_PASSWORD=123456
rsync -avz /root/ rsync_backup@172.16.1.41::backup
12.rsync相关参数:
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致
rsync备份应用
1.客户端脚本
客户端定时任务:
*/1 * * * * sh /server/scripts/client_push_data.sh &>/dev/null
[root@nfs ~]# cat /server/scripts/client_push_data.sh
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1|awk 'NR==2 {print $2}')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}
#1.创建一个本地存储的目录
mkdir -p $Dest
#2.将需要备份的文件打包到$Dest目录中
cd / && \
[ -f $Dest/sys.tar.gz ] || tar czf $Dest/sys.tar.gz etc/hosts etc/fstab var/spool/cron
#3.给压缩包打一个标签
[ -f $Dest/flag_$Date ] || md5sum $Dest/*.tar.gz > $Dest/flag_$Date
#3.将备份的文件夹推送到backup服务器
export RSYNC_PASSWORD=123456
rsync -avz $Dest rsync_backup@172.16.1.41::backup
#4.保留最近7天的数据
find /backup/ -type d -mtime +7|xargs rm -rf
2.服务端脚本
服务端定时任务:
*/2 * * * * sh /server/scripts/check_client_data.sh &>/dev/null
[root@backup backup]# cat /server/scripts/check_client_data.sh
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Date=$(date +%F)
#1.校验每天客户端推送过来的数据
md5sum -c $Path/*_$Date/flag_$Date > $Path/result_$Date
#2.将校验的结果通知给管理人员
mail -s "Rsync Backup $Date" "572891887@qq.com" < $Path/result_$Date
#3.保留最近180天的数据
find /backup/ -type d -mtime +180|xargs rm -rf
3.邮件配置文件：
下载：yum install mailx -y
[root@backup ~]# yum install mailx -y
1.怎么通知 mail邮箱
[root@backup /]# vim /etc/mail.rc
set from=123@qq.com #发件人
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=123@qq.com
set smtp-auth-password=xxx
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
