RSYNC 概述
Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同
步,可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,传输前执行压缩,因 此非常适合用于架构集中式备份或异地备份等应用。 公众号【学神来啦】
官方网站:https://rsync.samba.org/
RSYNC 数据备份
与 SCP 的比较:scp 无法备份大量数据,类似 Windows 的复制。
而 rsync 边复制,边统计,边比较。
Rysnc 特性和优点
1.可以镜像保存整个目录树和文件系统。
2.可以很容易做到保持原来文件的属性、权限、时间、软硬链接等等。
3.无须特殊权限即可安装。
4.快速:第一次同步时 rsync 复制全部内容,但在下一次只传输修改过的文件。
5.压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
6.安全性:可以使用 scp、ssh 等方式来传输文件,当然也可以通过直接的 socket 连接。选择性保
持:符号连接,硬链接,文件属性,权限,时间等。
常见备份分类
(1) 完整备份:每次都备份所有数据。
(2) 差异备份:每次备份和第一次完全备份相比的“差异”部分数据。
(3) 增量备份:除第一次备份以外,每次只备份增长数据。
RSYNC 原理
1.运行模式和端口:
采用 C/S 模式(客户端/服务器模式)[ 实际上是一个点到点的传输,直接使用 rsync 命令即可完
成 ]
rsync 监听的端口:873
2.四个名词的解释:
发起端:负责发起 rsync 同步操作的客户机叫做发起端,通知服务器我要备份你的数据。
备份源:负责响应来自客户机 rsync 同步操作的服务器叫做备份源,需要备份的服务器。
服务端:运行 rsyncd 服务,一般来说,需要备份的服务器。
客户端:存放备份数据。
3.数据同步方式:
推 push:一台主机负责把数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况。
拉 pull:所有主机定时去找一台主机拉数据,可能就会导致数据缓慢。
推:目的主机配置为 rsync 服务器,源主机周期性的使用 rsync 命令把要同步的目录推过去(需要
备份的机器是客户端,存储备份的机器是服务端)。
拉:源主机配置为 rsync 服务器,目的主机周期性的使用 rsync 命令把要同步的目录拉过来(需要
备份的机器是服务端,存储备份的机器是客户端)。
两种方案,rsync 都有对应的命令来实现。
rsync 命令示例说明 push 和 pull,如图
系统之前 xinetd 管理 Rsync 工作原理,如图
使用 rsync 来同步是先通过 xinetd 监听 873 号端口,如果 rsync 进来的是 873 号端口,那么
xinetd 就会通知它所管辖的 rsync 服务来做回应,接下来就是 rsync 俩服务于之间的通讯。
实战:使用 rsync 进行数据同步
rsync 命令的基本用法:
格式:rsync 【选项】 源文件 目标文件
常见的选项:
-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数
-rlptgoD
-v:显示 rsync 过程中详细信息。
-r,–recursive 对子目录以递归模式处理
-l,--links 表示拷贝链接文件
-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-z , --compress 表示压缩传输
-H 表示硬连接文件
-A 保留 ACL 属性信息
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件
例: rsync --delete /原始位置(要同步的数据) 192.168.1.64:/目标位置
实战 1: 备份 xuegod63 的/var/www/html 目录到 xuegod64 的/web-back。
开始备份:
xuegod63: 创建用于测试的数据
[root@xuegod64 ~]# mkdir /web-back
[root@xuegod63 ~]# mkdir -p /var/www/html
[root@xuegod63 ~]# cp -r /boot/grub2/ /var/www/html
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ \
root@192.168.1.64:/web-back
常见的选项:
-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数
-rlptgoD
-z , --compress 表示传输前压缩
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件,保障源文件和目标文件一致
实战 2: 使用 ssh 密钥实现无交互备份。做成脚本,将 xuegod63 上的数据,定期备份到xuegod64 上
在 xuegod63 上生成密钥对
[root@xuegod63 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回库
Enter passphrase (empty for no passphrase): #直接回库
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ac:64:7f:6c:54:41:a1:80:4a:ab:79:9a:6d:d1:ef:e0 root@xuegod63.cn
The key's randomart image is:
+--[ RSA 2048]----+
| .. .+. |
| . . . . . |
| . o . . |
| o . . |
| o .o S . |
| o oo.o o |
| = .o.. + |
| o o. ..o |
| . E.. |
+-------------------+
查看生成的公钥和私钥:
[root@xuegod63 ~]# ls /root/.ssh/
id_rsa(私钥) id_rsa.pub(公钥) known_hosts
将公钥上传到 xuegod64 数据源
方法 1: [root@xuegod63 ~]# ssh-copy-id root@192.168.1.64
相当于你执行了:
方法 2: # scp /root/.ssh/id_rsa.pub root@192.168.1.64:/root/.ssh/authorized_keys
查看:
[root@xuegod64 ~]# ls /root/.ssh/
authorized_keys known_hosts
测试,不输密码直接登录:
[root@xuegod63 ~]# ssh root@192.168.1.64
[rget1@xuegod64 ~]# exit
测试,不输密码直接备份:
[root@xuegod64 ~]# rm -rf /web-back/*
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ root@192.168.1.64:/webback
ctrl+r 可以搜索历史命令快速调到前台执行
Rsync 服务安装
实验拓扑:
xuegod63(源主机 192.168.1.63)
xuegod64(目标主机 192.168.1.64)
需要关闭 selinux,否则即使创建/etc/rsyncd.conf 文件之后去启动服务也不会生效。
[root@xuegod63 ~]# setenforce 0
[root@xuegod63 ~]#yum -y install rsync
[root@xuegod63 ~]#systemctl start rsyncd
[root@xuegod63~]# netstat -antup | grep 873 #查看 873 端口是否监听。
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 43447/rsync
tcp6 0 0 :::873 :::* LISTEN 43447/rsync
centos6/8 系统使用如下方法启动 rsync
yum -y install xinetd rsync
touch /etc/rsyncd.conf
rsync --daemon
systemctl start xineted
netstat -antpu|grep 873
rsync 命令选项
-a:--archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等。
-z:--compress 压缩模式,当资料在传送到目的端进行档案压缩。
-H:--hard-links 保留硬链接文件。
--version:输出 rsync 版本。
-v:--verbose 复杂的输出信息。
-u:--update 仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文
件,不覆盖新的文件。
--port=PORT:定义 rsyncd(daemon)要运行的 port(预设为 tcp 873)。
--delete:删除那些目标位置有的文件而备份源没有的文件。
--password-file=FILE :从 指定密码文件中获取密码。
--bwlimit=KBPS:限制 I/O 带宽。
--filter “-filename”:需要过滤的文件。
--exclude=filname:需要过滤的文件。
--progress:显示备份过程。
通常常用的选项 –avz
使用 rsync 备份数据保持原有文件权限
对 xuegod63 网站根目录的/var/www/html 目录备份到 xuegod64 的/web-back 。
服务器:xuegod63
客户端:xuegod64
1.建立测试用户(两台主机都需要操作):
[root@xuegod64 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1
更改用户 rget1 的密码 。
passwd:所有的身份验证令牌已经成功更新。
[root@xuegod63 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1
2.更改用户 rget1 的密码 。
passwd:所有的身份验证令牌已经成功更新。
对目录赋予 ACL 权限:
[root@xuegod63 ~]# mkdir /var/www/html/ -p #创建目录。
[root@xuegod63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xuegod63 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
#默认权限,当用户创建文件时,会使用这个权限应用到新创建的文件
[root@xuegod63 ~]# getfacl /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x
3.创建测试数据:
[root@xuegod63 ~]# cp -r /boot/* /var/www/html/
# 复制/boot/目录下所有内容到 /var/www/html/目录下。
4.服务端上操作:
[root@xuegod64 ~]# mkdir /web-back #创建存放数据目录。
[root@xuegod64 ~]# chown rget1:rget1 -R /web-back/
#修改目录属主、属组为 rget1 用户。
[root@xuegod63 ~]# rsync -avz /var/www/html/ rget1@192.168.1.64:/web-back/
The authenticity of host '192.168.0.64 (192.168.0.64)' can't be established.
ECDSA key fingerprint is
SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.
ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.
Are you sure you want to continue connecting (yes/no)? yes #输入 yes。
Warning: Permanently added '192.168.0.64' (ECDSA) to the list of known hosts.
rget1@192.168.0.64's password: #输入 rget1 用户密码。
sending incremental file list
./
sent 29 bytes received 15 bytes 3.03 bytes/sec
total size is 0 speedup is 0.00
使用非系统用户备份数据
实验开始之前首先客户端服务器端关闭防火墙 firewalld 否则实验失败:
[root@xuegod63 ~]# systemctl stop firewalld.service
[root@xuegod64 ~]# systemctl stop firewalld.service
使用非系统用户进入备份数据,依靠系统中的 rsync 配置文件/etc/rsyncd.conf 进行备份数据,并
创建备份账户,最终把 rsync 以 deamon 方式运行。
1.rsyncd.conf 配置文件:
配置文件分为两部分:全局参数、模块参数。
全局参数:对 rsync 服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数最终生效。
模块参数:定义需要通过 rsync 输出的目录定义的参数。
(1)常见的全局参数:
port
:指定后台程序使用的端口号,默认为 873。
uid
:该选项指定当该模块传输文件时守护进程应该具有的 uid,配合 gid 选项使用可以确定哪些可
以访问怎么样的文件权限,默认值是" nobody"。
gid
:该选项指定当该模块传输文件时守护进程应该具有的 gid。默认值为" nobody"。
max connections
:指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知
随后再试。默认值是 0,也就是没有限制。
lock file
:指定支持 max connections 参数的锁文件,默认值是/var/run/rsyncd.lock。
motd file
:" motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客
户,默认是没有 motd 文件的。
log file
:" log file"指定 rsync 的日志文件,而不将日志发送给 syslog。
pid file
:指定 rsync 的 pid 文件,通常指定为“/var/run/rsyncd.pid”,存放进程 ID 的文件位
置。
hosts allow
:单个 IP 地址或网络地址,允许访问的客户机地址。
(2)常见的模块参数:
主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是
在 rsync 客户端看到的名字,其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通
过 path 来指定的。
Comment
:给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认
没有描述定义。
path
:指定该模块的供备份的目录树路径,该参数是必须指定的。
read only
:是否为只读模式 true/false。true 无法上传写入。
exclude
:用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到 exclude 列表中。这
等同于在客户端命令中使用―exclude 或----filter 来指定某些文件或目录不下载或上传(既不可访问)
exclude from
:指定一个包含 exclude 模式的定义的文件名,服务器从该文件中读取 exclude 列
表定义,每个文件或目录需要占用一行
include
:用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include 来指定
模式,结合 include 和 exclude 可以定义复杂的 exclude/include 规则。
include from
:指定一个包含 include 模式的定义的文件名,服务器从该文件中读取 include 列表
定义。
auth users
:该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里
的用户和系统用户没有任何关系。如果" auth users"被设置,那么客户端发出对该模块的连接请求以后
会被 rsync 请求 challenged 进行验证身份这里使用的 challenge/response 认证协议。用户的名和密
码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿
名方式)。
secrets file
:该选项指定一个包含定义用户名:密码对应的文件。只有在" auth users"被定义时,
该文件才有作用。文件每行包含一个 username:passwd 对。一般来说密码最好不要超过 8 个字符。没
有默认的 secures file 名,注意:该文件的权限一定要是 600,否则客户端将不能连接服务器。
hosts allow
:指定哪些 IP 的客户允许连接该模块。定义可以是以下形式:
单个 IP 地址,例如:192.167.0.1,多个 IP 或网段需要用空格隔开。
整个网段,例如:192.168.0.0/24,也可以书写为 192.168.0.0/255.255.255.0
“*”则表示所有,默认是允许所有主机连接。
hosts deny
:指定不允许连接 rsync 服务器的机器,可以使用 hosts allow 的定义方式来进行定
义。默认是没有 hosts deny 定义。
list
:该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为
false
,可以创建隐藏的模块。默认值是 true。
timeout
:通过该选项可以覆盖客户指定的 IP 超时时间。通过该选项可以确保 rsync 服务器不会永
远等待一个崩溃的客户端。超时单位为秒钟,0 表示没有超时定义,这也是默认值。对于匿名 rsync 服务器来说,一个理想的数字是 600。
实战:使用 rsync 服务进行数据同步。
用配置文件定义目录输出。
服务器:xuegod64
客户端:xuegod63
[root@xuegod64 ~]# vim /etc/rsyncd.conf #文件不存在,需要手动创建。
注意: #会出现因注释不兼容的问题而导致推数据时出现报错,配置文件需取消注释或者注释进行换
行处理。
uid = root #运行进程的身份。
gid = root #运行进程的组。
address =192.168.1.64 #监听 IP。
port =873 #监听端口。
hosts allow =192.168.1.0/24 #允许同步客户端的 IP 地址,可以是网段,或者用*表示所
有 192.168.1.0/24 或 192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢,锁定家目录,rsync 被黑之后,黑客无法再 rsync
运行的家目录之外创建文件,选项设置为 yes。
max connections =5 #最大连接数。
pid file =/var/run/rsyncd.pid #进程 PID,自动生成。
lock file =/var/run/rsync.lock #指 max connectios 参数的锁文件。
log file =/var/log/rsyncd.log #日志文件位置。
motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息,需要创建。
[wwwroot] #共享模块名称。
path =/web-back/ #路径。
comment = used for web-data root #描述。
read only = false #只读权限为假。
list = yes #是否允许查看模块信息。
auth users = rsyncuser #备份的用户,和系统用户无关。
secrets file =/etc/rsync.passwd #存放用户的密码文件,格式是 用户名:密码。
创建提示文件和用户密码
#编辑欢迎信息文件。
[root@xuegod64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xuegod64 ~]# vim /etc/rsync.passwd #创建并编写密码文件。
rsyncuser:password123 #格式为 用户名称:密码。
[root@xuegod64 ~]# chmod 600 /etc/rsync.passwd
#密码文件权限必须是 700 或者 600,否则的话身份验证会失效。
[root@xuegod64~]#systemctl start rsyncd
[root@xuegod64~]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文
件 rsyncd.conf 启动 rsync 服务。
[root@xuegod64 ~]# netstat -antup | grep :873 #查看 873 端口是否监听。
tcp 0 0:::873 :::* LISTEN 45089/xinetd
测试
rsync 语法:rsync 选项 用户名@备份源服务器 IP::共享模块名 目标目录
[root@xuegod63 ~]# rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot
Welcome to Backup Server
Password: #输入密码 password123
密码处理
新建一个文件保存好密码,然后在 rsync 命令中使用--password-file 指定此文件即可
[root@xuegod63 ~]# vim /etc/rsync.passwd #创建密码文件,其中中需要指定密码即
可。
password123
[root@xuegod63 ~]# chmod 600 /etc/rsync.passwd #赋予密码文件 600 权限。
[root@xuegod63~]# rsync -avz /var/www/html \
rsyncuser@192.168.0.64::wwwroot --password-file=/etc/rsync.passwd 推 push
[root@xuegod63~]#rsync -azP rsyncuser@192.168.1.202::wwwroot /opt --passwordfile=/etc/rsync.passwd 拉 pull
脚本实现定时自动备份
[root@xuegod63 ~]# vim autobackup.sh #编写脚本。
#!/bin/bash
rsync -avz /var/www/html \
rsyncuser@192.168.1.64::wwwroot -- password-file=/etc/rsync.passwd
[root@xuegod63 ~]# chmod +x autobackup.sh #赋予脚本执行权限。
[root@xuegod64 ~]# rm -rf /web-back/ *
[root@xuegod63 ~]# sh autobackup.sh #测试脚本。
定义计划任务实现定时备份:
[root@xuegod63 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root