一、什么是rsync

rsync是一款开源，快速，多功能的可实现增量的本地或远程的数据镜像同步备份的优秀工具。适用于多个平台。从软件名称可以看出来是远程同步的意思（remote sync）。可使本地主机不同分区或目录之间及本地和远程两台主机之间的数据快速同步镜像，远程备份等功能。

在同步备份时，默认情况下，rsync通过其独特的“quick check”算法，仅同步大小或者最后修改时间发生变化的文件或目录（也可根据权限，属主等变化同步，需要制定参数）。甚至是只同步一个文件里变化的内容部分，所以可以实现快速的同步数据的功能。

提示：传统的cp，scp工具拷贝每次均为完整拷贝，而rsync除了完整拷贝，还具备增量拷贝的功能，因此从此性能及效率上更胜一筹。

Rsync的特性如下：

1）支持拷贝特殊文件如链接，设备等
2）可以有排除指定文件或目录同步的功能，相当于打包命令tar
3）可以保持原来文件或目录的权限，时间，软硬链接等所有属性均不改变。
4）可实现增量同步，即只同步发生变化的数据，因此数据传输效率更高
5）可以使用rcp，rsh，ssh等方式来配合传输文件，也可以通过直接的socker链接
6）支持匿名的或认证的进程模式传输，方便进行数据备份及镜像。

[1]核心算法介绍：

假定在名为α和β的两台计算机之间同步相似的文件 A 与 B ，其中α对文件 A 拥有访问权，β对文件 B 拥有访问权。并且假定主机α与β之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成：

1. β将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
2. β对每一个分割好的数据块执行两种校验：一种是 32 位的滚动弱校验，另一种是 128 位的 MD4 强校验。
3. β将这些校验结果发给α。
4. α通过搜索文件 A 的所有大小为 S 的数据块 ( 偏移量可以任选，不一定非要是 S 的倍数 ) ，来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5. α发给β一串指令来生成文件 A 在β上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。
   -------------------------------------小结------------------------------------------------
   rsync就是会同步我们指定的两端目录之间的数据，这个数据可以是特殊的数据。同步之前就先进行两端的数据的比对，只会同步两者之间不同的部分，并保留文件原本的属性。并且支持匿名的方式进行同步传输。所以rsync在备份，同步上就会较为快速。

二、软件安装

http://rsync.samba.org/ rsync的官方网站
1）编译安装
很简单那就直接解压
tar zxf rsync-3.1.0.tar.gz
cd rsync-3.1.0
./configure
make
make install
提示：服务器和客户端均要安装rsync

三、服务器端rsync部署

rsync的启动

1、 守护进程启动rsync
[root@www rsync-2.4.6]# /usr/local/bin/rsync --daemon即可启动。
rsync默认服务端口为873，服务器在该端口接收客户的匿名或者认证方式的请求。
2、开机启动
2.1）inetd.conf编辑/etc/services，加入行rsync 873/tcp，指定rsync的服务端口是873。编加/etc/inetd.conf，加入rsync stream tcp nowait root /bin/rsync rsync --daemon
注：对于xinetd，设置方法类似。
2.2）加入rc.local将启动命令加入rc.local中：/usr/local/bin/rsync --daemon

rsync的两种工作方式:

1. 传输本地文件
   2）传输服服务端和客户端之间的数据

传输本地文件

具体的rsync命令参数后续会讲

[root@CT5_6-32-220-NFS01tmp]# rsync -avz /tmp/dir01/   /tmp/dir02/
building file list ... done
./
test01
sent 105 bytes received 48 bytes  306.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
.
|-- dir01
|   `--test01
|-- dir02
|   `--test01

可以看到已经成功的拷贝了。并且要注意/dir01/表示目录下的所有内容 /dir01表示的目录本身
次例子是拷贝目录下的内容所以要加上/dir01/如果是要将/dir01整个目录拷贝到/dir02下，那么就要写/dir01 --->注意后面没有/
[root@CT5_6-32-220-NFS01 tmp]# rsync -avz /tmp/dir01 /tmp/dir02/

这样拷贝的是目录本身

building file list ... done
dir01/
dir01/test01
sent 111 bytes received 48 bytes  318.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
|-- dir01
|   `--test01
|-- dir02
|   |-- dir01
|   |   `-- test01
|   `--test01

服务端和客户端传输

1、服务端配置文件

rsync服务器的配置文件为/etc/rsyncd.conf，其控制认证、访问、日志记录等等。该文件是由一个或多个模块结构组成。一个模块定义以方括弧中的模块名开始，直到下一个模块定义开始或者文件结束，模块中包含格式为name = value的参数定义。
每个模块其实就对应需要备份的一个目录树，比方说在我们的实例环境中，有三个目录树需要备份：/www/、/home/web_user1/和/home/web_user2/，那么就需要在配置文件中定义三个模块，分别对应三个目录树。配置文件是行为单位的，也就是每个新行都表示一个新的注释、模块定义或者参数赋值。以#开始的行表示注释，以""结束的行表示下面一行是该行的继续。参数赋值中等号后可能是一个大小写不敏感的字符串、一个以trure/false表示的布尔值。

参数说明:

全局参数：

在文件中[modlue模块名]之前的所有参数都是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。

模块参数:

在全局参数之后就需要定义一个或多个模块了，模块中可以定义以下参数：模块以[模块名]开始，直到另一个模块的开始结束

服务器配置实例分析

有两台服务器：A和B。其中A是主web服务器，具有域名www.atong.com(192.168.1.1)，B服务器是备份机，其域名为back.atong.com(192.168.1.2)。其中A的web内容存放在以下几个地方：/www/和 /home/web_user1/和/home/web_user2/。我们需要在备份机B上建立对这几个目录内容的备份。
#vi /etc/rsyncd.conf编辑服务端的配置文件。
配置文件内容

uid = nobody
gid = nobody
use chroot = nomax 
connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path = /www/ignore errorsread only = truelist = falsehosts allow = 192.168.1.2hosts deny = 0.0.0.0/32    #拒绝任何主机，只有hosts allow的主机
auth users = rsyncsecrets 
file = /etc/rsync.pas
[web_user1]
path = /home/web_user1/ignore errorsread only = true            #客户端不能上传资料
list = falsehosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user1    #同步次模块时，shi是用web_user1这个用户来读取path下的文件。
gid = web_user1auth
users = rsyncsecrets 
file = /etc/rsync.pas
[web_user2]
path = /home/web_user2/ignore 
errorsread only = true
list = false
hosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user2
gid = web_user2
auth users = rsyncsecrets 
file = /etc/rsync.pas

这里定义有三个模块，分别对应于三个需要备份的目录树。这里只允许192.168.1.2备份本机的数据，并且需要认证。三个模块授权的备份用户都为rsync，并且用户信息保存在文件/etc/rsync.pas中，其内容如下：rsync:123456
并且该文件只能是root用户可读写的，否则rsyncd启动时会出错。这些文件配置完毕以后，就需要在A服务器上启动rsyncd服务器：/usr/bin/rsync --daemon
注意： 密码文件的权限设置为600

客户端操作

在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。
首先，rsync的命令格式可以为：

1）rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST   推送（因为SRC是本地)
2）rsync [OPTION]... [USER@]HOST:SRC DEST            拉取 (因为SRC是服务端）
3）rsync [OPTION]... SRC [SRC]... DEST      拷贝本地文件
4）rsync [OPTION]... [USER@]HOST::SRC [DEST]
5）rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6)rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC[DEST]

SRC:标示源文件（从哪来拷）
DES：目标文件（拷到哪里）
rsync命令有六种格式：
第1个命令格式：是将本地的内容推送到服务器端。
实例：rsync /tmp rsync@192.168.1.1:www
第2个命令格式：是将服务器的内容拉取到本地端。
实例:rsync rsync@192.168.1.1:www /tmp
[对照一下上面的命令格式，一般是有USER@HOST:就表示是服务器端，而没有知识SRC或DEST就表示是客户端。怎么分清楚是拉取还是推送，要看服务端是SRC还是DEST，如果是SRC就表示从服务端拷，就是拉取格式如USER@HOST:SRC。如果是DEST（拷到哪里）就表示推送，拷到服务端USER@HOST:DEST]
第4个和第5个命令同第1、2之间的区别就在于服务端（USER@HSOT)后面是跟上一个： 还是两个：：1g个：表示会在服务器端启用以个shell来执行这个命令。而：：表示会以deamon模式来执行。

rsync命令同步参数：
先了解下rsync的同步参数选项，先通过本地同步的方式来验证rsync的同步参数。

-v      :详细模式输出，传输时的进度等信息
-z      :传输时进行压缩以提高效率—compress-level=num可按级别压缩
-r      :对子目录以递归模式，即目录下的所有目录都同样传输。
-t      :保持文件的时间信息—time
-o      ：保持文件属主信息owner
-p      ：保持文件权限
-g      ：保持文件的属组信息
-P      :--progress 显示同步的过程及传输时的进度等信息
-a      ：归档模式，表示以地柜模式传输文件，并保持文件所有属性相当于-rtopgdl
-e      ：使用的信道协议，指定替代rsh的shell程序。例如：ssh
-D      :保持设备文件信息
-l      ：--links 保留软连接
--progress  :显示备份过程
--delete    :删除那些DST中SRC没有的文件
--exclude=PATTERN 　指定排除不需要传输的文件模式
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。
-suffix=SUFFIX 定义备份文件前缀
-stats 给出某些文件的传输状态
-R, --relative 使用相对路径信息  如：rsync foo/bar/foo.c remote:/tmp/   则在/tmp目录下创建foo.c文件，而如果使用-R参数：rsync -R foo/bar/foo.c remote:/tmp/     则会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口

一般就使用 -avz来进行传输,如果放入脚本中可以吧-v和-P去掉。

客户端命令格式实例：

1.2 从服务器上下载文件
rsync -avz --delete rsycn@192.168.1.1::/tmp /tmp --password-file=/etc/rsync.pas
从本地上传到服务器上去
rsync -avz --delete --progress /tmp rsync@192.168.1.1::/tmp

参考实例1：

具体需求：在A-SERVER上以rsync守护进程的方式部署rsync服务，使得所有客户端主机，可以把本地的数据通过rsync的方式据备份到服务器A-SERVER上。也可以通过rsync将数据从A-SERVER抓取到客户端。
拓扑方向：C<---->A A<--->B

服务器端

1）配置/etc/rsyncd.conf
Rsyncd.conf 默认是rsync服务的配置文件
uid = root #此表示rsync以什么用户来读取本地的目。也就是以root用户来进行rsync指定目录的文件读取，写入权限。

gid = root
use chroot = no
max connections = 200  #最大连接数
timeout = 300
pid file = /var/run/rsyncd.pid
locak file =  /var/run/rsync.lock
log file =  /var/log/rsyncd.log  #日志文件
[atong]    #当我们读取的时候，就需要使用到模块名
Path =  /tmp/    #指定备份的路径
Ignore  errors      #忽略错误
read  only = false   #不只读
list = false         #不列出rsync目录文件
hosts  allow = 10.0.0.0/24
hosts  deny = 0.0.0.0/32
auth users = rsync_backup
secrets  file = /etc/rsync.password   #认证的密钥文件

man rsyncd.conf查看配置的细节信息
注意：配置的path一定要存在，并且权限是允许uid和gid去进行读写才可以。有点类似nfs的本地文件权限，和nfs共享权限一样。

2）配置密码文件：文件格式为用户：密码并且里面的只能以这样的格式，并且是没有空格的。而且在配置文件中的log file 指定的存放路径，就是此密码文件的存放路径，且文件名要正确。密码文件的权限必须是600的权限，root root

3）启动rsync

#rsync –-daemon 表示让rsync以daemon的模式进行启动
#ps -ef | grep rsync  查看rsync进程是否已经启动
#netstat –lnt | grep 873   查看rsync是否已经启动，并检测端口状态
#lsof –I tcp:873  用来反查端口对应的是什么服务。

拓展：

--daemon 表示以守护进程的方式启动
--address 绑定某个ip地址来提供服务，如果有多个ip地址的话
--config=file  更还配置文件路径，而不是默认的/etc/rsyncd.conf
--port=PORT 更改其他端口提供服务器，而不是默认的873端口

以上的几个参数为了解内容，生产环境并不长常用
配置rsync开机启动
echo “/usr/bin/rsync --daemon”>>/etc/rc.local
重启rsync服务
pkill rsync&&rsync -daemon

客户端部署

1）在同样的密码文件下添加用户的密码 600权限（文件不一定要和服务端的一样，但为了方便管理，建议一样的）
推送
#rsync –avz –P /tmp/atong [rsync_back@192.168.1.1::a](mailto:rsync_back@192.168.1.1::oldboy/)tong
最后面的：：表示是以daemon模式，并且是oldboy模块。此模块的名称必须和配置文件中的一样。

--password-file=/etc/rsync.password```
此方式的推送，最后面的/atong/跟的并不是模块名称，而是直接接上目录路径。[此目录是不是只能够接上，服务器上配置的同步目录]
实例：

[root@CT5_6-32-220-NFS01 data]# cat/etc/rsyncd.conf
uid = root
gid = root
user chroot = no
max connections =200
timeout = 300
pid file =/var/run/rsyncd.pid
locake file =/var/run/rsync.lock
log file = /var/log/rsyncd.log
[tmp]
path=/tmp/
ignore errors
read only = false
list = false
hosts allow = 192.168.40.0/22
hsots deny=0.0.0.0/32
authusers = rsync_back
secretsfile= /etc/rsync.password
[/data/rsync/]
path=/data/rsync/
read only = false
auth users = rsync_back
secrets file = /etc/rsync.password

root@CT5_6-32-220-NFS01 tmp]# mkdir /data ##创建模块中使用到的目录
mkdir: cannot create directory `/data': File exists
[root@CT5_6-32-220-NFS01 tmp]# cd /data
[root@CT5_6-32-220-NFS01 data]# echo"rsync_back:123456" >> /etc/rsync.password
[root@CT5_6-32-220-NFS01 data]# chmod 600 /etc/rsync.password##注意密码文件的权限为600权限。
[root@CT5_6-32-220-NFS01 data]# rsync –daemon 启动
[root@CT5_6-32-220-NFS01 data]# netstat -lnt | grep873 ##查看系统中是否已经启动rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN

#####配置客户端：客户端中只需要存放用户的密码，并且权限为600即可

[root@CT56-32-221-NFS02 dir01]# echo "123456" >>/etc/rsync.password
[root@CT56-32-221-NFS02 dir01]# chmod 600/etc/rsync.password

第一种拉取方式：

[root@CT56-32-221-NFS02 tmp]# rsync -avz rsync_back@192.168.41.220::tmp /tmp/

其中

[root@CT56-32-221-NFS02 tmp]# ll
total 20
drwxr-xr-x 84 root root 4096 Jun 20 10:28 2
drwxr-xr-x 3root root 4096 Jun 20 10:19 dir01
drwxr-xr-x 3root root 4096 Jun 20 09:43 dir02
drwxr-xr-x 84 root root 4096 Jun 19 05:25 etc
drwx------ 2root root 4096 Jun 20 07:40 ssh-ZQBmZ29557

说明：如果是加上-delete进行推送，那么我指定的本地目录的内容有哪些，远端目录的内容也就只有哪些。如我原本指定/tmp/atong/ 和远端/atong/一样。后来又再创建了一个/delete目录且为空，那么我再推送/tmp/delete/和远端/atong/目录，那么远端原来有的所有内容都会被删除掉，因为此时的/delete/目录有啥，远端也就有啥。

一些示例脚本这里这些脚本都是rsync网站上的例子：

1、每隔七天将数据往中心服务器做增量备份
```
#!/bin/sh
#This script does personal backups to a rsyncbackup server. You will end up
# with a 7 day rotating incremental backup. Theincrementals will go
# into subdirectories named after the day of theweek, and the current
# full backup goes into a directory called"current"
# tridge@linuxcare.com
# directory to backupBDIR=/home/$USER# excludes file - this contains a wildcard patternper line of files to excludeEXCLUDES=$HOME/cron/excludes# the name of the backup machineBSERVER=owl# your password on the backup serverexport RSYNC_PASSWORD=XXXXXX########################################################################BACKUPDIR=`date +%A`OPTS="--force --ignore-errors--delete-excluded --exclude-from=$EXCLUDES--delete --backup --backup-dir=/$BACKUPDIR -a"export PATH=$PATH:/bin:/usr/bin:/usr/local/bin# the following line clears the last weeks incrementaldirectory[ -d $HOME/emptydir ] || mkdir $HOME/emptydirrsync --delete -a $HOME/emptydir/$BSERVER::$USER/$BACKUPDIR/rmdir $HOME/emptydir# now the actual transferrsync $OPTS $BDIR $BSERVER::$USER/current
2、备份至一个空闲的硬盘
#!/bin/sh
export PATH=/usr/local/bin:/usr/bin:/binLIST="rootfs usr data data2"for d in $LIST; domount /backup/$drsync -ax --exclude fstab --delete /$d/ /backup/$d/umount /backup/$ddoneDAY=`date "+%A"`rsync -a --delete /usr/local/apache/data2/backups/$DAYrsync -a --delete /data/solid /data2/backups/$DAY
3、对vger.rutgers.edu的cvs树进行镜像
#!/bin/bashcd /var/www/cvs/vger/PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/binRUN=`lps x | grep rsync | grep -v grep | wc -l`if [ "$RUN" -gt 0 ]; thenecho already runningexit 1firsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog$HOME/ChangeLogsum1=`sum $HOME/ChangeLog`sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog`if [ "$sum1" = "$sum2" ]; thenecho nothing to doexit 0firsync -az --delete --force vger.rutgers.edu::cvs//var/www/cvs/vger/exit 0
```
FAQ
Q：如何通过ssh进行rsync，而且无须输入密码？
A：可以通过以下几个步骤1. 通过ssh-keygen在server A上建立SSH keys，不要指定密码，你会在~/.ssh下看到identity和identity.pub文件2. 在server B上的home目录建立子目录.ssh3. 将A的identity.pub拷贝到server B上4. 将identity.pub加到~[user b]/.ssh/authorized_keys5. 于是server A上的A用户，可通过下面命令以用户B ssh到server B上了e.g. ssh -l userB serverB这样就使server A上的用户A就可以ssh以用户B的身份无需密码登陆到serverB上了。
Q：如何通过在不危害安全的情况下通过防火墙使用rsync?
A：解答如下：这通常有两种情况，一种是服务器在防火墙内，一种是服务器在防火墙外。无论哪种情况，通常还是使用ssh，这时最好新建一个备份用户，并且配置 sshd仅允许这个用户通过RSA认证方式进入。如果服务器在防火墙内，则最好限定客户端的IP地址，拒绝其它所有连接。如果客户机在防火墙内，则可以简单允许防火墙打开TCP端口22的ssh外发连接就ok了。
Q：我能将更改过或者删除的文件也备份上来吗？
A：当然可以：你可以使用如：rsync -other -options-backupdir = ./backup-2000-2-13 ...这样的命令来实现。这样如果源文件:/path/to/some/file.c改变了，那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c，这里这个目录需要自己手工建立起来
Q：我需要在防火墙上开放哪些端口以适应rsync？
A：视情况而定rsync可以直接通过873端口的tcp连接传文件，也可以通过22端口的ssh来进行文件传递，但你也可以通过下列命令改变它的端口：rsync --port 8730 otherhost::或者rsync -e 'ssh -p 2002' otherhost:
Q：我如何通过rsync只复制目录结构，忽略掉文件呢？
A：rsync -av --include '*/' --exclude '*' source-dir dest-dir
Q：为什么我总会出现"Read-only file system"的错误呢？
A：看看是否忘了设"read only = no"了
Q：为什么我会出现'@ERROR: invalid gid'的错误呢？
A：rsync使用时默认是用uid=nobody;gid=nobody来运行的，如果你的系统不存在nobody组的话，就会出现这样的错误，可以试试gid = nogroup或者其它
Q：绑定端口873失败是怎么回事？
A：如果你不是以root权限运行这一守护进程的话，因为1024端口以下是特权端口，会出现这样的错误。你可以用--port参数来改变。
Q：为什么我认证失败？
A：从你的命令行看来：你用的是：>; bash$ rsync -a 144.16.251.213::test test>; Password:>; @ERROR: auth failed on module test>;>; I dont understand this. Can somebody explainas to how to acomplish this.>; All suggestions are welcome.应该是没有以你的用户名登陆导致的问题，试试rsync -amax@144.16.251.213::test test