Centos7.x部署使用rsync和lsyncd实现文件的实时同步/备份

一、需求

当C(client)服务器中的文件发生变化(新增、修改、删除),实时推动到S(server)服务器,S服务器作为备份服务器。通知可配置当删除时,备份服务服务器不需要同步删除。

二、解决方案

rsync+lsyncd 的解决方案,rsync实现同步,lsyncd 监听文件变化,去触发rsync进行同步。

1、rsync简介

rsync(remote synchronize)是 Liunx/Unix 下的一个远程数据同步工具,它可通过 LAN/WAN 快速同步多台主机间的文件和目录。rsync 通过比较两边文件是否相同,不相同才进行更新。
但是rsync无法知道“什么时候同步”,因为rsync只有执行同步命令的时候,才会去扫描文件判断哪些文件被修改了,只能建立一个定时任务,每隔一定的时间(比如5分钟,10分钟等等)去执行一次同步,这样虽然能同步,但却“不实时”。

2、lsyncd简介

lsyncd实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。我认为它最令人称道的特性是,完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 -通过时间延迟或累计触发事件次数实现。另外,它的配置方式很简单

三、实验环境

这里使用3个Linux服务器节点进行演示,其中两个属于客户C端分别为web程序和数据库,一台备份程序和数据的服务器S端。2个节点都为CentOS 7.6 最小化安装。
C1(web程序): 10.51.1.15。
C2(数据库): 10.51.1.16。
S1(备份节点)10.51.1.107。
C为需要同步数据的节点,需要部署rsync和lsyncd。
S为接收同步数据的节点,只需要部署rsync(daemon模式)。

四、S端部署(rsync)

1、安装rsync

yum install -y rsync

2、 配置rsyncd.conf

vim /etc/rsyncd.conf

将配置文件,因为有2个client,因为配置了2个模块,代码如下:

uid = nobody
gid = nobody
use chroot = yes
max connections = 20
strict mode=yes
pid file = /var/run/rsyncd.pid
lock file=/var/run/rsync.lock
log file=/var/log/rsyncd.log
[backup_prod_app] #模块名称,有多个客户端时就复制整个模块
        path = /home/fastdfs/prod-backup/app/
        comment = backup app files
        ignore errrors
        read only=no
        write only=no
        hosts allow=*
        hosts deny=*
        list=false
        uid=root
        gid=root
        auth users=rsync-user #同步用户名
        secrets file=/etc/rsync.password
[backup_prod_db] #模块名称,有多个客户端时就复制整个模块
        path = /home/fastdfs/prod-backup/db/
        comment = backup db files
        ignore errrors
        read only=no
        write only=no
        hosts allow=*
        hosts deny=*
        list=false
        uid=root
        gid=root
        auth users=rsync_user #同步用户名
        secrets file=/etc/rsync.password

3、创建用户和组

groupadd rsync
useradd -s /sbin/nologin -M -g rsync rsync_user  #组名在前,用户名在后

4、 创建认证用户和密码文件并修改权限

Rsync进行同步需要一个同步的虚拟用户,这个用户的用户名已经在配置文件里指定,下面创建这个用户名的用户密码文件。
由于是用户名和密码文件所以必须要将其修改为600权限,不然后期会报错无法认证

echo "rsync_user:123456" >/etc/rsyncd.pwd #录入用户名和密码创建密码文件
 
chmod 600 /etc/rsyncd.pwd #修改权限

5、创建同步目录并授予权限

创建2个目录来存放2个客户端的备份文件并授权

mkdir /home/fastdfs/prod-backup/app/
mkdir /home/fastdfs/prod-backup/db/
 
chown -R rsync_user:rsync /home/fastdfs/prod-backup/app/ #用户名在前,组名在后
chown -R rsync_user:rsync /home/fastdfs/prod-backup/db/ #用户名在前,组名在后

6、开放873端口:

firewall-cmd --add-port=873/tcp --permanent --zone=public 
firewall-cmd --reload 

7、启动rsync

systemctl start rsyncd
# systemctl restart rsyncd 
systemctl enable rsyncd #开机启动

验证rsync是否启动
我们可以通过查看Rsync监听端口(Rsync默认监听873端口),或者查看日志文件以确定Rsync是否以daemon模式成功启动

netstat -anlpt | grep rsync

或者查看日志

cat /var/log/rsyncd.log

至此S端配置完成!

五、C端安装

1、安装配置rsync

1、安装rsync
C端也需要安装rsync,单向备份不需要启动rsync,安装好配制好就行,lsyncd需要用到rsync命令去同步。

yum install -y rsync

2、 创建用户(组)

由于服务端路径存在权限问题,所以同步源(Rsync客户端)也需要进行相同权限设置
下面进行创建用户(组)目录、创建测试文件并赋予其权限

groupadd rsync
useradd -s /sbin/nologin -M -g rsync rsync_user #组在前,名在后

# cat /etc/passwd #查看用户列表
# cat /etc/group #查看用户组列表
# usermod -G rsync rsync_user

3、配置密码文件(注意和S端一致)

相应的密码认证文件用于用户自动认证,由于也是密码文件,所以也需要将文件权限修改为600

echo "123456" >/etc/rsyncd.pwd #由于我们要在同步命令里指定用户名,所以这里不指定用户名,指定密码就行,密码注意和上面的密码要一致
chmod 600 /etc/rsyncd.pwd

4、 创建要同步的目录

mkdir /home/data-backup/prod

六、关闭防火墙及手动同步测试

1、 关闭两台服务器的防火墙

systemctl stop firewalld

2、关闭两台服务器的selinux

# vi /etc/selinux/config
 
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加

关闭selinux立即生效

setenforce 0  #立即生效

3、手动同步测试

rsync -avz /home/data-backup/prod/ rsync_user@10.51.1.107::backup_prod_db --password-file=/etc/rsyncd.pwd
#注:
# /home/data-backup/prod/  Client端要同步的数据源路径
# rsync_user@10.51.1.107 认证用户名@服务器S端IP
# 10.51.1.107::backup_prod_db,必须两个冒号,冒号后是服务端对应的模块名称

查看Server的/home/fastdfs/prod-backup/db/目录,看下文件是否已经同步过来了;
成功日志打印如下:

[root@localhost ~]# rsync -avz /home/lims-backup/prod/ tgs@10.51.1.107::backup_prod_app --password-file=/etc/rsyncd.pwd
sending incremental file list
./
test.lims.txt

sent 111 bytes  received 38 bytes  7.27 bytes/sec
total size is 0  speedup is 0.00

如果提的文件夹权限问题,那么多半是selinux未关闭或者防火墙问题。

七、安装配置lsyncd(仅C端)

1、 安装lsyncd

CentOS 7自带的yum无法安装lsyncd。可以通过安装EPEL存储库的方式再用yum安装lsyncd

yum install -y epel-release
 
yum -y install lsyncd

2. 配置lsyncd.conf

vim /etc/lsyncd.conf

配置如下:

settings {
    logfile = "/var/log/lsyncd/lsyncd.log",
    statusFile = "/var/log/lsyncd/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    maxDelays = 1,
    nodaemon = false,
}
sync {
    default.rsync,
    source = "/home/data-backup/prod/",                         --监控目录
    target = "rsync_user @10.51.1.107::backup_prod_app",    --rsync的认证用户名、IP、模块
    delete = true, --删除时是否也要出发备份事件
    delay = 15,
    init = false,
    rsync = {
        binary = "/usr/bin/rsync",               --rsync可执行文件路径,必须为绝对路径
        password_file = "/etc/rsyncd.pwd",       --密码认证文件
        archive = true,
        compress = false,
        verbose = false,
        _extra = {"--bwlimit=200", "--omit-link-times"}
    }
}
--如果有多台服务器需要同步,依次往下配置多个sync即可

3.创建日志文件

touch /var/log/lsyncd/lsyncd.log
touch  /var/log/lsyncd/lsyncd.status

chmod 600 /var/log/lsyncd/lsyncd.log
chmod 600 /var/log/lsyncd/lsyncd.status

4、 启动lsyncd

启动&开启启动

systemctl start lsyncd
# systemctl restart rsyncd 
systemctl enable lsyncd#开机启动

5、 查看日志

cat /var/log/lsyncd/lsyncd.log

如果打印出如下日志则成功启动了

启动成功的打印
Sat Aug  5 22:01:07 2023 Normal: --- Startup
# 新增文件后的打印
Sat Aug  5 22:01:24 2023 Normal: Calling rsync with filter-list of new/modified files/dirs
/123456.txt
/
Sat Aug  5 22:01:25 2023 Normal: Finished a list after exitcode: 0

八、同步测试

  1. Client端新增文件
  2. Client端编辑文件
  3. Client端删除文件

九、双向同步

双向同步其实就是把Clinet端也当做一个server,按照Server的进行配置;然后Server也是一个Client,需要按照并配置lsyncd

全文结束!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335