linux系统中rsync+inotify实现服务器之间文件实时同步

linux系统中rsync+inotify实现服务器之间文件实时同步
最近需要对服务器上的文件实施动态备份，我又不想每次都手动来进行备份，在网上找了挺多资料，发现使用rsync就可以实现，如果想要实现实时同步，还可以使用rsync+inotify组合，本文就是以组合方式来完成的。

先介绍一下rsync与inotify。

1、rsync
 与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

2、inotify
 Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
具体大家可以参照http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html来进行学习。

接下面我们来开始进行rsync与inotify的安装、配置、测试。

下面是2个服务器的结构，分别为主机名、ip、同步的目录，并将2台服务器均是CentOS 6.5发行版本。

Host IP Docoment
Server 192.168.1.103 /home/temp

Client 192.168.1.101 /103rsyncfiles

一、主服务器（Server）
#安装rsync和xinetd，并创建目录：
yum install rsync xinetd

#配置xinetd：
vi /etc/xinetd.d/rsync
#disable = yes修改为
disable = no

启动xinetd服务：(不要设置chkconfig xinetd on: 必须为:off)
service xinetd restart 

2、建立密码认证文件
代码如下:

mkdir /usr/local/rsync/
echo "rsync-pwd" > /usr/local/rsync/rsync.passwd 
#其中rsync-pwd可以自己设置密码，rsync.passwd名字也可以自己设置
[root@Server]# chmod 600 /usr/local/rsync/rsync.passwd 
#无论是为了安全，还是为了避免出现以下错误，密码文件都需要给600权限

3、安装inotify
[root@Server]# cd /usr/local
[root@Server src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 
[root@Server src]# tar zxvf inotify-tools-3.14.tar.gz 
mv inotify-tools-3.14/ inotify
cd inotify
[root@Server inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify 
[root@Server inotify-tools-3.14]# make 
[root@Server inotify-tools-3.14]# make install

4、创建rsync复制脚本
此项功能主要是将server端的目录/tmp里的内容，如果修改了（无论是添加、修改、删除文件）能够通过inotify监控到，并通过rsync实时的同步给client的/tmp里，下面是通过shell脚本实现的。

cd /home/temp/
chown -R root .
chgrp -R root .

vi /appstart/rsync.sh
#!/bin/bash 
host=192.168.1.101
src=/home/temp/     
des=web 
user=webuser 
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files 
do 
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des 
echo "${files} was rsynced" >>/usr/local/inotify/logs/rsync.log 2>&1 
done

注意：建议各位吧rsync的日志放到其他的目录下（非备份目录）。
其中host是client的ip，src是server端要实时监控的目录，des是认证的模块名，需要与client一致，user是建立密码文件里的认证用户。
把这个脚本命名为rsync.sh，放到监控的目录里，比如我的就放到/tmp下面，并给予764权限

然后运行这个脚本
[root@Server tmp]# sh /appstart/rsync.sh &

请记住，只有在备份服务器client端的rsync安装并启动rsync之后，在启动rsync.sh脚本，否则有时候会满屏出现：

rsync: failed to connect to 192.168.1.22: Connection refused (111)  
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8] 

我们还可以把rsync.sh脚本加入到开机启动项里
[root@Server tmp]# echo "/appstart/rsync.sh" >> /etc/rc.local 

二、备份服务器（Client）
1、安装rsync（备份服务器只安装rsync）

复制代码
#安装rsync和xinetd，并创建目录：
yum install rsync xinetd

#配置xinetd：
vi /etc/xinetd.d/rsync
#disable = yes修改为
disable = no

启动xinetd服务：
service xinetd start

2、建立用户与密码认证文件

mkdir /usr/local/rsync/
echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd
#请记住，在server端建立的密码文件，只有密码，没有用户名；而在备份服务端client里建立的密码文件，用户名与密码都有。

[root@Client]# chmod 600 /usr/local/rsync/rsync.passwd
#需要给密码文件600权限

3、建立rsync配置文件

vim /etc/rsyncd.conf
uid = root 
gid = root 
use chroot = no 
max connections = 10 
strict modes = yes 
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock 
log file = /var/log/rsyncd.log 
[web] 
path = /103rsyncfiles
comment = web file 
ignore errors 
read only = no 
write only = no 
hosts allow = 192.168.1.103 
hosts deny = * 
list = false 
uid = root 
gid = root 
auth users = webuser 
secrets file = /usr/local/rsync/rsync.passwd

其中web是server服务端里的认证模块名称，需要与主服务器里的一致。

4、启动rsync
service xinetd restart
chkconfig xinetd on  
rsync --daemon --config=/etc/rsyncd.conf

查看目标服务器状态:
tail -f /var/log/rsyncd.log
查看源服务器状态:
/usr/local/inotify/logs/rsync.log

关键配置-自动启动:
源服务器:
#设置开机自启动(#chkconfig xinetd off 必须设为off)
mkdir /appstart/rsync
vi /appstart/rsync/a_shrsync.sh
------
service xinetd stop
sh /appstart/rsync.sh &
service xinetd start
------
vi /appstart/rsync/b_skillrsync.sh
sh /appstart/killpid.sh rsync
------
vi /appstart/rsyncstart.sh 
for file in `find /appstart/rsync -type f -name "*.sh"`;do
    echo $file
    sh $file
done
------
chmod a+x /appstart/rsync/a_shrsync.sh
chmod a+x /appstart/rsync/b_skillrsync.sh
chmod a+x /appstart/rsyncstart.sh
echo "/appstart/rsyncstart.sh" >> /etc/rc.local   #设置开机自启动文件

目标服务器:
vi /appstart/rsync/a_shrsync.sh
------
rm -rf /var/run/rsyncd.pid
service xinetd stop
rsync --daemon --config=/etc/rsyncd.conf
service xinetd start
------

vi /appstart/rsync/b_skillrsync.sh
sh /appstart/killpid.sh rsync
------

vi /appstart/rsyncstart.sh
------
for file in `find /appstart/rsync -type f -name "*.sh"`;do
    echo $file
    sh $file
done
------
chmod a+x /appstart/rsync/a_shrsync.sh
chmod a+x /appstart/rsync/b_skillrsync.sh
chmod a+x /appstart/rsyncstart.sh
echo "/appstart/rsyncstart.sh" >> /etc/rc.local   #设置开机自启动文件

---------------------------
手动启动服务区
源服务器:
sh /appstart/killpid.sh rsync
sh /appstart/rsync.sh &

目标服务器:
sh /appstart/killpid.sh rsync
sh /appstart/startrsync.sh

配置rsyncd chkconfig文件

#!/bin/bash
#chkconfig:2345 20 90
#description:rsyncd
#processname:rsyncd
/appstart/rsyncstart.sh
启动rsyncd服务
service rsyncd restart