一、rsync介绍
rsync英文全称为Remote synchronization，从软件的名称就可以看出来，Rsync具有可是本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似ssh带的scp命令，但又优先于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，Rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优先于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。利用rsync还可以实现删除文件和目录的功能，这又相当于rm命令。
一个rsync相当于scp（远程拷贝），cp（本地拷贝），rm（本地删除），但是还优先于这些命令。Rsync还可以是一个网络服务（端口port、socket服务）
在同步备份数据时，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
二、rsync应用场景
2.1 两台服务器之间数据同步cron+rsync、rsync+inotify（实时备份）
2.2 把所有客户服务器数据同步到备份服务器（定时备份）
三、rsync的安装、配置、启动
3.1 rsync服务端的配置
[root@192-168-7-77 ~]# cat /etc/redhat-release #当前主机作为rsync服务端 CentOS Linux release 7.5.1804 (Core) [root@192-168-7-77 ~]# yum install rsync -y [root@192-168-7-77 ~]# rpm -qa | grep rsync rsync-3.1.2-4.el7.x86_64 [root@192-168-7-77 ~]# vim /etc/rsyncd.conf uid = rsync gid = rsync use chroot = no max connections = 1000 strict modes = yes pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [data] uid = rsync gid = rsync path = /data_rsync/ comment = rsync data ignore errors read only = no write only = no hosts allow = 192.168.7.0/24 hosts deny = * list = false auth users = rsync_file secrets file = /etc/rsync.password
[root@192-168-7-77 ~]# useradd rsync -s /sbin/nologin -M [root@192-168-7-77 ~]# mkdir /data_rsync [root@192-168-7-77 ~]# chown rsync.rsync /data_rsync/ [root@192-168-7-77 ~]# echo 'rsync_file:lzfnlzfn' >/etc/rsync.password [root@192-168-7-77 ~]# chmod 600 /etc/rsync.password [root@192-168-7-77 ~]# rsync --daemon [root@192-168-7-77 ~]# echo '/usr/bin/rsync --daemon' >>/etc/rc.local [root@192-168-7-77 ~]# chmod +x /etc/rc.d/rc.local
#以下方法用于停止rsync服务
[root@192-168-7-77 ~]# killall rsync
[root@192-168-7-77 ~]# kill –HUP `cat /var/run/rsyncd.pid`
[root@192-168-7-77 ~]# kill –USR2 `cat /var/run/rsyncd.pid`
3.2 rsync客户端的配置
[root@linux-node1 ~]# echo 'lzfnlzfn' /etc/rsync.password [root@linux-node1 ~]# chmod 600 /etc/rsync.password [root@linux-node1 ~]# rsync -avz ./data/ rsync_file@192.168.7.77::data --password-file=/etc/rsync.password #由客户端向服务端推送数据的时候注意客户端文件夹的权限是否为rsync [root@linux-node1 ~]# rsync -avz rsync_file@192.168.7.77::data /data_rsync/ --password-file=/etc/rsync.password #由服务端向客户端拉取数据
[root@linux-node1 ~]# rsync --timeout=30 -auq --bwlimit=4096 --include=mysql-bin* --exclude=* rsync_file@192.168.7.77::data /data_rsync/ --password-file=/etc/rsync.password
3.3 关于auth认证排错思路
- 确认密码输入是否正确
- server端的secrets file内容格式为 rsync_file:lzfnlzfn，冒号前面为虚拟用户名，后面为认证密码
- client端的secrets file内容直接为密码lzfnlzfn
- 配置文件/etc/rsyncd.conf中的auth users和secrets file名称是否写错
- secrets file文件权限必须为600
- secrets file文件必须拥有运行rsync --daemon用户的权限（假如root执行rsync --daemon 就必须执行chown root.root /etc/rsync.password命令修改所有者）
四、inotify的安装、配置、启动
4.1 inotify介绍
rsync远程同步工具，通过rsync可以实现对远程服务器数据的增量备份同步，但rsync自身也有瓶颈，同步数据时，rsync采用核心算法对远程服务器的目录文件进行比对，只进行差异同步。如果服务器的文件数量达到百万甚至千万量级，那么文件比对将是非常耗时的，而且发生变化的往往是期中很少的一部分，这是非常低效的方式。inotify的出现，可以缓解rsync不足之处，取长补短。
Inotify实际是一种事件驱动机制，它为应用程序监控文件系统时间提供了实时相应事件的机制，而无须通过诸如cron等的轮询机制来获取时间。Cron等机制步进无法做到实时性，而且消耗大量系统资源。相比之下inotify基于事件驱动，可以做到对事件处理的实时响应，也没有轮询造成的系统资源消耗，是非常自然的事件通知接口，也与自然世界的事件机制相符合。
4.2 inotify的安装使用
注：inotify软件需要在rsync的Client端使用 登录网站https://sourceforge.net/projects/inotify-tools/下载inotify软件，以下为安装方法：
[root@linux-node1 ~]# tar xf inotify-tools-3.14.tar.gz [root@linux-node1 ~]# cd inotify-tools-3.14/ [root@linux-node1 ~/inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14 [root@linux-node1 ~/inotify-tools-3.14]# make && make install [root@linux-node1 ~/inotify-tools-3.14]# cd .. [root@linux-node1 ~]# ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify [root@linux-node1 ~]# ll /usr/local/inotify/ total 0 drwxr-xr-x 2 root root 43 Dec 7 19:48 bin drwxr-xr-x 3 root root 25 Dec 7 19:48 include drwxr-xr-x 2 root root 138 Dec 7 19:48 lib drwxr-xr-x 4 root root 26 Dec 7 19:48 share [root@linux-node1 ~]# cat /proc/sys/fs/inotify/max_queued_events #设置inotifywait或inotifywatch命令可监视的文件数量（单时程） 16384 [root@linux-node1 ~]# cat /proc/sys/fs/inotify/max_user_instances #设置每个用户可以运行的inotifywait或inotifywatch命令的进程数 128 [root@linux-node1 ~]# cat /proc/sys/fs/inotify/max_user_watches #设置inotify实例事件（event）队列可容纳的事件数量 8192 [root@linux-node1 ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data_rsync/ #监听对/data_rsync/目录的创建文件操作 [root@linux-node1 ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete /data_rsync/ #监听对/data_rsync/目录的删除文件操作 [root@linux-node1 ~]# /usr/local/inotify/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data_rsync/ #监听对/data_rsync/目录的创建、修改、删除
4.3 rsync+inotify的处理脚本
从客户端linux-node1的/data_rsync/目录作为备份目录，向192.168.7.77的rsync服务端同步数据。
[root@linux-node1 ~]# cat /home/scripts/inotify.sh #!/bin/sh cmd="/usr/local/inotify/bin/inotifywait" $cmd -mrq --format '%w%f' -e create,close_write,delete /data_rsync | \ while read line do [ ! -e "$line" ] && cd /data_rsync/ && \ rsync -az --delete /data_rsync/ rsync_file@192.168.7.77::data --password-file=/etc/rsync.password && continue rsync -az --delete $line rsync_file@192.168.7.77::data --password-file=/etc/rsync.password done