当前位置: 首页 > news >正文

什么是数据同步服务RSYNC?

大家好呀!这里是码农后端。今天来介绍一下数据同步服务RSYNC,作为Linux/Unix系统中远程或本地复制同步(复制)文件和目录最常用的命令,相比于scp命令,其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

  • rsync 远程同步:remote  synchronous

数据同步过程

以保存文件为目标,sync数据同步会强制把缓存中的数据写入磁盘(立即保存),适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合批量数据同步的场景。

同步(Synchronous),异步(Asynchronous),远程同步(Remote Synchronous)

2、rsync特点

1)可以镜像保存整个目录树和文件系统

2)可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

3)传输效率高,使用同步算法,只比较变化的(增量备份)

如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器,使用rsync实现数据同步,会先比较,假设B服务器中存在file1.txt、file2.txt,则只会同步file3.txt。

4)支持匿名传输,方便网站镜像;也可以做验证,加强安全

3、rsync与scp的区别

两者都可以实现远程同步,但rsync相对更强一些。体现如下: 

1)支持增量备份

2)数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1)使用man命令查看帮助手册

man rsync

85a056f62597485d8d24b411a398ac7c.png

2)选项说明

OPTION选项说明(一般使用 -av)
-v    	详细模式输出
-a    	归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间(修改)
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令,ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH:推,即上传;PULL:拉,即下载

2、本地文件同步

本地文件同步可以理解为:把文件从一个位置(同步=>拷贝)到另一个位置(类似cp)

eg1:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

a1d246a095f1941bc689c542e6eb0e1d.png

eg2:rsync -R选项的应用(保留相对路径)

rsync -avR /dir1/ /dir2

eg3:rsync --delete(删除目标目录里多余的文件)

/dir1(file1、file2) 

/dir2(file1、file2、file3)

rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致

rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1)启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)

systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。则需要查看帮助手册:

man rsync
rsync --help
rsync --daemon --help# CentOS6:rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务,作为后台运行
rsync --daemon# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了

2)rsyncd服务的配置文件/etc/rsyncd.conf

man 5 rsyncd.conf

21749869ae98fed51e93b94de4680305.jpeg

三、任务解决方案(重点)

1、环境准备

用到的服务器及对应IP配置如下:

ecc8752d2c99969966bdf055a29ef961.jpeg

编号IP地址主机名称角色
110.1.1.10code.itweb.cnCode(MIS)
210.1.1.100backup.itweb.cnBackup(Backup)

1)关闭防火墙与SELinux

# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0vim /etc/selinux/config
SELINUX=disabled

2)更改主机名称

hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3)更改IP地址(静态IP)

# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明,如下图

99beaef6cf16bcca4f2463e3b2cb1b4e.png

4)关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

5)配置YUM源

可以使用官方默认的YUM,如有需要可自行配置。

6)时间同步

ntpdate cn.ntp.org.cn

2、远程文件同步

1)Push:上传文件到远程服务器端

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1:把linux.txt文档传输到远程服务器端(10.1.1.100)的root目录下

rsync -av linux.txt root@10.1.1.100:/root

eg2:把shop文件夹传输到远程服务器端(10.1.1.100)的root目录下

rsync -av shop root@10.1.1.100:/root

2)Pull:下载文件到本地服务器端

rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

rsync -av root@10.1.1.100:/etc/hosts ./

eg2:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

rsync -av root@10.1.1.100:/shop ./

扩展:

问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式

如果不想要密码同步,可以考虑使用SSH免密操作。

Code => Backup

Code:

# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2:如果Backup服务器端更改了SSH的默认端口(如更改为10086),又该如何同步?

# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码(扩展)

Code服务器:

1)打开/etc/rsyncd.conf配置文件

vim /etc/rsyncd.conf[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2)在/etc目录下创建rsyncd.secrets文件

vim /etc/rsyncd.secretsuser1:123							 	=>   设置密码,用户名:密码
user2:123

3)更改密码文件权限为600

chmod 600 /etc/rsyncd.secrets

4)重启rsyncd服务

systemctl restart rsyncd

5)Backup备份服务器:

rsync -av user1@10.1.1.10::app ./
Password:123

好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!

最后,星标设置如下:

d3cdae46a269d0401846738c4f7a8203.png

如下即设置成功!

b69889df8f4db3f09267fa729c257af1.png

往期精彩文章推荐(点击下方蓝字即可阅读!)

往期推荐

SSH服务搭建及免密登录实现

SSH服务搭建之YUM源配置与静态IP配置

SSH基于用户名密码的认证原理

一文带你快速了解VMware的三种网络模式

什么是yum源?如何对其进行配置?

Linux有哪些常用的高级扩展命令?

相关文章:

  • 快速排序算法Python实现
  • 【人工智能】-- 迁移学习
  • 包管理器-npm、yarn、cnpm、pnpm的比较
  • JDK安装详细教程(以JDK17为例)
  • c++将utf8转gb2312
  • Tomcat组件概念和请求流程
  • 【Redis】初识 Redis
  • [JS]认识feach
  • 设计模式的七大原则
  • (图文详解)小程序AppID申请以及在Hbuilderx中运行
  • 【Linux】进程间通信——命名管道和共享内存
  • 2024年公共文化与社会服务国际会议(ICPCSS 2024)
  • 事务的学习
  • C#小结:未能找到类型或命名空间名“xxx”(是否缺少 using 指令或程序集引用?)
  • 容器docker 架构命令案例
  • 时间复杂度分析经典问题——最大子序列和
  • 【css3】浏览器内核及其兼容性
  • 【node学习】协程
  • Babel配置的不完全指南
  • co模块的前端实现
  • CSS魔法堂:Absolute Positioning就这个样
  • css选择器
  • Docker 1.12实践:Docker Service、Stack与分布式应用捆绑包
  • ES6简单总结(搭配简单的讲解和小案例)
  • flask接收请求并推入栈
  • iOS筛选菜单、分段选择器、导航栏、悬浮窗、转场动画、启动视频等源码
  • java小心机(3)| 浅析finalize()
  • puppeteer stop redirect 的正确姿势及 net::ERR_FAILED 的解决
  • Python进阶细节
  • SSH 免密登录
  • Storybook 5.0正式发布:有史以来变化最大的版本\n
  • vue的全局变量和全局拦截请求器
  • 动态规划入门(以爬楼梯为例)
  • 离散点最小(凸)包围边界查找
  • 那些被忽略的 JavaScript 数组方法细节
  • 深入浅出Node.js
  • 深入浅出webpack学习(1)--核心概念
  • 使用 Node.js 的 nodemailer 模块发送邮件(支持 QQ、163 等、支持附件)
  • 数据仓库的几种建模方法
  • 新海诚画集[秒速5センチメートル:樱花抄·春]
  • ​3ds Max插件CG MAGIC图形板块为您提升线条效率!
  • ​secrets --- 生成管理密码的安全随机数​
  • (C语言)strcpy与strcpy详解,与模拟实现
  • (javascript)再说document.body.scrollTop的使用问题
  • (java版)排序算法----【冒泡,选择,插入,希尔,快速排序,归并排序,基数排序】超详细~~
  • (Note)C++中的继承方式
  • (八)Flask之app.route装饰器函数的参数
  • (第一天)包装对象、作用域、创建对象
  • (附源码)springboot家庭财务分析系统 毕业设计641323
  • (附源码)ssm户外用品商城 毕业设计 112346
  • (经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路
  • (全部习题答案)研究生英语读写教程基础级教师用书PDF|| 研究生英语读写教程提高级教师用书PDF
  • (顺序)容器的好伴侣 --- 容器适配器
  • (学习总结16)C++模版2
  • (一)appium-desktop定位元素原理