当前位置： 首页 > news >正文

存储实验：华为异构存储在线接管与在线数据迁移（Smart Virtualization Smart Migration 特性）

news 来源：原创 2024/9/19 10:07:03

目录

  • 目的
  • 实验环境
  • 实验步骤
    • 参考文档
    • 1. 主机安装存储多路径
    • 2. v2存储创建Lun，映射给主机；主机分区格式化，写数据
    • 3. 将v2存储映射该成映射到v3存储上(v3存储和v2之间链路搭建，测通，远端设备）（SmartVirtualization前置）
    • 4. v3存储创建edevlun（SmartVirtualization特性）
    • 5. 主机连接v3，v3创建主机、主机组、映射视图
    • 6. 主机切换写入路径
    • 7. v3存储做Pair对（Smart Migration）
    • 8. 迁移v2存储上的预留信息
    • 9. v3存储 分裂 Pair对，v2存储删除与主机的映射关系
    • 10. 主机测试

目的

实现数据存储从旧存储（Oceanstor V2）迁移至新存储（OceanStor V3）的数据迁移实验。
该实验是在线数据迁移。

注意1：该实验依托华为存储Smart特性实现，其他厂商存储具有不同的特性，请仔细阅读产品文档
注意2：该实验以提前确定过迁移前后系统的兼容性情况，遇到真正的异构厂商存储迁移or未知的厂商存储迁移，请阅读兼容性手册或询问原厂支持。
注意3：数据无小事，涉及到生产请反复验证、备份保证业务连续性和健壮性。

实验环境

主机网段/IP作用
Centos8172.117.0.0/16运维管理网段，远程连接（可以不配）
Centos8172.118.0.0/16存储业务网段，对接存储业务口（仅在ens22上配置该ip即可）
OceanStorV2172.1.0.41:8088旧存储管理地址，webPortal
OceanStorV2172.3.0.41-44旧存储业务地址，通过172.118.0.0路由连接
OceanStorV3172.1.0.61:8088新存储管理地址，webPortal
OceanStorV3172.3.0.61-64新存储业务地址，通过172.118.0.0路由连接
vSphere172.1.0.130vCenter webui地址，用于启停快照Centos

实验步骤

参考文档

可以参考官方的产品文档，我参考的是OceanStor 5x10系列 产品文档
本次在线接管的步骤在该文档的以下部分：
在这里插入图片描述
》 在这里插入图片描述

1. 主机安装存储多路径

本次实验用华为厂商的UltraPath存储多路径
具体的存储多路径实验内容可以看我以前的一片笔记：存储实验：FC-SAN实验与光交配置（GUI&CLI）

  1. 上传多路径软件（可以到华为官网下载，本次使用的是UltraPath31.3.0
  2. 解压UltraPath
 unzip OceanStor_UltraPath_31.3.0_CentOS.zip
  1. 进入目录执行安装脚本（选择系统位于本地安装）
cd CentOS/
sh install.sh
#选择系统安装路径
1
#安装完毕选择重启
Y

2. v2存储创建Lun，映射给主机；主机分区格式化，写数据

略，详细可以看我上一篇笔记：存储实验：Smart Virtualization & Smart Migration 特性实现离线数据迁移

  • 存储映射视图
    在这里插入图片描述

  • 主机连接LUN

#连接存储
[root@localhost iscsi]# iscsiadm -m discovery -t st -p 172.3.0.41
172.3.0.41:3260,8199 iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41
[root@localhost iscsi]# iscsiadm -m node -l
Logging in to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41, portal: 172.3.0.41,3260]
Login to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41, portal: 172.3.0.41,3260] successful.# 扫存储LUN
[root@localhost iscsi]# hot_add
Begin to delete LUNs whose mappings do not exist
Begin to delete LUNs whose mappings are changed.
begin scan host0
begin scan host1
begin scan host10
begin scan host11
begin scan host12
....# 查看硬盘
[root@localhost iscsi]# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda           8:0    0   20G  0 disk
├─sda1        8:1    0  600M  0 part /boot/efi
├─sda2        8:2    0    1G  0 part /boot
└─sda3        8:3    0 18.4G  0 part├─cl-root 253:0    0 16.4G  0 lvm  /└─cl-swap 253:1    0    2G  0 lvm  [SWAP]
sdb           8:16   0    1G  0 disk
up-1        252:1    0    1G  0 disk# 测试
[root@localhost iscsi]# touch /mysqldata/tes{1..5{
[root@localhost iscsi]# touch /mysqldata/tes{1..5}
[root@localhost iscsi]# ls /mysqldata/
tes1  tes{1..5{  tes2  tes3  tes4  tes5
  • 主机通过多路径视图查看LUN
# 查看LUN信息
[root@localhost iscsi]# upadmin
UltraPath CLI #0 >show vlun type=all
--------------------------------------------------------------------------------------------------------------------------------------------------------------Vlun ID  Disk      Name                  Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)0     sdb   0816-v2-test  69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B         wuhan         43                   1/1
--------------------------------------------------------------------------------------------------------------------------------------------------------------# 查看版本
UltraPath CLI #1 >show version
Software Version   : 31.03.031
Driver   Version   : 31.03.031# 查看v2存储的SN号，用于下一步创建eDevLUN时使用
UltraPath CLI #2 >show array
-------------------------------------------------------------------------Array ID  Array Name        Array SN        Vendor Name  Product Name0        wuhan     210235G7KW10F5000012    HUAWEI       S2600T
-------------------------------------------------------------------------

3. 将v2存储映射该成映射到v3存储上(v3存储和v2之间链路搭建，测通，远端设备）（SmartVirtualization前置）

远端设备配置略

  • v2存储新建映射视图，将上一步创建的LUN再次映射给v3存储的存储主机组
    在这里插入图片描述在这里插入图片描述

4. v3存储创建edevlun（SmartVirtualization特性）

  • v3存储创建eDevLUN
    在这里插入图片描述
    在这里选用基本伪装即可，不同的伪装用于什么类型的异构也可以在产品文档找到。
    在这里插入图片描述
    在这里插入图片描述

不同伪装的使用场景：
在这里插入图片描述
在DeviceManager界面创建eDevLUN时，可以设置“接管类型”为“离线”和“在线”。

  • 当设置为“离线”接管时，自动匹配的伪装属性为不伪装。
  • 当设置为“在线”接管时，根据异构存储的类型是华为异构存储或第三方异构存储，自动匹配为基本伪装或第三方伪装接管。当用户需要采用扩展伪装接管时，只能通过CLI命令create lun_takeover general进行接管。

在线接管第三方厂商异构存储系统时，eDevLUN的伪装属性为“第三方”，仅支持对应用服务器操作系统自带多路径的环境进行接管操作，并且环境中不能同时存在华为UltraPath、赛门铁克SF DMP和Veritas Storage Foundation等能够接管华为存储系统的多路径软件。同时，只支持部分应用服务器操作系统和集群软件。

  • 观察eDevLun和远端Lun的关系
    • eDevLun的wwn：
      在这里插入图片描述
    • 远端Lun的wwn（就是v2存储的Lunwwn）：
      在这里插入图片描述
      在这里插入图片描述

5. 主机连接v3，v3创建主机、主机组、映射视图

略

  • 主机连接
[root@localhost iscsi]# iscsiadm -m discovery -t st -p 172.3.0.61
172.3.0.61:3260,8196 iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61
[root@localhost iscsi]# iscsiadm -m node -l
Logging in to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61, portal: 172.3.0.61,3260]
Login to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61, portal: 172.3.0.61,3260] successful.

  • v3存储映射视图
    在这里插入图片描述

  • 主机测试

# 扫盘
hot_add# 查看磁盘
[root@localhost iscsi]# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda           8:0    0   20G  0 disk
├─sda1        8:1    0  600M  0 part /boot/efi
├─sda2        8:2    0    1G  0 part /boot
└─sda3        8:3    0 18.4G  0 part├─cl-root 253:0    0 16.4G  0 lvm  /└─cl-swap 253:1    0    2G  0 lvm  [SWAP]
sdb           8:16   0    1G  0 disk
└─sdb1        8:17   0 1023M  0 part /mysqldata
up-1        252:1    0    1G  0 disk# 进入UltraPath查看，出现两个LUN，分别是不同的存储提供的不同的LUN
[root@localhost iscsi]# upadminUltraPath CLI #0 >show vlun type=all
--------------------------------------------------------------------------------------------------------------------------------------------------------------Vlun ID  Disk      Name                  Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)0     sdb   0816-v2-test  69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B         wuhan         43                   1/10     sdb   eDevLUN0816   69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B           v3         111                   1/1
--------------------------------------------------------------------------------------------------------------------------------------------------------------
UltraPath CLI #1 >show array
-------------------------------------------------------------------------Array ID  Array Name        Array SN        Vendor Name  Product Name0          v3      2102350BVD10H1000043    HUAWEI       S2600T1        wuhan     210235G7KW10F5000012    HUAWEI       S2600T
-------------------------------------------------------------------------
UltraPath CLI #5 >show iostat vlun_id=0 type=all
=====================================================================================IO Performance Information
=====================================================================================IOPS                      KB/S                 response time(ms)Total   |Read    |Write   Total   |Read    |Write   Total   |Read    |Write
VLUN 0      0       |0       |0       0       |0       |0       0       |0       |0
Lun  Array 2102350BVD10H1000043
Controller 0A
Path 0     :0       |0       |0       0       |0       |0       0       |0       |0
Lun  Array 210235G7KW10F5000012
Controller 0A
Path 1     :0       |0       |0       0       |0       |0       0       |0       |0

6. 主机切换写入路径

此时其实我们没有做SmartMigration，多路径软件会根据外部和内部LUN自动判定这是一个Migration的vlun

# 主机查看migration vlun状态，可以看到vlunid=0的lun上的两个lun wwn都是相同的，都是v2LUN的wwn。
# v3是伪装出的lun
UltraPath CLI #6 >show vlun type=migration
--------------------------------------------------------------------------------------------------------------------------------------------------------------Vlun ID  Disk      Name                  Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)0     sdb   eDevLUN0816   69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B           v3         111                   1/10     sdb   0816-v2-test  69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B         wuhan         43                   1/1
--------------------------------------------------------------------------------------------------------------------------------------------------------------UltraPath CLI #7 >show vlun id=0 type=migration
=======================================================VLUN#0 Information                  # 表示虚拟LUN（VLUN）编号为0的相关信息
=======================================================
Disk                  : sdb                          # 指定与此VLUN关联的物理磁盘，设备名为 sdb
Manual IO Suspension  : Off                          # 手动I/O挂起状态，当前处于关闭状态
Aggregation Type      : Migration                    # 聚合类型为迁移，表示涉及数据从一个设备迁移到另一个设备
Aggregation Specific Attribution                     # 描述接下来的聚合相关的具体属性IO Direction      : Source                       # I/O方向为源设备，表示数据从此设备读取或迁移出去Rollback          : Disable                      # 回滚功能被禁用，意味着无法撤销迁移
Aggregation Member#0 Infomation                      # 表示第一个聚合成员（目标设备）的信息Name              : eDevLUN0816                  # 目标设备的名称为 eDevLUN0816Status            : Normal                       # 设备状态正常Capacity          : 1.00GB                       # 设备容量为1.00GBAggregation Specific Attribution : Target Device # 设备被标记为迁移的目标设备LUN WWN           : 69c37f4100814c0e6d2ddfed0000002b  # 逻辑单元号 (LUN) 的全球唯一标识符Array Name        : v3                           # 设备所在存储阵列的名称为 v3Array SN          : 2102350BVD10H1000043         # 存储阵列的序列号Driver            : Vendor-specific(DEFAULT)     # 使用供应商指定的默认驱动程序Product Name      : S2600T                       # 存储产品名称为 S2600TVendor Name       : HUAWEI                       # 供应商名称为华为Owning Controller : 0B                           # 设备的所属控制器为 0BWorking Controller: 0B                           # 设备当前工作的控制器为 0BNum of Paths      : 1                            # 设备到控制器的路径数为 1Controller 0A                                    # 下方列出控制器 0A 的相关信息Path 0 [34:0:0:1] (up-0)  : Normal               # 路径0的信息，状态为正常
Aggregation Member#1 Infomation                      # 表示第二个聚合成员（源设备）的信息Name              : 0816-v2-test                 # 源设备的名称为 0816-v2-testStatus            : Normal                       # 设备状态正常Capacity          : 1.00GB                       # 设备容量为1.00GBAggregation Specific Attribution : Source Device # 设备被标记为迁移的源设备LUN WWN           : 69c37f4100814c0e6d2ddfed0000002b  # 逻辑单元号 (LUN) 的全球唯一标识符Array Name        : wuhan                        # 设备所在存储阵列的名称为 wuhanArray SN          : 210235G7KW10F5000012         # 存储阵列的序列号Driver            : Vendor-specific(DEFAULT)     # 使用供应商指定的默认驱动程序Product Name      : S2600T                       # 存储产品名称为 S2600TVendor Name       : HUAWEI                       # 供应商名称为华为Owning Controller : 0B                           # 设备的所属控制器为 0BWorking Controller: 0B                           # 设备当前工作的控制器为 0BNum of Paths      : 1                            # 设备到控制器的路径数为 1Controller 0A                                    # 下方列出控制器 0A 的相关信息Path 1 [33:0:0:1] (up-1)  : Normal               # 路径1的信息，状态为正常
------------------------------------------------------- # 表示信息展示结束# 切换存储路径
UltraPath CLI #8 >start migration vlun_id=0 direction=target rollback=enableUltraPath CLI #9 >show path
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Path ID                               Initiator Port                                Array Name  Controller                                   Target Port                                   Path State  Check State  Port Type   Port ID0     iqn.1994-05.com.redhat:0816test::3137:322E:3131:382E:342E:3130:3000:0::34      v3          0A      iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61::0    Normal        --         iSCSI    CTE0.A.H0
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Path ID                               Initiator Port                                Array Name  Controller                                  Target Port                                   Path State  Check State  Port Type   Port ID1     iqn.1994-05.com.redhat:0816test::3137:322E:3131:382E:342E:3130:3000:0::33    wuhan         0A      iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41::0    Normal        --         iSCSI    ENG0.A1.H0
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

7. v3存储做Pair对（Smart Migration）

在这里插入图片描述
在这里插入图片描述

8. 迁移v2存储上的预留信息

在上一步中，实际执行到最后会报错：
在这里插入图片描述
原因是，还有部分v2存储上的预留信息没有被迁移到v3存储上。
需要登录v3存储（新存储）的命令行进行解决：
在这里插入图片描述
在这里插入图片描述

  1. 登录到v3存储后台：
    在这里插入图片描述
  2. 查看v3存储上，需要迁移的Lun的编号
#show lun_takeover general命令用于查询存储系统中存在的接管LUN的信息。
xxx:/>show lun_takeover generalID   Name                  Pool ID  Capacity  Health Status  Running Status  Type   WWN                               Is Add To Lun Group  DIF Switch  Takeover LUN Type  Takeover LUN WWN---  --------------------  -------  --------  -------------  --------------  -----  --------------------------------  -------------------  ----------  -----------------  --------------------------------16   xxx  					0         5.000GB  Normal         Online          Thick  618ded7100c077ff07c9f38400000010  Yes                  No          BASIC              69c37f4100814c0e07c931150000000a39   xxx           			2        10.000GB  Normal         Online          Thick  618ded7100c077ff1a0c731d00000027  Yes                  No          BASIC              69c37f4100814c0e18c2fc1e0000001440   xxx              		2         5.000GB  Normal         Online          Thick  618ded7100c077ff1a0c739d00000028  Yes                  No          BASIC              69c37f4100814c0e18c3072a0000001541   xxx           			2        10.000GB  Normal         Online          Thick  618ded7100c077ff1a0c73d500000029  Yes                  No          BASIC              69c37f4100814c0e18c2fbd200000013107  xxx           			0         5.000GB  Normal         Online          Thick  618ded7100c077ff6c6495280000006b  Yes                  No          BASIC              69c37f4100814c0e6c60a1970000002b111  eDevLUN0816          	 0         1.000GB  Normal         Online          Thick  618ded7100c077ff6d34652d0000006f  Yes                  No          BASIC              69c37f4100814c0e6d2ddfed0000002bxxx:/>change protocol service operation_code=relocate operation_object_type=lun_reservation operation_object_id=111
Command executed successfully.developer:/>change lun_takeover finish_switch_path lun_id=111

至此，重新执行步骤7
在这里插入图片描述
在这里插入图片描述

9. v3存储 分裂 Pair对，v2存储删除与主机的映射关系

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

v2存储删除与主机的映射关系略

主机删除与v2存储的iscsi连接：

[root@localhost ~]# iscsiadm  -m session
tcp: [1] 172.3.0.41:3260,8199 iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41 (non-flash)
tcp: [2] 172.3.0.61:3260,8196 iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61 (non-flash)[root@localhost ~]# iscsiadm -m node -u -T iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41
Logging out of session [sid: 3, target: iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41, portal: 172.3.0.41,3260]
Logout of [sid: 3, target: iqn.2006-08.com.huawei:oceanstor:21009c37f4814c0e:icarus:22006:172.3.0.41, portal: 172.3.0.41,3260] successful.[root@localhost ~]# iscsiadm -m session
tcp: [4] 172.3.0.61:3260,8196 iqn.2006-08.com.huawei:oceanstor:210018ded7c077ff:iqn2006:22003:172.3.0.61 (non-flash)[root@localhost ~]# upadminUltraPath CLI #0 >show array
-------------------------------------------------------------------------Array ID  Array Name        Array SN        Vendor Name  Product Name0          v3      2102350BVD10H1000043    HUAWEI       S2600T
-------------------------------------------------------------------------UltraPath CLI #1 >show vlun type=all
-------------------------------------------------------------------------------------------------------------------------------------------------------------Vlun ID  Disk     Name                  Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)0     sdb   eDevLUN0816  69c37f4100814c0e6d2ddfed0000002b  Normal   1.00GB       0B/0B           v3         111                   1/1
-------------------------------------------------------------------------------------------------------------------------------------------------------------

10. 主机测试

[root@localhost ~]# touch /mysqldata/{1..5}.txt
[root@localhost ~]# ls /mysqldata/
1.txt  2.txt  3.txt  4.txt  5.txt  tes1  tes{1..5{  tes2  tes3  tes4  tes5

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • C++ //练习 17.12 使用前一题中的数据结构，编写一个函数，它接受一个问题编号和一个表示真/假解答的值，函数根据这两个参数更新测验的解答。
  • 【轻松拿捏】什么是多态？如何在 Java 中实现多态？
  • 30. 串联所有单词的子串【 力扣(LeetCode) 】
  • 暑假算法刷题日记 Day 10
  • 记录jenkins的一个错误
  • 微信小程序request的请求格式是什么
  • 搭建内网开发环境（一）｜基于docker快速部署开发环境
  • ES高级查询Query DSL查询详解、term术语级别查询、全文检索、highlight高亮
  • 学习日志8.14--ALC（Access Control List）访问控制列表
  • 一分钟学会Linux交换分区
  • 【Python深度学习】图像分割经典网络：U-Net
  • 官方招募 | 仓颉语言三方库社区建设全速启航，全球开发者、技术大神只等您！
  • 掌握CSS的时间之旅：:past和:future伪类的探索与应用
  • AI工作流：低代码时代的革新者，重塑手机问答类应用生态
  • 【微信小程序】自定义组件 - 数据监听器
  • interface和setter，getter
  • JWT究竟是什么呢?
  • Laravel 菜鸟晋级之路
  • Promise初体验
  • Python利用正则抓取网页内容保存到本地
  • React-redux的原理以及使用
  • React系列之 Redux 架构模式
  • VUE es6技巧写法（持续更新中~~~）
  • 创建一种深思熟虑的文化
  • 猴子数据域名防封接口降低小说被封的风险
  • 罗辑思维在全链路压测方面的实践和工作笔记
  • 前端知识点整理（待续）
  • 如何将自己的网站分享到QQ空间，微信，微博等等
  • 使用阿里云发布分布式网站，开发时候应该注意什么？
  • 我看到的前端
  • 协程
  • 学习笔记DL002:AI、机器学习、表示学习、深度学习，第一次大衰退
  • 原生Ajax
  • 你对linux中grep命令知道多少？
  • 直播平台建设千万不要忘记流媒体服务器的存在 ...
  • ​ 全球云科技基础设施：亚马逊云科技的海外服务器网络如何演进
  • ​Benvista PhotoZoom Pro 9.0.4新功能介绍
  • ​HTTP与HTTPS：网络通信的安全卫士
  • $.ajax中的eval及dataType
  • （11）工业界推荐系统-小红书推荐场景及内部实践【粗排三塔模型】
  • （13）DroneCAN 适配器节点（一）
  • （3）nginx 配置(nginx.conf)
  • (ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY)讲解
  • (免费分享)基于springboot,vue疗养中心管理系统
  • （三）elasticsearch 源码之启动流程分析
  • （详细文档！）javaswing图书管理系统+mysql数据库
  • (译) 理解 Elixir 中的宏 Macro, 第四部分：深入化
  • （转）C#开发微信门户及应用(1)--开始使用微信接口
  • (转)scrum常见工具列表
  • .NET CORE 3.1 集成JWT鉴权和授权2
  • .Net Core 中间件与过滤器
  • .Net OpenCVSharp生成灰度图和二值图
  • .net 简单实现MD5
  • .NET单元测试使用AutoFixture按需填充的方法总结
  • .NET与 java通用的3DES加密解密方法