cinder学习小结

1 官方文档

翻译官方文档学习

链接Cinder Administration — cinder 22.1.0.dev97 documentation (openstack.org)

1.1 镜像压缩加速

在cinder.conf配allow_compression_on_image_upload = True可打开开关

compression_format = xxx可设置镜像压缩格式，可为gzip

1.2 多worker

可通过osapi_volume_workers配置实现多api线程

1.3 volume管理

1.3.1 从volume创虚机

1.3.1.1 从镜像创建non-bootable虚机

openstack volume create --size 8 test-volume

openstack server create --flavor xxx --image xxx --network xxx --block_device uuid=xxx,source_type=volume,destination_type=volume --wait test-server

1.3.1.2 从volume创虚机

方法1

openstack server create --boot-from-volume 10 --image xx test-server

会自动创一个10g的盘挂给test-server，镜像会放到这个盘。--boot-from-volume和--volume是互斥配置项

--boot-from-volume创虚拟时创的盘在虚机删除时，挂的盘不会被自动删除，得手动删

方法2

openstack volume create --image image_id --size 10 test-volume

openstack server create --volume volume_id test-server

1.3.1.3 给虚机从内存或外部存储挂盘

可通过在命令openstack server create 后添加--swap/--emphemeral实现，其中emphemeral挂的盘可重复挂载。当关虚拟机时，这两种盘会一并清空

openstack server create --flavor xx --image xx --network xx --swap 512 --emphemeral 2 --wait test-server

1.3.2 设置NFS

以root登入并在/etc/cinder创个文件nfs_shares，文件内容形如

HOST:SHARE_PATH1

HOST:SHARE_PATH2

host是NFSserver的主机ip或主机名

SHARE_PATH是NFS共享的路径

把nfs_shares文件的权限和属主改好，0640，root:cinder

改/etc/cinder/cinder.conf:

DEFAULT nfs_shares_config = /etc/cinder/nfs_shares

DEFAULT nfs_mount_options = xxx

DEFAULT volume_driver = cinder.volume.drivers.nfs.NfsDriver

其他配置项

nfs_sparsed_volumes = true/false 设置nfs盘类型。true表示盘随nfs文件内容多少而动态增长，也就是说，盘刚创时若没内容，这个盘占空间为0；false表示盘创时就是一个固定文件，有固定大小。

注意

如果系统开了selinux，需要给所有需要访问NFS的节点设置selinux配置项virt_use_nfs 为enable，即需在每个需访问NFS的节点执行命令

setsebool -P virt_use_nfs on

1.3.3 配置多存储端

1.3.3.1 配多存储端

通过设cinder.conf DEFAULT enabled_backends = backenda,backendb,...实现，配完了要在cinder.conf里配每个backend，即以每个backend为section名，底下放详细配置形如下

[backenda]

volume_group = groupa

volume_driver = drivera

volume_backend_name = namea

设完了执行cinder-manage volume update_host --currenthost xxx --newhost xxx，再重启服务实现配置生效

创volume时可提供backend_name，cinder.conf中每个backend下的volume_backend_name可重名，这样创volume时scheduler会在同名的backend选出最合适的backend

1.3.3.2 存储端公共配置

即cinder.conf中可以实现[backend_default]，每个[backend]会使用[backend_default]中的部分，若backend和backend_default有重复，backend会 覆盖default的值。必须启用filter_scheduler才能使用多backend

1.3.3.3 volume种类

创volume需要指定volume类别，类别需要手动创建

openstack --os-username admin --os-tenant-name admin volume type create lvm

openstack --os-username admin --os-tenant-name admin volume type set lvm --property volume_backend_name=lvm_ISCSI

注，volume_backend_name不存在时会导致filter_scheduler报错

1.3.4 存储盘备份

1 为某个lv创snapshot lvcreate --size 10G --snapshot --name xxx /dev/cinder_vol/inst0001

检验是否成功创snapshot: lvdisplay

2 给snapshot挂载

kpartx -av /dev/cinder_vol/inst0001-snapshot

mount /dev/mapper/cinder--volumes-volume--volume--0001--snapshot1 /mnt

3 压缩打包，把/mnt 用tar压缩成包，备份成功

4 把snapshot unmount，删除snapshot分区表，删除snapshot

1.3.5 迁移卷组

若存储可自行迁移，则迁移过程会执行相关优化；若存储不可自行迁移，则需要调用cinder标准工作流中的几种

若卷没挂载，cinder会创一个新卷，将旧卷数据复制到新卷中；若卷挂载了，cinder会创个新卷，然后调nova进行卷迁移，这需要nova支持libvirt driver

卷迁移可通过openstack volume show查看volume迁移相关的参数

卷迁移：openstack volume migrate volume_id --host cinder_storage_pool2

os-vol-host-attr:host volume当前的backend

os-vol-mig-status-attr:migstat 当前卷迁移的状态，一般的卷是None，迁移中是migrating,完成是completing

os-vol-mig-status-attr:name_id 

若要移除存储节点，先迁移，再停cinder 服务

注 

目前不支持迁移带snapshot的卷

迁移是root操作，也就是说，迁移过程中卷相关的非root一般操作会被禁止

1.3.6 卷备份

openstack volume backup create [--incremental] [--force] VOLUME

VOLUME: 卷id或卷名称

--incremental:增量备份

--force： 强制创建备份（一般只有volume available才可创备份，force是即使volume in-use，也会创建，但这时可能会导致出错，所以force默认是false）

其他flag：has_dependent_backups: 是否依赖其他backup，如果为true，删此backup会失败

增量备份基于最新时间戳的已有备份。已有备份可为增量备份或全量备份，所以卷第一个备份必须是全量备份，即不能是增量备份，否则会失败

backup_swift_block_size: cinder.conf配置项，规定了incremental backup一次追溯的盘大小变化范围（不确定）

backup_swift_object_size: 必须是block_size整数倍（不确定）

backup_swift_enable_progress_timer: 默认enabled。会默认给telemetry发notification

backup_file_size用于设置backup文件最大大小，若超过限制backup会被分为多个文件\

backup_max_operation 限制backup 和restore最大并发数，默认是15，15指的是所有backup worker加起来的并发不超过15，不是每个worker的不超过15

从备份恢复卷

openstack volume backup restore backup_id volume_id

若从full backup恢复卷，则为full恢复；若从incrememtal backup恢复，则会自动从backup恢复卷

因为卷backup还依赖存储database，所以也需要经常备份database（gaussdb？）。也可导出backup的metadata，这比备份database方便

默认backup用的是swift

如果想用NFS作为backup repository，在cinder.conf中添加如下配置：backup_driver、backup_share

R版本以后，backup时可以强制删除backup过程，此时backup的文件不会被删除，且无法知晓backup文件中有多少数据，此时建议将backup状态设为error

1.3.7 默认scheduler权重策略

默认是根据盘最大空余存量和可分配容量进行权重计算，可通过配置scheduler_default_weighers=xxx改变权重计算方法

1.3.8 基于容量的QoS

cinderQoS随容量增大而增大，如果不加以限制，某个用户可能会分一个性能很大的卷，这将导致剩余容量的卷拥有剩余的性能可能很小，这可能会有问题，可通过qos规划volume性能限制

cinder qos-create high-iops consumer="front-end" total_iops_sec_per_gb=30 total_bytes_sec_per_gb=1048576

cinder qos-associate qos-id volume-type-id

1.3.9 一致组

可以让多个volume生成snapshot时的时间尽量保持在同一时间点，提高数据一致性

该特性在Q版本后就不支持了，转而合入一般卷组

使用该特性前需注意存储驱动是否支持一致组的特性，因为仅有为数不多的驱动支持一致组特性，常用的LVM并不支持该特性

volume如果加入一致组，部分操作会受限，即对volume的有的操作无法执行，具体看官方文档

一致组和一致组的镜像删除会将组内的volume和snapshot作为一个整体一块删除

目前没有openstack命令可创一致组，只能通过cinder命令创建

cinder consisgroup-create --name niubility vol_type_1

openstack volume create --type vol_type_1 --consistency-group group_id --size 2 niubilityVol

cinder cgsnapshot-create consisgroup_id

删除cgsnapshot cinder cgsnapshot-delete cgsnapshot_id

更新consisgroup cinder consisgroup-update  --name xxx --add-volumes vol_1_id, vol_2_id --remove-volumes vol_3_id, vol_4_id consisgroup_id

从另一个consisgroup 的快照创建新consistency group : cinder consisgroup-create-from-src --cgsnapshot cgsnapshot_id --name xx --description xxx

从另一个consisgroup创建新consistency group：cinder consisgroup-create-from-src --source-cg consisgroup_id --name xx --description xx

1.3.10 使用filter和weigh

可在cinder.conf中DEFAULT scheduler_default_filter，scheduler_default_weighers设置filter和weighers，多个filter或weighers以逗号分隔

DriverFilter和GoodnessWeigher处理逻辑需要自己配置，即配上述两个配置后，还需配filter_function和goodness_function，如果不配这两个会用默认值，这俩配置值为等式，如volume.size < 10,有多种卷属性可在等式中配置，具体哪些属性参考Configure and use driver filter and weighing for scheduler — cinder 22.1.0.dev97 documentation (openstack.org)

filter_function和goodness_function可在cinder.conf的每个backend下配置

1.3.11 卷复制速率限制

背景 从镜像创卷，或将卷镜像上传glance时，若image过大，会占用较大带宽，可通过配置cinder.cong的volume_copy_bps_limit限制带宽,该配置可在每个backend下配置，单位是byte/s，如果配100Mib/s 则值为2*20=104857600

注意 

该配置生效需要安装libcgroup设置blkio限制硬盘IO带宽。Debian和ubuntu是cgroup-tools，redhat、Fedora等是libcgroup-tools

远程文件系统不支持此配置，如NFS

1.3.12 精简模式下的oversubscription

该功能在cinder.conf中的max_over_subscription_ratio实现，默认是20，表示实际分配的空间可以实际空间的几倍，如果值小于1，则实际会以20起作用，也可设为auto，该配置也是在每个backend下可配置。

reserved_percentage功能和oversubscription相反，表示要保留的磁盘容量大小，这部分容量应该不会算到oversubscription

1.3.13 镜像卷缓存

该功能可极大提高从image创卷的速度，主要取决于一个backend拷贝卷速度有多快：第一次从image创卷时一个volume缓存会被创，卷缓存被cinder内部租户拥有，第二次以后从image创卷，不会下载image，而是复制卷缓存。卷缓存可在每个backend配置

通过cinder.conf，可为cinder配内部租户

cinder_internal_tenant_project_id = xxx

cinder_internal_tenant_user_id = xxx

通过image_volume_cache_enabled = True使卷缓存生效

可限制卷缓存大小和数量，默认是0，即不做限制：

image_volume_cache_max_size_gb = xxx

image_volume_cache_max_count = xxx

卷缓存会触发telemetry消息：

image_volume_cache.miss: 创卷时没找到缓存，表示该卷是新创

image_volume_cache.hit: 创卷时找到了缓存，而且可找到速度最快缓存

image_volume_cache.evict: 卷缓存被删时发出

1.3.14 基于卷的镜像

即基于cinder的vol创镜像

基于卷的镜像需要glance服务中cinder的location信息

为了让glance使用cinder，在glance-api.conf的glance_store.stores中加上cinder，多个值逗号分隔

为了暴露location信息，在glance-api.conf中设置show_multiple_locations = True

cinder.conf DEFAULT allowed_direct_url_schemes = cinder

cinder.conf DEFAULT image_upload_use_cinder_backend = True

cinder.conf DEFAULT image_upload_use_internal_tenant = True  # 每个backend可以配，

创建方法：

如果 image_upload_use_cinder_backend为True，可glance image-create --volume vol_id image_name创

如果为False可先glance image-create创，然后glance location-add image_id --url cinder://vol_id

为了让基于卷的镜像可被glance访问，可在glance-api.conf的glance_store中配置下列配置：

cinder_store_auth_address

cinder_store_user_name

cinder_store_password

cinder_store_project_name

1.3.15 私有卷类型

为防止一般用户使用高可用性卷类型，可创建私有卷类型，通过cinder type-create 的--private指定，私有卷类型可通过project授予访问权，如果没project则默认admin才能访问

1.3.16 用户可见额外规格（extra specs）

Xena版本开始，某些额外规格开始对一般用户可见。这些用户可见的额外规格是一个固定列表，且基于policy，也就是说，也有用户不可见的额外规格

一般用户无法修改额外规格。额外规格可用于cinder type-list时筛选需要的type-list

为防止不可见额外规格被一般用户可见（比如通过将版本改到Xena之前），可手动修改cinder/resource_filters.json的volume_type为Xena版本前的默认值

1.4 troubleshooting

1.4.1 配置

3 cinder cmd cli

3.1 cinder-manage

3.1.1 cinder-manage db sync

4 接口调用流程整理

4.1 cinder list

最后到gaussdb去查了

4.2 cinder create

v3/volumes.py:VolumeController.create() -> volume.api.API().create() -> taskflow五个flow创volume -> rpc将请求发给scheduler -> scheduler创flow执行创volume请求 -> 更新cinder数据库 -> rpc将请求发给cinder-volume -> 用flow创volume -> 发volume.create.start notification -> 创volume -> 发volume.create.end notification -> 更新数据库，完毕

具体创卷是通过创lun实现