当前位置：首页 > news >正文

基于 ROS 的Terraform托管服务轻松部署Qwen-VL-Chat

news 来源：原创 2024/9/20 12:40:13

介绍

Qwen-VL是阿里云研发的大规模视觉语言模型（Large Vision Language Model）。Qwen-VL可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。在Qwen-VL的基础上，利用对齐机制打造出基于大语言模型的视觉AI助手Qwen-VL-Chat，它支持更灵活的交互方式，包括多图、多轮问答、创作等能力，天然支持英文、中文等多语言对话，支持多图输入和比较，指定图片问答，多图文学创作等。

资源编排服务（Resource Orchestration Service， ROS）是阿里云提供基于基础设施即代码（Infrastructure as Code, IaC）理念的自动化部署服务，我们可以通过定义一个 Terraform 模板，轻松部署云上的 Qwen-VL 模型。

⚠️说明：
Qwen-VL-Chat模型依照LICENSE开源，免费商用需填写商业授权申请。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

部署步骤

登录ROS控制台 Qwen-VL 部署页面
配置模板参数：选择 ECS 实例的实例类型、可用区参数
点击【下一步】，然后点击【创建】进行资源部署。部署完成后，点击资源栈的输出，即可看到 Qwen-VL-Chat 服务的地址。点击链接即可体验 Qwen-VL-Chat 的功能。
单击Upload(上传文件)上传图片，然后在Input对话框中，输入对话内容，单击Submit（发送），即可开始图片问答、图片检测框标注等。

部署原理

我们可以看到通过 ROS 可以非常快捷地部署阿里云上的各种云资源（比如 VPC、VSwitch、ECS 实例等）和应用程序（比如 Qwen-VL-Chat）。如果想了解是如何做到的，那么可以阅读此章节。

编写 Terraform 模板。在如下模板中定义了：

resource：定义了 vpc、vswitch、ecs、安全组、安全组规则以及安装 Qwen-VL-Chat 的命令执行。
variable：定义了常用的参数，比如可用区、ECS实例类型类型。
output：定义了自定义输出，比如 Qwen-VL-Chat 服务的地址

variable "zone_id" {type        = stringdescription = <<EOT{"AssociationProperty": "ZoneId","Label": {"zh-cn": "可用区ID","en": "Zone ID"}}EOT
}variable "instance_type" {type        = stringdescription = <<EOT{"Label": {"zh-cn": "实例类型","en": "Instance Type"},"AssociationProperty": "ALIYUN::ECS::Instance::InstanceType","AssociationPropertyMetadata": {"Constraints": {"Memory": [64]}}}EOTdefault     = "ecs.g8a.4xlarge"
}resource "alicloud_vpc" "vpc" {vpc_name   = "qwen-vl-vpc"cidr_block = "192.168.0.0/16"
}resource "alicloud_vswitch" "vswitch" {vpc_id     = alicloud_vpc.vpc.idzone_id    = var.zone_idcidr_block = "192.168.0.0/24"
}resource "alicloud_security_group" "group" {vpc_id = alicloud_vpc.vpc.id
}resource "alicloud_security_group_rule" "rule" {type              = "ingress"ip_protocol       = "tcp"nic_type          = "intranet"policy            = "accept"port_range        = "7860/7860"priority          = 1security_group_id = alicloud_security_group.group.idcidr_ip           = "0.0.0.0/0"
}resource "alicloud_instance" "ecs" {availability_zone          = var.zone_idsecurity_groups            = alicloud_security_group.group.*.idinstance_type              = var.instance_typesystem_disk_category       = "cloud_essd"image_id                   = "aliyun_3_x64_20G_alibase_20240528.vhd"instance_name              = "qwen-vl"vswitch_id                 = alicloud_vswitch.vswitch.idinternet_max_bandwidth_out = 10system_disk_size = 100password = "Ros12345"
}locals {command         = <<EOF
#!/bin/bash
sudo dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo dnf -y install dnf-plugin-releasever-adapter --repo alinux3-plus
sudo dnf -y install docker-ce --nobest
sudo systemctl start docker
sudo systemctl enable docker
sudo docker pull registry.openanolis.cn/openanolis/pytorch-amd:1.13.1-23-zendnn4.1
sudo docker run -d --name pytorch-amd --net host -v $HOME:/root registry.openanolis.cn/openanolis/pytorch-amd:1.13.1-23-zendnn4.1 sh -c "tail -f /dev/null" &
wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/en-US/20231213/owpj/deploy_qwen-vl-chat_amd-docker.sh
sed -i 's/hwloc / /' deploy_qwen-vl-chat_amd-docker.sh
sed -i 's/"python-einops"/python-einops --skip-broken/' deploy_qwen-vl-chat_amd-docker.sh
sed -i 's/@ 2>\&1/@ > output.log 2>\&1/' deploy_qwen-vl-chat_amd-docker.sh
sudo docker exec -w /root pytorch-amd sh -c '
chmod +x deploy_qwen-vl-chat_amd-docker.sh
./deploy_qwen-vl-chat_amd-docker.sh
pip install -r Qwen-VL/requirements.txt
pip install -r Qwen-VL/requirements_web_demo.txt
pip install -r Qwen-VL/requirements_openai_api.txt
./deploy_qwen-vl-chat_amd-docker.sh
'
EOFbase_64_command = base64encode(local.command)
}resource "alicloud_ecs_command" "command" {name            = "qwen-vl-command"command_content = local.base_64_commandtype            = "RunShellScript"timeout         = 7200working_dir     = "/root"
}resource "alicloud_ecs_invocation" "default" {command_id  = alicloud_ecs_command.command.idinstance_id = [alicloud_instance.ecs.id]timeouts {create = "7200s"}
}output "Url" {description = <<EOT{"Label": "Web 访问地址","Description": "Qwen VL Chat页面访问地址."}EOTvalue = format("http://%s:7860", alicloud_instance.ecs.public_ip)
}