当前位置: 首页 > news >正文

Baichuan2百川模型部署的bug汇总

1.4bit的量化版本最好不要在Windows系统中运行,大概原因报错原因是bitsandbytes不支持window,bitsandbytes-windows目前仅支持8bit量化。

2.在这里插入图片描述

报错原因是机器没有足够的内存和显存,offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag:需要再cli_demo.py的文件中增加
在这里插入图片描述

offload_folder="offload" model.float()

3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言,我会尽可能回复解答

相关文章:

  • OpenCV-Python(49):图像去噪
  • MySQL存储过程和触发器
  • Windows高级调试(学习笔记)-第二章-调试器介绍
  • 基于JavaWeb+SSM+Vue停车场微信小程序系统的设计和实现
  • ChatGLM vs ChatGPT
  • SPI 动态服务发现机制
  • Docker(八)高级网络配置
  • C语言:函数指针的使用
  • GPT应用开发:编写插件获取实时天气信息
  • (南京观海微电子)——COF介绍
  • 计算机服务器中了mallox勒索病毒怎么办,mallox勒索病毒解密数据恢复
  • K8S-容器运行时(v1.27)
  • 厨艺学习_
  • 人才测评,招聘工程技术经理胜任素质模型与任职资格
  • FineBI实战项目一(25):实战项目一总结
  • 【Redis学习笔记】2018-06-28 redis命令源码学习1
  • nginx(二):进阶配置介绍--rewrite用法,压缩,https虚拟主机等
  • pdf文件如何在线转换为jpg图片
  • Python进阶细节
  • react 代码优化(一) ——事件处理
  • spring boot 整合mybatis 无法输出sql的问题
  • Tornado学习笔记(1)
  • Vue全家桶实现一个Web App
  • Webpack入门之遇到的那些坑,系列示例Demo
  • windows-nginx-https-本地配置
  • 搭建gitbook 和 访问权限认证
  • 对话 CTO〡听神策数据 CTO 曹犟描绘数据分析行业的无限可能
  • 缓存与缓冲
  • 基于组件的设计工作流与界面抽象
  • 嵌入式文件系统
  • 使用阿里云发布分布式网站,开发时候应该注意什么?
  • 小程序测试方案初探
  • ​如何在iOS手机上查看应用日志
  • #LLM入门|Prompt#2.3_对查询任务进行分类|意图分析_Classification
  • #我与Java虚拟机的故事#连载09:面试大厂逃不过的JVM
  • (02)Cartographer源码无死角解析-(03) 新数据运行与地图保存、加载地图启动仅定位模式
  • (11)MATLAB PCA+SVM 人脸识别
  • (安卓)跳转应用市场APP详情页的方式
  • (顶刊)一个基于分类代理模型的超多目标优化算法
  • (附源码)spring boot公选课在线选课系统 毕业设计 142011
  • (附源码)springboot 校园学生兼职系统 毕业设计 742122
  • (附源码)springboot“微印象”在线打印预约系统 毕业设计 061642
  • (紀錄)[ASP.NET MVC][jQuery]-2 純手工打造屬於自己的 jQuery GridView (含完整程式碼下載)...
  • (已解决)报错:Could not load the Qt platform plugin “xcb“
  • (转)http-server应用
  • (转)visual stdio 书签功能介绍
  • ***php进行支付宝开发中return_url和notify_url的区别分析
  • .360、.halo勒索病毒的最新威胁:如何恢复您的数据?
  • .NET 8 中引入新的 IHostedLifecycleService 接口 实现定时任务
  • .NET Core6.0 MVC+layui+SqlSugar 简单增删改查
  • .NET 将混合了多个不同平台(Windows Mac Linux)的文件 目录的路径格式化成同一个平台下的路径
  • .NET:自动将请求参数绑定到ASPX、ASHX和MVC(菜鸟必看)
  • .NET使用HttpClient以multipart/form-data形式post上传文件及其相关参数
  • .net专家(张羿专栏)
  • [ajaxupload] - 上传文件同时附件参数值