当前位置： 首页 > news >正文

llama3模型部署时遇到的问题及解决方案

news 来源：原创 2024/7/4 17:57:56

在llama3模型部署时，会遇到一系列问题，这里就作者所遇到的问题与解决方法分享一下。

注意：这里是从llama3 github主页上给的方法一步步做的，不适用于其他部署大模型的方法。

image-20240629145909566

文章目录

  • ERROR 403：Forbidden
  • 安装依赖时出错
  • cuda与pytorch版本不一致问题
  • 模型成功运行截图

ERROR 403：Forbidden

image-20240629150223217

原因：在模型下载时本地IP或代理IP被服务器ban掉

解决方法：使用科学方法，一个节点一个节点去试；或者换用国内的镜像源：魔塔社区

安装依赖时出错

image-20240629150249545

原因：系统没有安装Rust编译器

解决方法：安装cargo，里面包含了所需的Rust编译工具和其他一些工具

cuda与pytorch版本不一致问题

img

原因：cuda与pytorch版本不一致

解决方法：在pytorch官网上查询对应版本，重新安装版本一致的pytorch或cuda

模型成功运行截图

example_chat_completion.py

img

example_text_completion.py

img

相关文章：

  • 【ONLYOFFICE】| 桌面编辑器从0-1使用初体验
  • mysql创建表的规范
  • 鸿蒙开发设备管理：【@ohos.multimodalInput.touchEvent (触摸输入事件)】
  • XPath 语法笔记
  • DP：子序列问题
  • elasticsearch导出和导入数据
  • eNSP中WLAN的配置和使用
  • Linux文件描述符与FILE指针互相转换
  • 7月形势分析-您下一步该如何做，才能走出困境？
  • 零基础开始学习鸿蒙开发-读书app简单的设计与开发
  • 探索 Electron：将 Web 技术带入桌面应用
  • 【python报错】已解决 ERROR: Could not find a version that satisfies the requirement
  • JDK动态代理-AOP编程
  • el-config-provider在Vue3中自定义命名空间实现
  • 【笔记】Spring Cloud Gateway 实现 gRPC 代理
  • android 一些 utils
  • HashMap剖析之内部结构
  • Java反射-动态类加载和重新加载
  • PV统计优化设计
  • React-生命周期杂记
  • Spark RDD学习: aggregate函数
  • Terraform入门 - 3. 变更基础设施
  • vue+element后台管理系统，从后端获取路由表，并正常渲染
  • Vue--数据传输
  • 给新手的新浪微博 SDK 集成教程【一】
  • 给自己的博客网站加上酷炫的初音未来音乐游戏？
  • 基于HAProxy的高性能缓存服务器nuster
  • 聊聊redis的数据结构的应用
  • 前言-如何学习区块链
  • 深度解析利用ES6进行Promise封装总结
  • 双管齐下，VMware的容器新战略
  • 为物联网而生：高性能时间序列数据库HiTSDB商业化首发！
  • 一起参Ember.js讨论、问答社区。
  • 一文看透浏览器架构
  • 移动端 h5开发相关内容总结(三)
  • TPG领衔财团投资轻奢珠宝品牌APM Monaco
  • 积累各种好的链接
  • ​一文看懂数据清洗：缺失值、异常值和重复值的处理
  • #include
  • (iPhone/iPad开发)在UIWebView中自定义菜单栏
  • （六）c52学习之旅-独立按键
  • （亲测成功）在centos7.5上安装kvm,通过VNC远程连接并创建多台ubuntu虚拟机（ubuntu server版本）...
  • （三）终结任务
  • （十六）Flask之蓝图
  • （一）Kafka 安全之使用 SASL 进行身份验证 —— JAAS 配置、SASL 配置
  • （转）http-server应用
  • .bat批处理（四）：路径相关%cd%和%~dp0的区别
  • .mat 文件的加载与创建 矩阵变图像？ ∈ Matlab 使用笔记
  • .NET Framework 的 bug？try-catch-when 中如果 when 语句抛出异常，程序将彻底崩溃
  • .NET Windows：删除文件夹后立即判断，有可能依然存在
  • .NET命名规范和开发约定
  • .NET企业级应用架构设计系列之开场白
  • .net用HTML开发怎么调试,如何使用ASP.NET MVC在调试中查看控制器生成的html？
  • @31省区市高考时间表来了，祝考试成功
  • [ CTF ] WriteUp- 2022年第三届“网鼎杯”网络安全大赛（白虎组）