当前位置: 首页 > news >正文

【已解决】tokenizer.chat_template is not set and no template argument was passed

finetuning的时候遇到这个问题:

Error in applying chat template from request: Cannot use apply_chat_template() because tokenizer.chat_template is not set and no template argument was passed! For information about writing templates and setting the tokenizer.chat_template attribute, please see the documentation at https://huggingface.co/docs/transformers/main/en/chat_templating

原因:
在模型合并后,我只复制了tokenizer.json到合并模型的文件夹,没有把tokenizer_config.json也复制过去

# 模型合并存储merged_model = model.merge_and_unload()# 将权重保存为safetensors格式的权重, 且每个权重文件最大不超过2GB(2048MB)merged_model.save_pretrained(config.merge_model_dir, max_shard_size="2048MB", safe_serialization=True)# 复制tokenizer.json到新文件夹shutil.copy(f'{config.model_local_path}tokenizer.json', config.merge_model_dir)

解决:

# 模型合并存储merged_model = model.merge_and_unload()# 将权重保存为safetensors格式的权重, 且每个权重文件最大不超过2GB(2048MB)merged_model.save_pretrained(config.merge_model_dir, max_shard_size="2048MB", safe_serialization=True)# shutil.copy(f'{config.model_local_path}tokenizer.json', config.merge_model_dir)# 将tokenizer也保存到 merge_model_dirtokenizer.save_pretrained(config.merge_model_dir)

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • dockers 阿里云镜像失效后如何配置,可视化操作
  • Linux如何查看服务启动状态是否开机自动启动
  • STM32(二):GPIO
  • 数据结构:线性结构之顺序表、链表篇
  • 零成本 API 服务搭建,用 GitHub Actions 自动爬取文章?
  • mac如何恢复被同名替换掉的文件夹 mac文件被替换如何恢复
  • 【Hadoop】建立圈内组件的宏观认识
  • PostgreSQL的 log_min_messages 和 log_min_error_statement 参数
  • 怎么在网络攻击中屹立不倒
  • Django-rest-framework(DRF)怎么使用celery
  • C#身份核验接口-身份证查询接口-身份证实名制API
  • TinaSDKV2.0 Kernel基本开发
  • 算法【Java】 —— 滑动窗口
  • C# 将Dll嵌入exe中发布
  • xss.function靶场(hard)
  • 【MySQL经典案例分析】 Waiting for table metadata lock
  • 【跃迁之路】【669天】程序员高效学习方法论探索系列(实验阶段426-2018.12.13)...
  • 2017前端实习生面试总结
  • dva中组件的懒加载
  • export和import的用法总结
  • IE报vuex requires a Promise polyfill in this browser问题解决
  • JavaScript的使用你知道几种?(上)
  • Java精华积累:初学者都应该搞懂的问题
  • Java应用性能调优
  • Linux学习笔记6-使用fdisk进行磁盘管理
  • Mac转Windows的拯救指南
  • Perseus-BERT——业内性能极致优化的BERT训练方案
  • Redux系列x:源码分析
  • sessionStorage和localStorage
  • Shadow DOM 内部构造及如何构建独立组件
  • Web Storage相关
  • 分类模型——Logistics Regression
  • 紧急通知:《观止-微软》请在经管柜购买!
  • 罗辑思维在全链路压测方面的实践和工作笔记
  • 码农张的Bug人生 - 见面之礼
  • 前端面试题总结
  • 如何优雅的使用vue+Dcloud(Hbuild)开发混合app
  • 一文看透浏览器架构
  • 容器镜像
  • ​html.parser --- 简单的 HTML 和 XHTML 解析器​
  • ​你们这样子,耽误我的工作进度怎么办?
  • #laravel部署安装报错loadFactoriesFrom是undefined method #
  • (1/2) 为了理解 UWP 的启动流程,我从零开始创建了一个 UWP 程序
  • (3)STL算法之搜索
  • (4)logging(日志模块)
  • (52)只出现一次的数字III
  • (7)摄像机和云台
  • (delphi11最新学习资料) Object Pascal 学习笔记---第5章第5节(delphi中的指针)
  • (vue)el-cascader级联选择器按勾选的顺序传值,摆脱层级约束
  • (动手学习深度学习)第13章 计算机视觉---微调
  • (分类)KNN算法- 参数调优
  • (分享)一个图片添加水印的小demo的页面,可自定义样式
  • (紀錄)[ASP.NET MVC][jQuery]-2 純手工打造屬於自己的 jQuery GridView (含完整程式碼下載)...
  • (十)T检验-第一部分
  • (一)80c52学习之旅-起始篇