当前位置: 首页 > news >正文

finetuning大模型准备(基于Mac环境)

为finetuning进行的热身准备,涉及周边的软件工具,方法。

问题1:finetuning过程较长,采用系统自带命令行没有后台,前台被杀后,容易造成训练失败。

解决方法: tmux可以开启后台训练

问题2:大模型训练过程会有几个G 的bin等文件,不宜下载频繁

解决方法:Git LFS可以进行git屏蔽和指定文件下载

1. tmux

1.1 安装:

brew install tmux

1.2 启动

启动:tmux

1.3 查看已创建的会话

1.4 分屏

①ctrl + B 松开

②shift + %

1.5 分屏后的窗口中的光标互相切换

快捷键:先按ctrl+b, 放开后再按下o

1.6 新建session

tmux new -s Session-name

1.7 进入一个已知会话

tmux a -t Session-name

1.8 关闭会话

tmux kill-session -t Session-name

2.Git LFS

Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件(如视频、图形或大型数据文件)的扩展

以chatglm3-6b模型为例,如下:

很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来,内容会非常大,浪费时间。lfs是个不错的选择。

2.1 lfs安装

git lfs install

2.2 配置lfs 克隆

GIT_LFS_SKIP_SMUDGE=1 git clone <repository-addr>

即时git pull 也不会把大文件拉下来。

2.3 指定匹配对象

git lfs fetch --include 命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象,而不是下载整个仓库的所有LFS对象。

这个命令会下载与指定模式匹配的所有LFS对象,并将其存储在本地LFS缓存中。

2.4 下载

git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本

工欲善其事,必先利其器

开始训练:

相关文章:

  • SpringBoot 基于jedis实现Codis高可用访问
  • MySQL 命令总结篇-思维导图
  • 关于linux查询free内存消耗命令
  • Vue3实战笔记(55)—Vue3.4新特性揭秘:defineModel重塑v-model,拥抱高效双向数据流!
  • 【计算Nei遗传距离】
  • 东莞酷得智能 组装机械狗电子玩具方案
  • java多态——向下转型
  • Spring boot 随笔 1 DatasourceInitializer
  • 【2024新版】银系统源码/超市收银系统/智慧新零售/ERP进销存管理/线上商城/商户助手
  • c++ QT 实现QMediaPlayer播放音频显示音频级别指示器
  • Kotlin 对象
  • 【机器学习】探索未来科技的前沿:人工智能、机器学习与大模型
  • SpringBoot六种API请求参数读取方式
  • 请描述Vue常用的修饰符
  • 太速科技-基于3U VPX 4核8线程I7 X86主板
  • 【108天】Java——《Head First Java》笔记(第1-4章)
  • 【402天】跃迁之路——程序员高效学习方法论探索系列(实验阶段159-2018.03.14)...
  • 【笔记】你不知道的JS读书笔记——Promise
  • ES10 特性的完整指南
  • ES6 学习笔记(一)let,const和解构赋值
  • Github访问慢解决办法
  • IDEA常用插件整理
  • iOS | NSProxy
  • jquery ajax学习笔记
  • rabbitmq延迟消息示例
  • Redis的resp协议
  • thinkphp5.1 easywechat4 微信第三方开放平台
  • ubuntu 下nginx安装 并支持https协议
  • Webpack入门之遇到的那些坑,系列示例Demo
  • 从0实现一个tiny react(三)生命周期
  • 大快搜索数据爬虫技术实例安装教学篇
  • 大整数乘法-表格法
  • 开源地图数据可视化库——mapnik
  • 快速构建spring-cloud+sleuth+rabbit+ zipkin+es+kibana+grafana日志跟踪平台
  • 项目管理碎碎念系列之一:干系人管理
  • 湖北分布式智能数据采集方法有哪些?
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​DB-Engines 11月数据库排名:PostgreSQL坐稳同期涨幅榜冠军宝座
  • #Lua:Lua调用C++生成的DLL库
  • (1)(1.13) SiK无线电高级配置(五)
  • (C#)if (this == null)?你在逗我,this 怎么可能为 null!用 IL 编译和反编译看穿一切
  • (Redis使用系列) Springboot 使用redis实现接口幂等性拦截 十一
  • (八)c52学习之旅-中断实验
  • (附源码)基于SSM多源异构数据关联技术构建智能校园-计算机毕设 64366
  • (四)七种元启发算法(DBO、LO、SWO、COA、LSO、KOA、GRO)求解无人机路径规划MATLAB
  • (图文详解)小程序AppID申请以及在Hbuilderx中运行
  • (原創) 如何安裝Linux版本的Quartus II? (SOC) (Quartus II) (Linux) (RedHat) (VirtualBox)
  • (转)Oracle存储过程编写经验和优化措施
  • ***利用Ms05002溢出找“肉鸡
  • ***通过什么方式***网吧
  • *++p:p先自+,然后*p,最终为3 ++*p:先*p,即arr[0]=1,然后再++,最终为2 *p++:值为arr[0],即1,该语句执行完毕后,p指向arr[1]
  • *Django中的Ajax 纯js的书写样式1
  • .helper勒索病毒的最新威胁:如何恢复您的数据?
  • .Mobi域名介绍
  • .NET 表达式计算:Expression Evaluator