Accelerate之大模型显存计算
目录
- 大模型显存计算
- Gradio 演示
- 命令
- 特定库
- 特定数据类型
- 注意事项
大模型显存计算
在探索要在您的机器上使用的潜在模型时，一个非常困难的方面是了解在您当前的显卡下，多大的模型可以放入内存（例如将模型加载到 CUDA）。
为了帮助缓解这个问题，🤗 Accelerate 提供了一个 accelerate estimate-memory 的 CLI 接口。支持搜索可以在 timm 和 transformers 中使用的模型。
这个 API 会将模型加载到 `meta` 设备的内存中，所以我们实际上并没有下载并将模型的全部权重加载到内存中，我们也不需要这样做。因此，测量 80 亿参数模型（或更多）是完全可以的，而不必担心您的 CPU 是否能够处理它！
Gradio 演示
以下是一些与上述内容相关的 gradio 演示。第一个是官方的 Hugging Face 内存估计空间，直接利用了 AccelerateHF space。
一位社区成员做了一些改进，并查看在给定 GPU 限制和 LoRA 配置的情况下是否可以运行特定的 LLM。请参阅HF space了解更多细节。
</