LocalAI离线安装部署
简介
LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API，与 OpenAI（Elevenlabs、Anthropic……）API 规范兼容，用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频（不止于此），支持多种模型系列。不需要 GPU。它由 Ettore Di Giacinto创建和维护。
离线安装流程
源码链接：https://github.com/mudler/LocalAI
https://localai.io/basics/container/
前提: 需要能科学上网，镜像源只能在国外下载。
1.拉取镜像
docker pull localai/localai:latest-cpu
拉取的是干净的，里面没有任何模型
注意离线安装，不要拉取localai/localai:latest-aio-cpu版本的，这个需要在线下载依赖
2.运行服务
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-cpu
3.下载模型：https://huggingface.co/openai/whisper-large-v3
ggml-large-v3.bin
创建配置文件：
vim whisper-1.yaml
---
backend: whisper
name: whisper-1
parameters:model: ggml-large-v3.bin
模型文件和配置文件上传到服务器目录：/opt/models
4.挂载配置文件，启动服务
docker run -d -ti --name localai -p 8080:8080 -v /opt/models:/build/models localai/localai:latest-cpu
5.查看文件是否挂载成功：
docker ps
14dc8676c4ab
进入容器内部:
docker exec -it 14dc8676c4ab /bin/bash
model 目录在：/build/models
6.验证服务
说明离线导入模型成功，其他模型导入参照这个即可。
总结
模型配置文件格式一定要正确，否则导入会报错。