llama3.1本地部署方式
llama3.1 资源消耗情况
Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析
70B版本，FP16+16K token需要的资源约为75G；FP16+128K token需要的资源约为110G
1、ollama
ollama工具部署及使用：
https://github.com/ollama/ollama/blob/main/README.md#quickstart
ollama工具支持模型：
https://ollama.com/library
开放IP （配置修改教程）：
阿里云Linux服务器安装Ollama后，IP无法访问_ollama ip-CSDN博客
第二十六篇-Ollama-监听本地IP与端口_ollama 修改端口-CSDN博客
开源模型地址：
https://github.com/meta-llama/llama-models/blob/main/README.md
2、modelscope
模型文件：
魔搭社区
使用方式：
魔搭社区