开源大模型源代码
开源大模型的源代码可以在多个平台上找到，以下是一些知名的开源大模型及其源代码的获取方式：
1. **艾伦人工智能研究所的开放大语言模型（Open Language Model，OLMo）**：
- 提供了完整的模型权重、训练代码、训练日志、消融研究、训练指标和推理代码。
- 包含了一个高达3T token的预训练开源语料库，以及产生这些训练数据的代码。
- 提供了四个不同架构、优化器和训练硬件体系下的7B大小的模型，以及一个1B大小的模型，所有模型都在至少2T token上进行了训练。
- 提供了用于模型推理的代码、训练过程的各项指标以及训练日志<searchIndex index="1" />。
2. **BERT**：
- BERT项目的源代码可以在GitHub上找到，地址为：https://github.com/google-research/bert#fine-tuning-with-bert<searchIndex index="2" />。
3. **ELMo**：
- ELMO的源代码可以在GitHub上找到，地址为：https://github.com/allenai/allennlp<searchIndex index="2" />。
4. **蚂蚁集团的CodeFuse**：
- CodeFuse是一个代码大模型，已经开源，可以在HuggingFace下载模型。
- 开源内容包括代码框架、模型等，其中模型包括CodeFuse-13B、CodeFuse-CodeLlaMa34B-MFT两个大模型。
5. **DeepSeek Coder**：
- DeepSeek Coder是一个智能代码助手，可以在Hugging Face和GitHub上开源。
- 在国际权威数据集的测试中表现出色<searchIndex index="3" />。
6. **LLaMA**：
- LLaMA的源码可以在transformers仓库中找到，地址为：https://github.com/huggingface/transformers<searchIndex index="4" />。
请注意，获取开源大模型的源代码时，需要遵守相应的许可协议，并在使用时引用原始来源。同时，由于开源项目的更新和维护可能会发生变化，建议直接访问上述提供的链接以获取最新的源代码和相关信息。