GitHub – meta-llama/llama: Inference code for Llama models

这个GitHub仓库是Meta（原Facebook Research）旗下用于Llama系列大语言模型推理代码及相关资源的存储库，目前处于Deprecated（弃用）状态，主要用于引导用户迁移至更完善的Llama Stack生态仓库。以下是仓库的核心内容与功能介绍：

1. 原仓库核心内容
仓库曾是Llama 2模型的基础工具库，包含以下关键资源：
模型推理代码：提供`example_chat_completion.py`（对话模型推理示例）、`example_text_completion.py`（文本生成推理示例）等脚本，支持本地加载Llama 2模型并运行 inference（推理）。
依赖与配置：通过`requirements.txt`列出运行代码所需的Python依赖（如PyTorch），`setup.py`用于安装仓库作为Python包。
模型下载工具：`download.sh`脚本帮助用户从Meta官方获取Llama 2模型权重与tokenizer（需先在Meta网站申请并获得下载链接）。
文档与政策：包含`LICENSE`（模型许可证，允许研究与商业使用）、`MODEL_CARD.md`（模型卡片，介绍Llama 2的参数规模、训练数据等信息）、`USE_POLICY.md`（可接受使用政策，规范模型应用场景）、`ResponsibleUseGuide.pdf`（负责任使用指南，引导用户规避AI风险）。

2. 迁移引导（当前核心功能）
随着Llama 3.1发布，Meta将Llama的功能扩展为端到端的Llama Stack，原仓库内容已整合至以下新仓库，用户需切换至这些仓库继续使用：
llamamodels：基础模型的集中存储库，包含模型权重、工具、模型卡片与许可证。
PurpleLlama：Llama Stack的安全组件，聚焦模型安全风险与推理时的风险缓解（如内容过滤）。
llamatoolchain：模型开发工具链，覆盖推理、微调、安全防护、合成数据生成等功能的标准化实现。
llamaagenticsystem：端到端的代理应用系统，支持构建基于Llama的智能代理（Agent）应用。
llamacookbook：社区驱动的脚本与集成示例，提供Llama模型的实用用法（如Hugging Face适配、安全检查器集成）。

3. 历史版本与分支
仓库保留了Llama v1的代码（位于`llama_v1`分支），供需要使用旧版本模型的用户访问。

4. 关键说明
模型规模与配置：Llama 2模型包含7B、13B、70B等参数规模，不同模型需对应不同的模型并行（MP）设置（如7B模型MP=1，70B模型MP=8）。
使用限制：模型权重需通过Meta官网申请获取，且需遵守许可证与使用政策（如禁止用于恶意内容生成）。
社区互动：仓库有58.8k Star、9.8k Fork，Contributors达49人，是Llama生态的早期核心社区阵地。

当前仓库的主要作用是引导用户转向更完整的Llama Stack，如需使用最新的Llama模型与工具，建议直接访问上述新仓库。