GitHub – meta-llama/codellama: Inference code for CodeLlama models

仓库基本情况
该仓库是metallama旗下的公开 archive 仓库（2025年7月1日归档，现为只读），主要提供Code Llama模型的推理代码。仓库获得16.4k星标、1.9k分支，包含代码、问题（109个）、拉取请求（7个）等内容，支持Python（94.7%）和Shell（5.3%）语言。

Code Llama模型介绍
Code Llama是基于[Llama 2](https://github.com/facebookresearch/llama)的代码大语言模型家族，旨在覆盖广泛的编程场景，核心特性包括：
模型类型：分为三类——基础模型（Code Llama）、Python专项模型（Code Llama Python）、指令跟随模型（Code Llama Instruct）。
参数规模：提供7B、13B、34B、70B四种参数版本，所有模型均在16k token序列上训练，支持最长100k token的输入上下文。
特色功能：7B和13B版本的Code Llama及Code Llama Instruct支持代码填充（根据上下文补全中间内容）；指令跟随模型可零样本完成编程任务。

模型下载与安装
1. 下载要求：需先访问[Meta官网](https://ai.meta.com/resources/modelsandlibraries/llamadownloads/)申请许可证，获得签名URL后，用仓库中的`download.sh`脚本下载模型权重和tokenizer（需安装`wget`和`md5sum`）。
2. 模型大小：不同参数模型的存储空间需求不同——7B约12.55GB、13B约24GB、34B约63GB、70B约131GB。
3. 环境搭建：在装有PyTorch/CUDA的conda环境中，克隆仓库后执行`pip install e .`安装依赖。

推理使用说明
不同模型需设置对应的模型并行（MP）值（7B=1、13B=2、34B=4、70B=8），具体推理方式分三类：
预训练模型推理：用`example_completion.py`脚本，适用于基础模型和Python专项模型（如CodeLlama7b），命令示例：
“`bash
torchrun nproc_per_node 1 example_completion.py ckpt_dir CodeLlama7b/ tokenizer_path CodeLlama7b/tokenizer.model max_seq_len 128 max_batch_size 4
“`
代码填充推理：用`example_infilling.py`脚本，支持7B和13B版本的基础模型及指令模型，命令示例：
“`bash
torchrun nproc_per_node 1 example_infilling.py ckpt_dir CodeLlama7b/ tokenizer_path CodeLlama7b/tokenizer.model max_seq_len 192 max_batch_size 4
“`
指令跟随推理：用`example_instructions.py`脚本，适用于Code Llama Instruct模型（如CodeLlama7bInstruct），需遵循特定格式（`INST`/`<>`标签、`BOS`/`EOS` token等），命令示例：
“`bash
torchrun nproc_per_node 1 example_instructions.py ckpt_dir CodeLlama7bInstruct/ tokenizer_path CodeLlama7bInstruct/tokenizer.model max_seq_len 512 max_batch_size 4
“`

其他信息
问题反馈：可通过仓库Issue（[github.com/metallama/codellama](http://github.com/metallama/codellama)）、Meta反馈渠道（[developers.facebook.com/llama_output_feedback](http://developers.facebook.com/llama_output_feedback)）或安全漏洞报告（[facebook.com/whitehat/info](http://facebook.com/whitehat/info)）提交问题。
模型卡片：详细信息见`MODEL_CARD.md`，包含模型训练、评估、安全等内容。
许可证：遵循Meta的开源许可证，需遵守[可接受使用政策](https://github.com/facebookresearch/llama/blob/main/USE_POLICY.md)。
参考资料：可查阅[Code Llama论文](https://ai.meta.com/research/publications/codellamaopenfoundationmodelsforcode/)和[博客](https://ai.meta.com/blog/codellamalargelanguagemodelcoding/)了解技术细节。