GitHub – Lightning-AI/litgpt: 20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

LitGPT 网站介绍

一、整体定位
LitGPT 是 Lightning AI 开发的大语言模型（LLM）工具项目，核心提供20+ 高性能LLM的从0到1实现，并配套预训练、微调、部署、评估等端到端工作流。项目主打“无抽象层、易调试、性能优化”，让开发者能快速上手LLM的全生命周期管理，同时支持企业级规模化应用。

二、核心功能模块

1. 丰富的模型支持
提供20+主流LLM的原生实现，覆盖通用、代码、数学等场景，部分关键模型包括：
Llama系列（Llama 3/3.1/3.2/3.3，1B405B参数）：Meta AI开发的通用大模型；
Code Llama（7B70B）：Meta AI的代码专用模型；
Gemma系列（2B27B）：Google DeepMind的轻量级模型；
Phi系列（1.3B14B）：微软的小参数高性能模型；
Qwen系列（0.5B72B）：阿里的多模态/长上下文模型；
Mixtral MoE（8x7B8x22B）：Mistral AI的混合专家模型。

可通过 `litgpt download list` 命令查看所有支持的模型，部分模型需额外访问令牌（如Llama 2）。

2. 全流程工作流
项目提供命令行接口（CLI）实现LLM的全生命周期管理，核心工作流包括：

微调（Finetune）：
针对特定任务优化预训练模型，步骤如下：
1. 准备数据集（如下载`finance_alpaca.json`作为金融领域数据集）；
2. 运行微调命令：`litgpt finetune microsoft/phi2 data JSON data.json_path my_custom_dataset.json`；
3. 测试微调后的模型：`litgpt chat out/custommodel/final`；
4. 部署模型：`litgpt serve out/custommodel/final`。
支持参数高效微调（LoRA、QLoRA、Adapter等），降低计算资源需求。

部署（Deploy）：
将预训练或微调后的模型部署为API服务，方便集成到应用中。示例命令：
`litgpt serve microsoft/phi2`（部署预训练模型）或 `litgpt serve out/custommodel/final`（部署自定义模型）。
调用示例：通过POST请求访问`http://127.0.0.1:8000/predict`，传入`prompt`参数即可获取模型输出。

评估（Evaluate）：
测试模型在特定任务（如常识问答、代码、数学）的性能，支持MMLU、Truthful QA等基准数据集。示例命令：
`litgpt evaluate microsoft/phi2 tasks ‘truthfulqa_mc2,mmlu’`。

测试（Test）：
通过互动聊天验证模型效果，示例命令：`litgpt chat microsoft/phi2`，可提问“Llamas吃什么”等问题。

预训练（Pretrain）：
从无到有训练模型，步骤包括：
1. 准备文本数据（如下载古腾堡的书籍作为语料）；
2. 下载tokenizer：`litgpt download EleutherAI/pythia160m tokenizer_only True`；
3. 运行预训练命令：`litgpt pretrain EleutherAI/pythia160m data TextFiles data.train_data_path “custom_texts/”`。
支持继续预训练（在已有模型基础上用自定义数据扩展训练）。

3. 性能优化与特色
硬件优化：支持Flash Attention v2（加速注意力计算）、多GPU（全shard数据并行）、TPU/XLA（谷歌张量处理单元）；
低精度训练：支持FP16、BF16、混合精度（FP16/FP32），降低计算资源需求；
量化技术：支持4位浮点（nf4）、8位整数量化，减少内存占用；
配置灵活：通过YAML配置文件自定义训练参数（如`checkpoint_dir`、`learning_rate`、`batch_size`），示例配置可参考[config_hub](https://github.com/LightningAI/litgpt/blob/main/config_hub)；
格式兼容：支持将模型导出到其他流行格式（如Hugging Face Transformers）。

三、社区与资源
教程与文档：提供入门、微调、预训练、评估、量化等详细教程（如[finetune.md](https://github.com/LightningAI/litgpt/blob/main/tutorials/finetune.md)、[pretrain.md](https://github.com/LightningAI/litgpt/blob/main/tutorials/pretrain.md)）；
社区支持：可通过GitHub Issues请求功能、提交贡献，或加入Discord社区（[链接](https://discord.gg/VptPCZkGNa)）交流；
项目亮点：曾作为NeurIPS 2023 LLM效率挑战的官方 starter kit，支持TinyLlama（300M参数小模型）、MicroLlama等开源项目。

四、许可与引用
许可：采用Apache 2.0协议，允许企业自由使用；
引用：若用于研究，可引用如下格式：
“`
@misc{litgpt2023,
author = {Lightning AI},
title = {LitGPT},
howpublished = {url{https://github.com/LightningAI/litgpt}},
year = {2023},
}
“`

LitGPT 旨在降低LLM开发门槛，让开发者无需关注底层细节即可快速构建、优化和部署大语言模型，适用于科研、企业应用等多种场景。