GitHub – lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.

FastChat是一个用于大语言模型聊天机器人训练、部署与评估的开源平台，也是知名模型Vicuna和Chatbot Arena的官方发布仓库。以下从核心功能、特色模块、使用方式等方面展开介绍：

一、平台定位
FastChat聚焦于大语言模型（LLM）的全流程工具链，帮助开发者快速实现“模型训练→服务部署→效果评估”的闭环，尤其适用于聊天机器人场景。目前已获得39.1k Star、4.8k Fork，是LLM开源社区的热门项目。

二、核心功能
FastChat的功能覆盖LLM生命周期的关键环节：

1. 模型训练：支持自定义微调
数据来源：基于ShareGPT的125k用户对话数据（需自行清理），也可使用自定义数据（遵循`dummy_conversation.json`格式）。
支持模型：可微调Llama、Vicuna等基底模型，提供完整的训练脚本（基于Stanford Alpaca改进）。
训练配置：例如Vicuna13B的训练超参数为：全局批大小128、学习率2e5、训练3轮、最大上下文长度2048。
硬件支持：兼容多GPU（如4×A100），支持FSDP分布式训练，也可通过SkyPilot在云平台低成本训练。

2. 模型部署：多场景服务能力
FastChat支持多种部署方式，覆盖不同用户需求：
命令行界面（CLI）：通过`python3 m fastchat.serve.cli`启动，支持单GPU、多GPU、CPU、Mac Metal、Intel XPU、Ascend NPU等硬件，可开启8bit量化减少内存占用。
网页GUI：需启动“控制器（controller）+模型worker+Gradio网页服务器” trio架构，支持多模型并行部署（如同时加载Vicuna7B和FastChatT5），还可开启Chatbot Arena的“模型对战”界面。
API服务：提供OpenAI兼容的RESTful API，可直接对接`openaipython`库或cURL，支持LangChain集成。

3. 模型评估：自动化基准测试
评估标准：使用MTbench（多轮开放问题集）作为基准，通过GPT4等强模型充当“裁判”，自动评估聊天机器人的回答质量。
对战评估：Chatbot Arena模块支持“sidebyside”对战，用户可对比不同模型的响应，生成模型Elo排行榜（基于1.5M人类投票）。

三、特色模块与模型
Vicuna：FastChat的核心模型，基于Llama微调，声称达到ChatGPT 90%的质量，提供7B、13B、33B等参数规模，以及16k/32k长上下文版本（如Vicuna7Bv1.516k）。
LongChat：针对长文本优化的模型，支持32k上下文长度，解决LLM“忘前文”问题。
Chatbot Arena：在线模型对战平台，用户可匿名提交问题，让不同模型“PK”，结果用于更新模型排行榜。

四、安装与使用
安装方式：
1. pip安装：`pip3 install “fschat[model_worker,webui]”`（包含模型部署和网页UI依赖）。
2. 源码安装：克隆仓库后，执行`pip3 install e “.[model_worker,webui]”`（支持修改源码）。
模型权重：Vicuna等模型的权重托管在Hugging Face（如`lmsys/vicuna7bv1.5`），执行命令时会自动下载。

五、社区与生态
贡献者：261位开发者参与贡献，涵盖模型训练、部署、文档等方向。
集成支持：兼容vLLM（高吞吐量部署）、LangChain（应用开发）、SkyPilot（云训练）等工具链。

FastChat作为开源LLM工具链的代表项目，降低了大语言模型聊天机器人的开发门槛，尤其适合需要自定义训练或部署的研究者与开发者。