GitHub – zai-org/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

网站整体与模型定位
该网站是由THUDM开发的ChatGLM6B开源双语对话语言模型的GitHub仓库，模型基于General Language Model（GLM）架构，拥有62亿参数，专注中文问答与对话场景优化，支持中英双语交互。结合模型量化技术，用户可在消费级显卡上本地部署（INT4量化级别下仅需6GB显存）；训练过程融合监督微调、反馈自助、人类反馈强化学习等技术，能生成符合人类偏好的回答。

核心功能与特性
1. 高效部署与量化：支持FP16（无量化）、INT8、INT4等多种量化级别，INT4量化下推理仅需6GB显存；提供预量化模型（如`THUDM/chatglm6bint4`），直接加载即可减少内存占用，适合低显存设备。
2. 高效参数微调：基于PTuning v2实现轻量级微调，INT4量化下仅需7GB显存即可启动，方便下游开发者针对特定场景定制模型（如客服、知识库问答等）。
3. 多模态与扩展能力：推出VisualGLM6B多模态模型，支持图像理解，可通过`cli_demo_vision.py`（命令行）或`web_demo_vision.py`（网页）体验；衍生模型CodeGeeX2基于ChatGLM26B优化代码生成，支持100+编程语言，HumanEvalX评测集通过率显著提升。
4. 持续迭代更新：ChatGLM26B扩展上下文长度至32K（训练长度2048），推理速度较初代提升42%；v1.1版本补充英文指令微调数据，优化英文回答中“中英夹杂”问题。

使用方式
1. 代码调用：通过`transformers`库加载模型，示例代码可快速实现对话生成（需指定`trust_remote_code=True`），支持从Hugging Face Hub在线加载，或本地下载模型文件后离线使用。
2. 交互Demo：提供两种交互式体验——
网页版Demo（`web_demo.py`）：基于Gradio框架，支持打字机效果，默认`share=False`避免公网转发延迟；
命令行Demo（`cli_demo.py`）：交互式对话，输入`clear`清空历史、`stop`终止程序。
3. API部署：运行`api.py`启动FastAPI服务，通过POST请求调用（参数含`prompt`和`history`），返回对话响应、历史记录、状态码等信息。

低成本部署选项
1. 模型量化：通过`quantize(4)`或`quantize(8)`方法实现4/8 bit量化，平衡性能与显存；预量化模型（如`THUDM/chatglm6bint4`）直接加载，INT4模型仅需5.2GB内存。
2. CPU部署：无GPU时可CPU推理（需32GB内存），加载量化模型可降低内存需求（如INT4模型仅需5.2GB内存）。
3. Mac部署：搭载Apple Silicon或AMD GPU的Mac，可通过MPS后端运行半精度模型（需13GB内存）；内存不足时用CPU加载量化模型。
4. 多卡部署：通过`accelerate`库的`load_model_on_gpus`方法，将模型切分到多张GPU，支持多卡并行推理。

局限性
1. 模型容量限制：6B参数导致记忆与语言能力较弱，易生成错误事实信息（如混淆历史事件）、逻辑问题（如数学计算、编程任务表现差）。
2. 内容风险：未完全消除有害或有偏见内容，需结合内容审核机制使用。
3. 英文能力不足：训练数据以中文为主，英文输入时回复质量下降，可能出现中英夹杂。
4. 易误导与认知偏差：对话能力较弱，易被误导（如被误认为是Google、OpenAI产品），自我认知存在偏差。

协议说明
代码遵循Apache2.0协议开源；
模型权重对学术研究完全开放，商业使用需填写问卷登记，遵循《Model License》。