GitHub – zylon-ai/private-gpt: Interact with your documents using the power of GPT, 100% privately, no data leaks

PrivateGPT网站介绍

PrivateGPT是一个生产级AI项目，核心目标是让用户在完全隐私的环境中（甚至离线场景），通过大语言模型（LLMs）与自有文档交互——所有数据不会离开执行环境，100%私有。

核心功能
1. 文档交互能力
支持用户向文档提问，利用LLMs生成基于文档内容的回答，覆盖从简单查询到复杂上下文理解的场景。

2. RAG Pipeline 抽象
项目封装了完整的检索增强生成（RAG）流程，包括：
文档Ingestion：自动处理文档的解析、拆分、元数据提取、嵌入生成与存储；
上下文aware 交互：聊天或补全时，自动检索文档中最相关的内容，结合LLMs生成回应，无需用户手动处理检索逻辑。

API 模块设计
遵循[OpenAI API标准](https://openai.com/blog/openaiapi)，提供高低级两层API，兼顾易用性与灵活性：
高级API：屏蔽RAG复杂度，直接提供“文档 ingestion”“基于文档的聊天/补全”等端到端能力；
低级API：供高级用户自定义 pipeline，支持“文本嵌入生成”“上下文块检索”等基础操作，支持流媒体响应。

技术架构
API 框架：基于FastAPI构建，兼容OpenAI API schema；
RAG 基础：依赖LlamaIndex实现核心检索与生成逻辑；
组件化设计：通过“Dependency Injection”解耦各模块，例如`LLMComponent`负责提供LLM具体实现（如LlamaCPP、OpenAI），`VectorStore`负责向量存储（默认用Qdrant），便于扩展与替换。

额外工具与资源
Gradio UI客户端：提供可视化界面，方便快速测试API功能；
部署支持：支持本地部署、私有云（AWS/GCP/Azure）或本地数据中心部署，满足企业级隐私需求；
文档与社区：配套[完整文档](https://docs.privategpt.dev/)（覆盖安装、配置、API细节），以及Discord社群、Twitter账号（@ZylonPrivateGPT）用于交流。

历史与未来
最初版本：2023年5月推出的“primordial分支”是纯离线版本，作为早期教育性实现，适合理解本地LLM应用的基础逻辑；
当前方向：向“生成式AI基础能力网关”演进，覆盖补全、文档处理、RAG等更多primitives，目标是降低开发者构建私有AI应用的门槛；
企业扩展：团队推出[Zylon](https://zylon.ai)（企业级私有AI工作空间），支持本地/私有云部署，由PrivateGPT团队打造。

贡献与社区
欢迎贡献代码，需通过`make check`（格式与类型检查）和`make test`（测试）；
公共[Project Board](https://github.com/users/imartinez/projects/3)提供贡献灵感，可通过Discord contributors频道申请权限；
合作伙伴包括Qdrant（默认向量数据库）、Fern（文档与SDK）、LlamaIndex（RAG框架）。

PrivateGPT的核心价值在于“隐私优先的AI文档交互”，无论是个人用户还是企业，都能在不泄露数据的前提下，利用LLMs释放文档价值。