GitHub – TaxyAI/browser-extension: Automate your browser with GPT-4

这个GitHub仓库是TaxyAI团队开发的浏览器扩展项目，仓库名为“browserextension”，核心目标是通过GPT4等大语言模型实现浏览器全自动化，帮助用户完成重复性网页操作任务。项目源代码完全开源，遵循MIT许可证，目前处于“研究预览”阶段（部分工作流可能失效或混淆智能体）。

核心功能与工作机制
项目的核心是“Action Cycle动作循环”，具体流程如下：
1. DOM处理：通过内容脚本抓取网页DOM，仅保留按钮、文本框等交互或语义重要元素，并模板化处理以减少token消耗（为每个交互元素分配唯一ID）。
2. LLM交互：将简化后的DOM与用户指令发送给大语言模型（支持GPT3.5、GPT4），LLM可通过两种方法操作网页：
`click(id)`：点击指定ID的交互元素；
`setValue(id, text)`：聚焦文本输入框、清空内容并输入指定文本。
3. 响应解析与循环：解析LLM返回的动作指令，若满足以下条件则终止循环：
LLM认为任务已完成（基于当前DOM和动作历史）；
用户主动停止任务；
出现错误（安全架构自动终止）。
若未终止，则通过`chrome.debugger API`执行动作，记录动作历史后重复上述流程（最多循环50次，多数任务需少于10次）。

安装与使用方式
目前需手动构建安装（未上架Chrome Web Store），步骤如下：
1. 环境准备：确保安装Node.js（≥16版本）；
2. 构建扩展：克隆仓库后，运行`yarn`安装依赖，再运行`yarn start`生成`build`文件夹；
3. 加载扩展：Chrome浏览器打开`chrome://extensions/`，开启“开发者模式”，选择“加载已解压的扩展程序”并选中`build`文件夹；
4. 配置与使用：打开扩展（支持弹窗模式：`cmd+shift+y`/`ctrl+shift+y`；或DevTools的“Taxy AI”面板），输入OpenAI API密钥（本地存储，不上传至第三方），即可在目标网页（如OpenAI Playground）测试。

特色与演示场景
项目提供多个自动化任务演示，包括：
GitHub主分支保护：自动设置主分支的保护规则；
Netflix电影搜索：搜索并播放电影《Oblivion》；
日历事件创建：自动添加日程（如“明天10点站立会”）并邀请成员；
OpenAI Playground写文章：根据指令生成文本内容。
用户可提交PR添加自定义演示。

技术栈
项目使用的核心技术包括：
Chrome Extension Manifest V3（浏览器扩展标准）；
React 17（前端框架）、Webpack 5（模块打包）；
TypeScript（静态类型检查）、Prettier（代码格式化）；
ESLint（代码规范）、Jest（测试）。

社区与状态
项目状态：研究预览阶段，部分功能可能不稳定；
社区资源：提供等待列表（用户可注册获取正式版通知）、Discord社区（用于讨论与反馈）；
贡献与数据：仓库有1.2k星标、426次分叉，11位贡献者，主要代码语言为TypeScript（84.5%）、JavaScript（12.1%）。

其他信息
隐私保护：OpenAI API密钥存储在用户浏览器本地，不传输至第三方；
资源文档：提供《Getting Started with Chrome Extensions》等入门指南。