
项目定位
这是一个基于Live2D技术的AI数字人直播辅助仓库,支持B站(BiliBili)和抖音平台直播,核心是通过OpenAI的GPT3.5 API实现数字人与观众的互动。目前该仓库已停止维护,作者推荐关注其新项目「Langup」(https://github.com/jiran214/langupai,已实现直播数字人功能)。
核心功能
1. 基础互动功能
支持回答观众弹幕、SC(醒目留言),自动欢迎入场观众、感谢礼物。
2. 可选插件功能(默认关闭)
speech语音交互:按住`Ctrl+T`热键,将语音转为文本,实现与数字人的实时对话。
action动作匹配:根据观众互动行为(如弹幕关键词),触发数字人对应表情或动作。
schedule定时事件:可设置固定间隔触发预设事件(如讲故事、唱rap等)。
context上下文补充:结合Milvus向量数据库和MySQL,为对话补充历史上下文,提升互动连贯性。
安装环境与步骤
1. 环境要求
操作系统:Windows 10
编程语言:Python 3.8
网络:需全局VPN代理(因依赖OpenAI API)。
2. 安装步骤
克隆仓库:`git clone https://github.com/jiran214/GPTvup.git`,进入`src`目录。
安装依赖:建议创建虚拟环境,执行`pip install r requirements.txt`。
配置文件:将`config.sample.ini`重命名为`config.ini`,修改`api_key`(OpenAI密钥)和`proxy`(代理地址)。
测试网络:运行`python manager.py test_net`,验证网络是否能连接OpenAI。
快速启动指南
1. B站直播
安装额外依赖:`pip install bilibiliapipython`。
修改配置:在`config.ini`的`room`模块中填写自己的B站直播间ID。
启动:执行`python manager.py run bilibili`。
2. 抖音直播
依赖外部工具:需配合「抖音弹幕抓取数据推送」项目(https://gitee.com/haodong108/dybarragegrab/tree/V2.6.5/BarrageGrab),启动该项目后抓取抖音直播间弹幕。
启动:执行`python manager.py run douyin`。
Vtube Studio配置(数字人形象驱动)
1. 软件安装:在Steam下载「Vtube Studio」。
2. 关键设置:
麦克风:将VTS的输入设备设为系统默认输出设备(如Realtek(R) Audio),实现嘴型与声音同步(可选择基于声音频率或音量驱动嘴型)。
API开启:若使用`action`插件,需打开VTS的API开关,并在首次运行`python manager.py action`时确认API授权(VTS会弹出确认弹窗)。
进阶功能说明
1. speech插件开启
配置:将`config.ini`中`plugin > speech`设为`True`。
安装依赖:`pip install pyaudio speech_recognition keyboard`。
使用:启动程序后,按住`Ctrl+T`说话,语音会转为文本并传递给数字人。
2. schedule插件开启
配置:将`config.ini`中`plugin > schedule`设为`True`。
自定义事件:修改`utils/prompt_temple.py`中的`schedule_task_temple_list`列表,添加定时触发的内容(如“每隔30分钟讲一个笑话”)。
3. action插件开启
配置:将`config.ini`中`plugin > action`设为`True`。
安装依赖:`pip install pyvts`。
动作生成:运行`python manager.py action`,程序会自动生成`action.json`(需先在VTS中为动作命名,如“开心”“挥手”等)。
4. context插件开启(实验功能)
依赖环境:需安装Docker并部署Milvus 2.0单机版(向量数据库)、MySQL数据库。
配置:修改`config.ini`中`milvus`( host/port )和`mysql`( uri )的参数,将`plugin > context`设为`True`。
数据采集:运行`python scripts/manager.py run`,采集贴吧数据到MySQL,处理后导入Milvus,实现上下文补充。
其他说明
初始设定修改:可通过`utils/prompt_temple.py`中的`system_template`调整数字人的性格、语气(如“设定为可爱的二次元少女”)。
更新日志:V2.0版本重构了目录结构,简化了安装步骤;V1.0为旧版本(https://github.com/jiran214/GPTvup/tree/1.0)。
项目数据
Star数量:1.2k+
Fork数量:188+
关注者:14+
(注:若需更完整的数字人直播功能,建议直接使用作者的新项目「Langup」。)
相关导航


Lumiere

GitHub – Lightning-AI/litgpt: 20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

DiffusionGPT: LLM-Driven Text-to-Image Generation System

MemFree – 混合AI搜索

GitHub – glucauze/sd-webui-faceswaplab: Extended faceswap extension for StableDiffusion web-ui with multiple faceswaps, inpainting, checkpoints, ….

SoraWebui: Open Source Text-to-Video Webui with OpenAI’s Sora Model.
