🧩 项目简介
voiceflow 是一个基于 Go 语言的开源项目，旨在提供实时语音与大型语言模型（LLM）的交互能力。通过集成多种第三方语音平台和本地模型，voiceflow 支持实时语音转文本（STT）、文本转语音（TTS），以及与 LLM 的智能交互。
核心功能：
• 实时语音转文本（STT）：支持集成多家云服务商的 STT 服务和本地模型，实时将用户语音转换为文本。
• 与 LLM 交互：将识别的文本直接发送给支持音频的 LLM，获取智能回复。
• 文本转语音（TTS）：将 LLM 的回复文本转换为语音，支持多种 TTS 服务和本地模型。
• 音频存储与访问：通过 MinIO 等存储服务，将生成的音频文件存储并提供访问路径，供前端实时播放。
• 可插拔的服务集成：采用模块化设计，支持各个 STT、TTS 服务和 LLM 的可插拔式集成，方便扩展和定制。
🛫 快速开始
注意：以下指南将帮助您快速启动并运行 voiceflow。
- 克隆仓库
git clone https://github.com/telepace/voiceflow.git cd voiceflow
-
配置环境
• 复制并修改 .env 文件，填写您的第三方服务 API 密钥和其他敏感信息。
cp configs/.env.example configs/.env
• 修改 configs/config.yaml 文件，根据您的需求配置服务提供商和相关参数。
- 安装依赖
确保您已安装 Go 1.16 或更高版本。
go mod tidy
- 运行应用
go run cmd/main.go
- 前端连接
前端可以通过 WebSocket 连接到 ws://localhost:8080/ws，开始实时语音交互。
🕸️ 系统架构
graph TD A[前端浏览器] -- 音频数据 --> B[WebSocket 服务器] B -- 调用 --> C[语音转文本 (STT)] C -- 文本 --> D[大型语言模型 (LLM)] D -- 回复文本 --> E[文本转语音 (TTS)] E -- 音频数据 --> F[存储服务 (MinIO)] F -- 音频URL --> B B -- 音频URL --> A
• 前端浏览器：用户通过浏览器录制语音，并通过 WebSocket 发送到服务器。
• WebSocket 服务器：接收前端的音频数据，协调各个服务模块的调用。
• 语音转文本（STT）：将音频数据转换为文本。
• 大型语言模型（LLM）：根据文本生成智能回复。
• 文本转语音（TTS）：将回复文本转换为语音数据。
• 存储服务（MinIO）：存储生成的音频文件，并提供访问 URL。
🤖 目录结构
voiceflow/ ├── cmd/ │ └── main.go # 应用程序入口 ├── configs/ │ ├── config.yaml # 业务配置文件 │ └── .env # 环境变量文件 ├── internal/ │ ├── config/ # 配置加载模块 │ ├── server/ # WebSocket 服务器 │ ├── stt/ # 语音转文本模块 │ ├── tts/ # 文本转语音模块 │ ├── llm/ # LLM 交互模块 │ ├── storage/ # 存储模块 │ ├── models/ # 数据模型 │ └── utils/ # 工具函数 ├── pkg/ │ └── logger/ # 日志模块 ├── scripts/ # 构建和部署脚本 ├── go.mod # Go 模块文件 └── README.md # 项目说明文档
🔧 配置说明
.env 文件
用于存放敏感信息，如 API 密钥。
MINIO_ENDPOINT=play.min.io MINIO_ACCESS_KEY=youraccesskey MINIO_SECRET_KEY=yoursecretkey AZURE_STT_KEY=yourazuresttkey AZURE_TTS_KEY=yourazurettskey
config.yaml 文件
用于业务配置，如服务端口、启用的功能模块等。
server: port: 8080 enable_tls: false
minio: enabled: true bucket_name: voiceflow-audio
stt: provider: azure # 可选值：azure、google、local
tts: provider: google # 可选值：azure、google、local
llm: provider: openai # 可选值：openai、local
logging: level: info
🛠️ 核心模块
- WebSocket 服务器
使用 gorilla/websocket 实现，负责与前端的实时通信，接收音频数据并返回处理结果。
-
语音转文本（STT）
• 接口定义：internal/stt/stt.go 定义了 STT 服务的接口。 • 可插拔实现：支持 Azure、Google、本地模型等多种实现方式。
-
文本转语音（TTS）
• 接口定义：internal/tts/tts.go 定义了 TTS 服务的接口。 • 可插拔实现：支持 Azure、Google、本地模型等多种实现方式。
-
大型语言模型（LLM）
• 接口定义：internal/llm/llm.go 定义了与 LLM 交互的接口。 • 可插拔实现：支持 OpenAI、本地模型等多种实现方式。
-
存储模块
• 接口定义：internal/storage/storage.go 定义了存储服务的接口。 • 实现方式：默认使用 MinIO 进行音频文件的存储，也支持本地文件系统。
📖 使用指南
集成新的 STT/TTS 服务
1. 在对应的模块下新建文件夹，例如 internal/stt/yourservice。
2. 实现对应的接口，例如 Recognize 方法。
3. 在 NewService 方法中添加对新服务的支持。
配置 LLM 服务
在 config.yaml 中修改 llm.provider，并在 internal/llm 下实现对应的 LLM 接口。
前端开发
• WebSocket 通信：前端通过 WebSocket 与服务器通信，发送音频数据，接收处理结果。
• 音频播放：接收到服务器返回的音频 URL 后，使用 HTML5 Audio 播放。
🤝 参与贡献
我们欢迎任何形式的贡献！请阅读 CONTRIBUTING.md 了解更多信息。
• 提交问题：如果您发现了 Bug，或者有新的功能建议，请在 Issues 中提交。
• 贡献代码：Fork 本仓库，在您的分支上进行修改，提交 Pull Request。
📄 开源协议
voiceflow 使用 MIT 开源协议。
❤️ 致谢
感谢所有为本项目做出贡献的开发者！