2025-12-22 18:01:47 +08:00
2025-09-05 22:04:11 +08:00
2025-12-22 18:01:47 +08:00
2025-09-05 22:04:11 +08:00
2025-12-22 18:01:47 +08:00
2025-09-07 23:09:12 +08:00
2025-09-05 22:04:11 +08:00
2025-09-05 22:04:11 +08:00
2025-12-22 16:10:17 +08:00

语言识别与LLM拆分模块

总的设计理念

目前想的是使用Sherpa-Onnx提供的Keyword spotting(KWS)技术作为语音唤醒技术,接着结合VAD技术,逐渐读取用户语音输入,直到用户发言结束。

在发言结束后,将录制到的用户语音传入Sherpa-Onnx提供的Offline Recogizer,处理为str数据。

在得到str数据之后,通过Agently传入到预先设置好提示词的大模型中,获取大模型拆分好的动作指令。

参考文档

仓库描述
语言和文本的核心处理模块(VTCore),依赖于Sherpa-Onnx和Agently
自述文档 42 KiB
编程语言
Python 100%