目前想的是使用Sherpa-Onnx提供的Keyword spotting(KWS)技术作为语音唤醒技术,接着结合VAD技术,逐渐读取用户语音输入,直到用户发言结束。
在发言结束后,将录制到的用户语音传入Sherpa-Onnx提供的Offline Recogizer,处理为str数据。
在得到str数据之后,通过Agently传入到预先设置好提示词的大模型中,获取大模型拆分好的动作指令。