语音输入法机器人训练系统
基于 LeRobot 框架的语音控制机器人训练系统,通过遥控录制动作并结合人工文本标注,训练能够理解语音指令并执行相应动作的机器人模型。
项目概述
本项目旨在构建一个完整的语音控制机器人训练和部署系统。系统通过以下步骤实现语音到机器人动作的映射:
- 数据采集: 使用遥控设备录制机器人动作和传感器数据
- 数据标注: 为录制的动作序列添加对应的语音指令文本标注
- 模型训练: 基于 LeRobot 框架训练语音-动作映射模型
- 模型部署: 将训练好的模型部署到机器人上进行实时语音控制
系统架构
语音输入 → 语音识别 → 文本处理 → 模型推理 → 动作生成 → 机器人执行
↑ ↓
数据采集 ← 遥控操作 ← 人工标注 ← 动作录制 ← 传感器数据 ← 机器人状态
核心组件
1. 数据采集模块 (data_collector.py)
- 支持游戏手柄遥控机器人
- 实时录制机器人状态数据(关节位置、速度、力矩等)
- 同步采集环境传感器数据(摄像头、深度传感器等)
- 数据以 HDF5 格式存储,便于后续处理
2. 数据标注工具 (annotation_tool.py)
- 图形化界面,支持播放和可视化录制的动作数据
- 时间轴标注功能,精确对应动作序列和语音指令
- 支持多种数据可视化(关节轨迹、末端执行器位置等)
- 标注质量控制和数据导出功能
3. 模型训练管道 (model_trainer.py)
- 基于 BERT 的文本编码器处理语音指令
- 多任务学习架构,同时预测关节位置、末端位姿和夹爪状态
- 支持数据标准化、早停机制和学习率调度
- 完整的训练监控和可视化功能
4. 推理引擎 (inference_engine.py)
- 实时语音识别和文本处理
- 模型推理和动作生成
- 机器人控制接口
- 支持多种输入模式(实时语音、文本、音频文件)
安装和使用
环境要求
- Python 3.8+
- PyTorch 1.9+
- CUDA(可选,用于GPU加速)
安装依赖
pip install -r requirements.txt
快速开始
1. 数据采集
python data_collector.py
启动数据采集器后,使用以下命令:
start <session_name>: 开始录制会话stop: 停止录制quit: 退出程序
2. 数据标注
python annotation_tool.py
使用图形界面:
- 点击"加载数据"选择录制的会话目录
- 使用播放控制查看动作数据
- 设置时间范围并输入对应的语音指令
- 点击"添加标注"保存标注
- 完成后点击"导出数据"生成训练数据
3. 模型训练
python model_trainer.py
训练过程会自动:
- 加载标注好的训练数据
- 划分训练集和验证集
- 训练语音-动作映射模型
- 保存最佳模型和训练历史
4. 模型推理
# 交互模式(实时语音控制)
python inference_engine.py --model ./trained_models/best_model.pth --mode interactive
# 文本模式
python inference_engine.py --model ./trained_models/best_model.pth --mode text --text "抓取红色方块"
# 音频文件模式
python inference_engine.py --model ./trained_models/best_model.pth --mode audio --audio ./test_audio.wav
技术特点
多模态数据处理
- 支持视觉、触觉、本体感觉等多种传感器数据
- 时间同步的多模态数据录制和回放
- 灵活的数据格式和存储方案
先进的模型架构
- 基于 Transformer 的文本编码器
- 多任务学习框架
- 端到端的语音-动作映射
- 支持序列到序列的动作生成
用户友好的工具链
- 直观的图形化标注界面
- 完整的训练监控和可视化
- 灵活的部署和推理选项
- 详细的日志和错误处理
可扩展性设计
- 模块化的系统架构
- 标准化的数据接口
- 支持多种机器人平台
- 易于集成新的传感器和执行器
配置说明
训练配置 (TrainingConfig)
@dataclass
class TrainingConfig:
# 数据相关
data_dir: str = "./collected_data"
output_dir: str = "./trained_models"
# 模型相关
text_encoder_model: str = "bert-base-chinese"
hidden_dim: int = 256
action_dim: int = 6
pose_dim: int = 6
gripper_dim: int = 1
# 训练相关
batch_size: int = 32
learning_rate: float = 1e-4
num_epochs: int = 100
validation_split: float = 0.2
early_stopping_patience: int = 10
数据格式
机器人状态数据 (HDF5)
timestamps: 时间戳数组joint_positions: 关节位置 [N, 6]joint_velocities: 关节速度 [N, 6]joint_torques: 关节力矩 [N, 6]end_effector_poses: 末端执行器位姿 [N, 6]gripper_states: 夹爪状态 [N, 1]camera_images: 摄像头图像 [N, H, W, 3]depth_images: 深度图像 [N, H, W]
标注数据 (JSON)
{
"start_time": 0.0,
"end_time": 5.0,
"text": "抓取红色方块",
"joint_positions": [[...], [...], ...],
"end_effector_poses": [[...], [...], ...],
"gripper_states": [0.0, 0.5, 1.0, ...],
"timestamps": [0.0, 0.02, 0.04, ...]
}
性能优化
训练优化
- 使用混合精度训练减少内存占用
- 数据并行处理提高训练速度
- 梯度累积支持大批次训练
- 学习率调度和早停机制
推理优化
- 模型量化减少推理时间
- 批处理提高吞吐量
- 异步处理降低延迟
- 缓存机制减少重复计算
故障排除
常见问题
-
CUDA内存不足
- 减小
batch_size - 使用梯度累积
- 启用混合精度训练
- 减小
-
语音识别失败
- 检查麦克风权限
- 调整环境噪声阈值
- 使用离线语音识别引擎
-
模型收敛慢
- 增加训练数据量
- 调整学习率
- 使用预训练模型
-
动作执行不准确
- 检查数据标准化
- 增加标注数据的多样性
- 调整模型架构
调试工具
- 使用
--debug参数启用详细日志 - 检查
training_curves.png监控训练过程 - 使用标注工具可视化数据质量
- 通过推理引擎测试模型性能
扩展开发
添加新的传感器
- 在
RobotState中添加新的数据字段 - 修改
DataCollector的数据采集逻辑 - 更新模型架构以处理新的输入
支持新的机器人平台
- 实现
RobotController接口 - 适配数据格式和控制协议
- 测试和验证系统兼容性
集成新的语音识别引擎
- 在
VoiceRobotInference中添加新的识别方法 - 处理不同引擎的输出格式
- 优化识别准确率和响应时间
许可证
本项目采用 Apache 2.0 许可证。详见 LICENSE 文件。
贡献指南
欢迎贡献代码、报告问题或提出改进建议。请遵循以下步骤:
- Fork 本仓库
- 创建特性分支 (
git checkout -b feature/AmazingFeature) - 提交更改 (
git commit -m 'Add some AmazingFeature') - 推送到分支 (
git push origin feature/AmazingFeature) - 开启 Pull Request
联系方式
如有问题或建议,请通过以下方式联系:
- 项目主页: [GitHub Repository]
- 问题反馈: [GitHub Issues]
- 邮箱: [project@example.com]
致谢
感谢以下项目和团队的支持:
- Hugging Face LeRobot - 核心机器人学习框架
- PyTorch - 深度学习框架
- Transformers - 预训练模型库
- SpeechRecognition - 语音识别库
仓库描述
编程语言
Python
100%