2025-09-26 07:00:03 +00:00
2025-09-05 16:48:26 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 17:00:15 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 16:48:26 +08:00
2025-09-05 18:36:37 +08:00
2025-09-26 07:00:03 +00:00

语音输入法机器人训练系统

基于 LeRobot 框架的语音控制机器人训练系统,通过遥控录制动作并结合人工文本标注,训练能够理解语音指令并执行相应动作的机器人模型。

项目概述

本项目旨在构建一个完整的语音控制机器人训练和部署系统。系统通过以下步骤实现语音到机器人动作的映射:

  1. 数据采集: 使用遥控设备录制机器人动作和传感器数据
  2. 数据标注: 为录制的动作序列添加对应的语音指令文本标注
  3. 模型训练: 基于 LeRobot 框架训练语音-动作映射模型
  4. 模型部署: 将训练好的模型部署到机器人上进行实时语音控制

系统架构

语音输入 → 语音识别 → 文本处理 → 模型推理 → 动作生成 → 机器人执行
    ↑                                                      ↓
数据采集 ← 遥控操作 ← 人工标注 ← 动作录制 ← 传感器数据 ← 机器人状态

核心组件

1. 数据采集模块 (data_collector.py)

  • 支持游戏手柄遥控机器人
  • 实时录制机器人状态数据(关节位置、速度、力矩等)
  • 同步采集环境传感器数据(摄像头、深度传感器等)
  • 数据以 HDF5 格式存储,便于后续处理

2. 数据标注工具 (annotation_tool.py)

  • 图形化界面,支持播放和可视化录制的动作数据
  • 时间轴标注功能,精确对应动作序列和语音指令
  • 支持多种数据可视化(关节轨迹、末端执行器位置等)
  • 标注质量控制和数据导出功能

3. 模型训练管道 (model_trainer.py)

  • 基于 BERT 的文本编码器处理语音指令
  • 多任务学习架构,同时预测关节位置、末端位姿和夹爪状态
  • 支持数据标准化、早停机制和学习率调度
  • 完整的训练监控和可视化功能

4. 推理引擎 (inference_engine.py)

  • 实时语音识别和文本处理
  • 模型推理和动作生成
  • 机器人控制接口
  • 支持多种输入模式(实时语音、文本、音频文件)

安装和使用

环境要求

  • Python 3.8+
  • PyTorch 1.9+
  • CUDA(可选,用于GPU加速)

安装依赖

pip install -r requirements.txt

快速开始

1. 数据采集

python data_collector.py

启动数据采集器后,使用以下命令:

  • start <session_name>: 开始录制会话
  • stop: 停止录制
  • quit: 退出程序

2. 数据标注

python annotation_tool.py

使用图形界面:

  1. 点击"加载数据"选择录制的会话目录
  2. 使用播放控制查看动作数据
  3. 设置时间范围并输入对应的语音指令
  4. 点击"添加标注"保存标注
  5. 完成后点击"导出数据"生成训练数据

3. 模型训练

python model_trainer.py

训练过程会自动:

  • 加载标注好的训练数据
  • 划分训练集和验证集
  • 训练语音-动作映射模型
  • 保存最佳模型和训练历史

4. 模型推理

# 交互模式(实时语音控制)
python inference_engine.py --model ./trained_models/best_model.pth --mode interactive

# 文本模式
python inference_engine.py --model ./trained_models/best_model.pth --mode text --text "抓取红色方块"

# 音频文件模式
python inference_engine.py --model ./trained_models/best_model.pth --mode audio --audio ./test_audio.wav

技术特点

多模态数据处理

  • 支持视觉、触觉、本体感觉等多种传感器数据
  • 时间同步的多模态数据录制和回放
  • 灵活的数据格式和存储方案

先进的模型架构

  • 基于 Transformer 的文本编码器
  • 多任务学习框架
  • 端到端的语音-动作映射
  • 支持序列到序列的动作生成

用户友好的工具链

  • 直观的图形化标注界面
  • 完整的训练监控和可视化
  • 灵活的部署和推理选项
  • 详细的日志和错误处理

可扩展性设计

  • 模块化的系统架构
  • 标准化的数据接口
  • 支持多种机器人平台
  • 易于集成新的传感器和执行器

配置说明

训练配置 (TrainingConfig)

@dataclass
class TrainingConfig:
    # 数据相关
    data_dir: str = "./collected_data"
    output_dir: str = "./trained_models"
    
    # 模型相关
    text_encoder_model: str = "bert-base-chinese"
    hidden_dim: int = 256
    action_dim: int = 6
    pose_dim: int = 6
    gripper_dim: int = 1
    
    # 训练相关
    batch_size: int = 32
    learning_rate: float = 1e-4
    num_epochs: int = 100
    validation_split: float = 0.2
    early_stopping_patience: int = 10

数据格式

机器人状态数据 (HDF5)

  • timestamps: 时间戳数组
  • joint_positions: 关节位置 [N, 6]
  • joint_velocities: 关节速度 [N, 6]
  • joint_torques: 关节力矩 [N, 6]
  • end_effector_poses: 末端执行器位姿 [N, 6]
  • gripper_states: 夹爪状态 [N, 1]
  • camera_images: 摄像头图像 [N, H, W, 3]
  • depth_images: 深度图像 [N, H, W]

标注数据 (JSON)

{
  "start_time": 0.0,
  "end_time": 5.0,
  "text": "抓取红色方块",
  "joint_positions": [[...], [...], ...],
  "end_effector_poses": [[...], [...], ...],
  "gripper_states": [0.0, 0.5, 1.0, ...],
  "timestamps": [0.0, 0.02, 0.04, ...]
}

性能优化

训练优化

  • 使用混合精度训练减少内存占用
  • 数据并行处理提高训练速度
  • 梯度累积支持大批次训练
  • 学习率调度和早停机制

推理优化

  • 模型量化减少推理时间
  • 批处理提高吞吐量
  • 异步处理降低延迟
  • 缓存机制减少重复计算

故障排除

常见问题

  1. CUDA内存不足

    • 减小 batch_size
    • 使用梯度累积
    • 启用混合精度训练
  2. 语音识别失败

    • 检查麦克风权限
    • 调整环境噪声阈值
    • 使用离线语音识别引擎
  3. 模型收敛慢

    • 增加训练数据量
    • 调整学习率
    • 使用预训练模型
  4. 动作执行不准确

    • 检查数据标准化
    • 增加标注数据的多样性
    • 调整模型架构

调试工具

  • 使用 --debug 参数启用详细日志
  • 检查 training_curves.png 监控训练过程
  • 使用标注工具可视化数据质量
  • 通过推理引擎测试模型性能

扩展开发

添加新的传感器

  1. 在 RobotState 中添加新的数据字段
  2. 修改 DataCollector 的数据采集逻辑
  3. 更新模型架构以处理新的输入

支持新的机器人平台

  1. 实现 RobotController 接口
  2. 适配数据格式和控制协议
  3. 测试和验证系统兼容性

集成新的语音识别引擎

  1. 在 VoiceRobotInference 中添加新的识别方法
  2. 处理不同引擎的输出格式
  3. 优化识别准确率和响应时间

许可证

本项目采用 Apache 2.0 许可证。详见 LICENSE 文件。

贡献指南

欢迎贡献代码、报告问题或提出改进建议。请遵循以下步骤:

  1. Fork 本仓库
  2. 创建特性分支 (git checkout -b feature/AmazingFeature)
  3. 提交更改 (git commit -m 'Add some AmazingFeature')
  4. 推送到分支 (git push origin feature/AmazingFeature)
  5. 开启 Pull Request

联系方式

如有问题或建议,请通过以下方式联系:

  • 项目主页: [GitHub Repository]
  • 问题反馈: [GitHub Issues]
  • 邮箱: [project@example.com]

致谢

感谢以下项目和团队的支持:

仓库描述
无详细信息
自述文档 7 MiB
编程语言
Python 100%