Skip to content

北京理工大学智能无人系统具身感知与导航实验室

以虚实融合和具身智能为特点的无人系统感知与导航实验室

实验室研究架构

  我们实验室致力于开发虚实融合的训练场环境下的具身智能，通过微软Hololens混合现实设备，将虚拟环境与现实环境相结合，将现实环境中的数据参数传输至虚拟环境中进行仿真，在仿真完成后可在现实环境中用虚拟技术进行方案预演并通过混合现实设备进行观察。

  在具身智能的训练过程中，我们的研究方向涵盖多传感器融合感知、恶劣环境下目标检测、强化学习导航避障、机械臂控制抓取等多个技术点。此外我们的具身智能计划接入大语言模型（如ChatGPT），从而辅助机器人在高层次上进行规划，可以利用实时收集的传感器数据进行规划决策，具有处理复杂问题的能力。虚实融合环境下的具身智能不仅可以提升训练效率，还可以保证训练结果稳健性，可观察性以及对不同环境有着较高适应力。

研究方向

1 目标检测与感知

1.1 多传感器融合目标检测

  • 基于图像的2D目标检测算法

  • 基于多传感器融合的3D目标检测算法。

  • 目前正在研究相机-毫米波雷达-激光雷达的融合检测算法

1.2 感知融合3D目标检测

  • 利用双目相机和激光雷达获取的信息进行3D目标检测

  • 将获取的信息以及检测结果发布到ROS平台上，以支持后续信息处理。

1.3 恶劣环境下3D目标检测

  • 多模态3D目标检测是当前自动驾驶领域的主流感知手段，它可以提供道路上的障碍物信息，供自动驾驶系统进行行动决策。

  • 实际的行驶环境比较多变，雨雪等恶劣天气会导致感知算法的性能大大下降。

  • 为了解决雨雪等恶劣天气对感知效果的影响，将天气的变化视为域偏移问题，采用域对抗网络的形式，在不依赖大量标注数据的条件下，实现提高恶劣环境下检测精度的目的。

2 强化学习运动控制

2.1 无人船虚实融合训练系统

  • 基于unity搭建虚拟仿真训练环境

  • 基于马尔可夫决策设计避障任务

  • 基于深度强化学习算法和Pytorch深度学习框架训练模型

  • 基于ROS和C#通信机制实现虚实结合

  • 基于混合现实眼镜实现虚实融合展示

2.2 无人车虚实融合导航避障

  • 随着无人车技术的不断发展，智能巡检成为了许多领域中提高效率和降低人力成本的重要手段。无人车巡检系统可以在工业、城市、农业等领域中执行自主导航和巡检任务，检测和监控环境中的物体和设施。

  • 无人车导航避障算法是实现智能巡检的核心技术之一。该算法能够帮助无人车在复杂的环境中规划路径、感知障碍物并进行避障，确保无人车安全、高效地完成巡检任务。

  • 导航避障算法采用的是ROS+Unity的实验平台
  • Unity进行仿真环境搭建
  • ROS进行传感器的信息处理，用强化学习算法进行训练
  • ROS和Unity之间采用ROS#和TCP-IP通信

2.3 机械臂虚实融合运动控制

  • 以实验室软硬件实验平台为依托，以ChatGPT定制用户与机器人的交互媒介。

  • 基于计算机视觉算法捕获用户希望抓取目标物体的位姿信息，通过运动控制算法实现机械臂各关节的轨迹规划，最终达到机械臂自动抓取指定目标的效果。

3 SLAM建图与定位

3.1 SLAM高精度建图与定位

  • 主要研究方向为移动机器人信息感知与导航，

  • 通过激光雷达扫描的点云信息构建环境的3维地图，并将其用于导航，以解决机器人在未知环境运动时的定位与地图构建问题。