实验室虚实融合研究平台建设

1 虚实融合传感器目标检测平台

• 利用双目相机和激光雷达获取的信息进行3D目标检测

• 将获取的信息以及检测结果发布到ROS平台上，以支持后续信息处理。

2 无人船虚实融合训练系统

• 基于unity搭建虚拟仿真训练环境

• 基于马尔可夫决策设计避障任务

• 基于深度强化学习算法和Pytorch深度学习框架训练模型

• 基于ROS和C#通信机制实现虚实结合

• 基于混合现实眼镜实现虚实融合展示

3 无人车虚实融合训练系统

• 导航避障算法采用的是ROS+Unity的实验平台

• Unity进行仿真环境搭建

• ROS进行传感器的信息处理，用强化学习算法进行训练

• ROS和Unity之间采用ROS#和TCP-IP通信

4 机械臂虚实融合运动控制系统

• 以实验室软硬件实验平台为依托，以ChatGPT定制用户与机器人的交互媒介。

• 基于计算机视觉算法捕获用户希望抓取目标物体的位姿信息，通过运动控制算法实现机械臂各关节的轨迹规划，最终达到机械臂自动抓取指定目标的效果。

5 SLAM同步定位与建图平台

• 主要研究方向为移动机器人信息感知与导航，

• 通过激光雷达扫描的点云信息构建环境的3维地图，并将其用于导航，以解决机器人在未知环境运动时的定位与地图构建问题。