【研究目的】

如何实现更高水平的驾驶自动化已经成为了目前研究的焦点。相机数据包含信息丰富但容易受外部光照条件的影响。 激光雷达则因其能在黑暗环境中工作而备受推崇。然而，在恶劣天气下，激光束可能被雨雾反射发生误判，使潜在危险难以察觉。毫米波雷达则在这些方面表现出色。它能够穿透云雾，在各种天气条件下正常工作。因此，将激光雷达数据与毫米波雷达数据融合，改进点云目标检测网络，让两者的优势互补，保持道路场景所需计算速度的同时提高检测精度，具有实际意义。

【技术创新】

融合毫米波雷达与激光雷达的特点，并改进现有的3D目标检测网络，使之克服目前3D环境感知在恶劣天气下的不足，是一个非常有研究价值的课题。所设计的目标检测系统是一种基于CenterPoint改进的特征融合的3D目标检测网络，它的输入为经过处理的毫米波点云与激光点云，输出为场景中多个种类目标的位置与类别。主要创新点如下：

1.设计了融合了激光与毫米波两种的传感器的目标检测网络，结合了传统卷积与transformer结构，在恶劣场景中兼顾推理速度的情况下大幅提高了目标检测精度。

2.设计了能够识别样本重要性，兼顾正负样本的动态标签分配策略，在不提升训练成本的前提下提升了目标检测网络的收敛速度与学些能力。

3.设计了一种融合了传统卷积与transformer的新3D特征提取主干，对体素化的点云数据进行特征提取，提高了网络的感受野，增强了网络的特征表达能力。

4.设计了十字交叉卷积特征融合模块，引导网络关注毫米波雷达中的信息，增强其中有用的特征，有效地提高了毫米波雷达信息地利用率。

激光-毫米波数据采集小车

【知识产权】

校企联合开发。

【应用领域】

人工智能，机器人，交通运输。

【应用情况】

实验室开发阶段。