1、在无人驾驶技术实现时，往往采用多传感器融合技术充分感知三维场景的全局上下文信息。多传感器融合即融合多个不同种类的传感器信息，以便得到更有价值的特征。同时，通过融合不同模态的互补信息，可以进一步提高检测算法的可感知性、可靠性和鲁棒性。由于融合策略的不同，多传感器深度融合架构可大致分为早期融合和晚期融合两大类。

　　2、早期融合指的是在用深度神经网络进行特征提取前，输入表示就已经结合多个模态的信息，即输入表示融合了不同传感器的数据，这往往是像素级别的融合。这种融合方式最常见的方法是对输入信号进行简单的连接操作，其利用了每个模态低水平特征之间的相关性和相互作用。

　　3、晚期融合则是融合来自不同传感器分支的特征，这通常是特征级的融合。晚期融合使用单独的子网为每个模态生成特征表示，并通常使用全连接层对所有单独模态模型的编码结果进行集成。由于晚期融合方法提取每个分支的网络可以不同，因而可以更好地对每种模态数据进行建模，实现更大的灵活性。

　　4、现有的早期融合方案在数据输入层进行融合操作，但一般认为不同传感器的数据流所包含的信息在高层次维度上才能找到相关性，特别是无人驾驶技术所依赖的rgb图像和点云数据，其原始数据相关性差，因此，使用早期融合方案直接融合两种数据难度较大。而晚期融合方案中，不断有新的融合思路出现，如今常用的就是基于几何方式的融合思路，其利用精心设计的特征投影机制融合两个模态的特征。这种融合机制下，信息通常从投影的二维或三维空间中每个特征周围的局部邻域聚集。虽然这些方法比仅直接特征相加或拼接效果更好，但我们观察到，激光雷达点云数据相比于rgb图像非常稀疏，融合十分有限，其架构设计中的局限性阻碍了它们在真实复杂动态场景中的性能。

　　5、无人车辆期望得到不同传感器的互补信息，如何充分融合两种模态的特征是无人驾驶道路车辆检测的核心问题，但真实的三维场景中往往存在大量的复杂物体，并且由于不同模态对于同一个物体的描述通常不同，要准确融合对应物体的信息形成更有效的表征往往是十分困难的。同时整个三维场景信息量巨大，网络提取到的特征并不是每个都是有效的。

　　1、本发明提供了一种基于多传感器融合的道路车辆感知方法，可用于提高无人驾驶车辆的感知精确度。

　　4、步骤1，获取用于道路车辆感知模型训练的目标检测数据，所述目标检测数据包括摄像装置采集的图像数据和激光扫描仪采集的激光雷达点云数据；并将激光雷达点云数据转换激光雷达鸟瞰图；

　　6、所述道路车辆感知模型包括点级特征融合模块和感兴趣区域roi级特征融合模块；

　　7、点级特征融合模块包括图像分支骨干网和激光雷达分支骨干网，图像分支骨干网用于对图像数据进行多尺度的图像特征提取，得到若干不同尺度的第一中间特征图，以及图像分支骨干网的最终输出特征图；激光雷达分支骨干网用于对激光雷达鸟瞰图进行多尺度的图像特征提取，得到若干不同尺度的第二中间特征图，以及激光雷达分支骨干网的最终输出特征图；其中，第一和第二中间特征图的尺度数量相同，且同一级的第一中间特征图和第二中间特征图的特征图维度一致；

　　8、第一级的第一和第二中间特征图经基于注意力融合模块后，得到第一级融合中间特征图，第一级融合中间特征图与第一级的第一中间特征图相加后在图像分支骨干网上继续参与前向计算；第一级融合中间特征图与第一级的第二中间特征图相加后在激光雷达分支骨干网上继参与前向计算；

　　9、且从第二级中间特征图开始，图像分支骨干网与激光雷达分支骨干网的同级中间特征图通过基于transformer的融合模块进行融合，得到当前级融合中间特征图，再分别与当前级的第一、第二中间特征图相加后，分别在两骨干网上继续参与前向计算；

　　Bsports必一体育

　　10、roi级特征融合模块通过卷积层对图像分支骨干网的最终输出特征图进行道路车辆检测，得到若干3d候选框及其道路车辆识别结果，经得分阈值处理和非最大值抑制操作后，得到若干3d检测框；将3d检测框分别投影到激光雷达鸟瞰图空间和图像数据的二维图像空间，再对通过roi特征提取分别得到图像数据和激光雷达鸟瞰图两个模态的roi特征，拼接两个模态的roi特征后输入基于至少两层全连接层的细化模块中，以预测每个3d检测框的细化修正，将细化修正结果和3d检测框结合得到最终的道路车辆检测结果；

　　11、基于目标检测数据和对应的标签数据训练道路车辆感知模型时，模型总损失函数为为分类损失和回归损失的总和，当满足预置的训练收敛条件时，得到基于多传感器融合的道路车辆感知器，以用于无人驾驶车辆在行驶过程中的道路车辆感知。

　　13、本发明在采用双流网络的道路车辆感知模型中引入注意力机制和transformer结构聚合不同模态特征，使两个模态特征互相增强，并使网络学习全局依赖关系，在特征提取阶段集成全局上下文信息。本发明利用transformer的自注意力机制，模型可以自然地同时进行模态内和模态间融合，并鲁棒地捕获图像域和激光雷达域之间的潜在相互作用，从而显著提高车辆检测性能，改进了以往融合方法的局限性。本发明利用roi(region ofinterest)的再次融合，基于再次融合结果的精细化修正检测结果，实现道路上车辆的精确感知。

　　2.如权利要求1所述的方法，其特征在于，图像数据的颜色空间为rgb格式。

　　4.如权利要求1所述的方法，其特征在于，所述transformer的融合模块具体为：

　　5.如权利要求1至4任一项所述的方法，其特征在于，模型总损失函数具体设置为：

　　本发明公开了一种基于多传感器融合的道路车辆感知方法，属于无人驾驶技术领域。本发明在采用双流网络的道路车辆感知模型中引入注意力机制和Transformer结构聚合不同模态特征，使两个模态特征互相增强，并使网络学习全局依赖关系，在特征提取阶段集成全局上下文信息。本发明利用Transformer的自注意力机制，模型可以自然地同时进行模态内和模态间融合，并鲁棒地捕获图像域和激光雷达域之间的潜在相互作用，从而显著提高车辆检测性能，改进了以往融合方法的局限性。本发明利用RoI的再次融合，基于再次融合结果的精细化修正检测结果，实现道路上车辆的精确感知。

　　如您需求助技术专家，请点此查看客服电线.生物医学材料及器械 3.声发射检测技术。

　　1.数字信号处理 2.传感器技术及应用 3.机电一体化产品开发 4.机械工程测试技术 5.逆向工程技术研究