1、近年来,随着自动驾驶技术的发展,多传感器融合技术已成为自动驾驶领域中的重要研究方向。多传感器融合技术可以将不同类型的传感器数据进行融合,从而提高自动驾驶系统的准确性和鲁棒性。其中,固态激光雷达是目前自动驾驶系统中最为重要的传感器之一,其可以提供高分辨率和高精度的环境地图。
2、相关技术中,由于自动驾驶的感知系统没有确定的主传感器,造成在特定场景下不同传感器模块的工作效果会出现不同的状况,这会导致自动驾驶系统整体的安全性降低。
3、基于此,目前亟需一种智能车辆多传感器系统的融合方法及装置来解决上述技术问题。
1、本发明实施例提供了一种智能车辆多传感器系统的融合方法及装置,能够有效降低集成成本,提高自动驾驶系统整体的安全性。
2、第一方面,本发明实施例提供了一种智能车辆多传感器系统的融合方法,包括:
3、获取自动驾驶系统的传感器的采集数据;其中,所述采集数据包括图像数据和定位数据,所述图像数据包括固态激光雷达传感器采集的第一数据和其余传感器采集的第二数据,当所述第二数据与所述第一数据之间存在误差时,利用所述第一数据对所述第二数据进行校正;
必一运动sport网页版登录
4、对所述定位数据、所述第一数据和所述第二数据均进行预处理,依次得到定位标准数据、第一标准数据和第二标准数据;
5、基于所述定位标准数据、所述第一标准数据和所述第二标准数据,确定汽车的融合位置信息;
6、基于所述第一标准数据和所述第二标准数据,确定所述汽车的融合识别信息;其中,所述融合识别信息包括原始识别信息、深度识别信息和精确识别信息;
8、优选地,所述对所述定位数据、所述第一数据和所述第二数据均进行预处理,依次得到定位标准数据、第一标准数据和第二标准数据,包括:
9、对所述定位数据、所述第一数据和所述第二数据均进行优化处理,依次得到定位优化数据、第一优化数据和第二优化数据;其中,所述优化处理包括丢帧补偿处理、噪声过滤处理和数据预测处理;
10、对所述定位优化数据进行第一标准化处理,得到定位标准数据;其中,所述第一标准化处理包括定位数据标准化和定位坐标系标准化;
11、对所述第一优化数据和所述第二优化数据均进行第二标准化处理,依次得到第一标准数据和第二标准数据;其中,所述第二标准化处理包括数据结构标准化、数据话题信息标准化和时间戳同步标准化。
12、优选地,所述基于所述定位标准数据、所述第一标准数据和所述第二标准数据,确定汽车的融合位置信息,包括:
13、基于视觉slam算法对所述第一标准数据和所述第二标准数据均进行处理,得到所述汽车的实时定位结果;
14、利用所述实时定位结果对所述定位标准数据进行校准,得到所述融合位置信息。
16、对所述第一标准数据的第一信息矩阵和所述第二标准数据的第二信息矩阵进行融合,得到融合信息矩阵;
17、对所述融合信息矩阵进行特征提取,并对提取结果进行识别,得到所述汽车的原始识别信息。
19、基于点云特征提取网络对所述第一标准数据进行处理,得到第一特征矩阵;
20、基于辅助特征提取网络对所述第二标准数据进行处理,得到第二特征矩阵;
21、对所述第一特征矩阵和所述第二特征矩阵进行融合处理,得到融合特征矩阵;
22、对所述融合特征矩阵进行特征提取,并对提取结果进行识别,得到所述汽车的深度识别信息。
24、对所述第一标准数据依次进行点云目标分割处理和点云目标辨识处理,得到第一识别结果;
26、对所述第一识别结果和所述第二识别结果进行目标融合处理,得到所述汽车的精确识别信息。
27、优选地,所述基于所述融合位置信息和所述融合识别信息,控制所述汽车的行驶路径,包括:
30、基于所述静态场景信息和所述动态跟踪预测模型,控制所述汽车的行驶路径。
31、第二方面,本发明实施例还提供了一种智能车辆多传感器系统的融合装置,包括:
32、获取单元,用于获取自动驾驶系统的传感器的采集数据;其中,所述采集数据包括图像数据和定位数据,所述图像数据包括固态激光雷达传感器采集的第一数据和其余传感器采集的第二数据,当所述第二数据与所述第一数据不同时,利用所述第一数据对所述第二数据进行校正;
33、处理单元,用于对所述定位数据、所述第一数据和所述第二数据均进行预处理,依次得到定位标准数据、第一标准数据和第二标准数据;
34、第一确定单元,用于基于所述定位标准数据、所述第一标准数据和所述第二标准数据,确定汽车的融合位置信息;
35、第二确定单元,用于基于所述第一标准数据和所述第二标准数据,确定所述汽车的融合识别信息;其中,所述融合识别信息包括原始识别信息、深度识别信息和精确识别信息;
36、控制单元,用于基于所述融合位置信息和所述融合识别信息,控制所述汽车的行驶路径。
37、第三方面,本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现本说明书任一实施例所述的方法。
38、第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行本说明书任一实施例所述的方法。
39、本发明实施例提供了一种智能车辆多传感器系统的融合方法及装置,首先构建以固态激光雷达组作为主感知硬件的标准框架,并在框架中设置相互通信连接的数据预处理模块、数据标准化模块、信息识别模块、定位模块、感知融合模块、静态场景认知模块和动态目标认知模块,每个模块依靠各自的功能模块实现系统与系统之间的信息交互与传递,最后将目标识别、跟踪、预测的结果以静态、动态交通参与者信息的形式提供给自动驾驶车辆的决策系统以控制车辆做出安全稳定的动作。通过上述方法可以有效提高自动驾驶系统的准确性、鲁棒性、安全性、可维护性和可升级性,同时降低自动驾驶系统的开发和集成成本,促进自动驾驶技术的发展。
2.根据权利要求1所述的方法,其特征在于,所述对所述定位数据、所述第一数据和所述第二数据均进行预处理,依次得到定位标准数据、第一标准数据和第二标准数据,包括:
必一运动sport网页版登录
3.根据权利要求2所述的方法,其特征在于,所述基于所述定位标准数据、所述第一标准数据和所述第二标准数据,确定汽车的融合位置信息,包括:
4.根据权利要求2所述的方法,其特征在于,所述原始识别信息具体是通过如下方式得到的:
5.根据权利要求2所述的方法,其特征在于,所述深度识别信息具体是通过如下方式得到的:
6.根据权利要求2所述的方法,其特征在于,所述精确识别信息具体是通过如下方式得到的:
7.根据权利要求2所述的方法,其特征在于,所述基于所述融合位置信息和所述融合识别信息,控制所述汽车的行驶路径,包括:
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-7中任一项所述的方法。
本发明提供了一种智能车辆多传感器系统的融合方法及装置,其中方法包括:获取自动驾驶系统的传感器的采集数据;其中,采集数据包括图像数据和定位数据,图像数据包括固态激光雷达传感器采集的第一数据和其余传感器采集的第二数据,利用第一数据对第二数据进行校正;对定位数据、第一数据和第二数据均进行预处理,依次得到定位标准数据、第一标准数据和第二标准数据;基于定位标准数据、第一标准数据和第二标准数据,确定汽车的融合位置信息;基于第一标准数据和第二标准数据,确定汽车的融合识别信息;基于融合位置信息和融合识别信息,控制汽车的行驶路径。本方案能够有效整合和管理多种传感器的数据,使其更加可靠和精确。
杨世春,卢家怿,曹耀光,张博奥,冯鑫杰,孙玢,许靖云,张梦月,闫啸宇,陈飞,周帆,彭朝霞
技术研发人员:杨世春,卢家怿,曹耀光,张博奥,冯鑫杰,孙玢,许靖云,张梦月,闫啸宇,陈飞,周帆,彭朝霞
1.计算机视觉 2.无线.计算机仿线.网络安全;物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用