1、多源数据融合技术是一种通过整合不同来源的信息,对其进行统一评价并最终得到一致信息的技术。在许多领域,如智能交通、医疗、金融和导航定位中,都有广泛的应用。
2、在导航定位领域,多源数据通常是来自各类传感器。为了提高定位定姿的精度和可靠性,多传感器融合定位成为一种重要的方法。多传感器融合定位可以将传感器在空间和时间上的互补与冗余信息组合起来,依据某种优化准则进行组合,从而产生对观测环境或对象的一致性解释和描述,这样可以提高整个传感器系统的有效性和正确性。
1、基于此,有必要针对上述问题,提出了一种多传感器融合定位方法,使得可以得到高精度的综合融合定位结果,以提高整个传感器系统的有效性和正确性。
2、为实现上述目的,本发明在第一方面提供一种多传感器融合定位方法,所述方法包括:
3、获取rtk的rtk数据、imu的imu数据、激光雷达的激光雷达数据和双目视觉相机的双目视觉数据;
4、根据所述rtk数据确定rtk定位结果和rtk均方根误差,根据所述imu数据确定imu定位结果和imu标定参数,根据所述双目视觉数据确定视觉slam定位结果和视觉slam精度评估值,以及根据所述激光雷达数据确定激光slam定位结果和激光slam精度评估值;
5、将所述rtk均方根误差、所述imu标定参数、所述视觉slam精度评估值和所述激光slam精度评估值作为先验信息,确定各类观测值的初始权;根据各类观测值的初始权、所述rtk定位结果、所述imu定位结果、所述视觉slam定位结果和所述激光slam定位结果确定各类观测值的首次平差解算;根据各类观测值的首次平差解算进行迭代计算各类观测值的单位权方差的估计值,在各类观测值的单位权方差的估计值满足预设迭代条件的情况下,根据当次迭代计算得到的各类观测值的单位权方差的估计值确定综合融合定位结果。
7、从所述双目视觉数据提取双目视觉图像,所述双目视觉图像包括左目图像和右目图像;
8、基于所述左目图像与所述右目图像进行匹配,得到所述左目图像与所述右目图像之间的多对特征点;
9、根据所述左目图像与所述右目图像之间的多对特征点的像素点坐标计算单应性矩阵;
12、可选地,所述基于所述左目图像与所述右目图像进行匹配,得到所述左目图像与所述右目图像之间的多对特征点,包括:
15、对去噪后的灰度左目图像进行角点提取,得到去噪后的灰度左目图像的多个候选特征点;
16、在去噪后的灰度左目图像的第n个候选特征点周围选取一组采样点对,计算每个采样点对的灰度差分值,将所有采样点对的灰度差分值转换为二进制串,并将二进制串作为去噪后的灰度左目图像的第n个候选特征点的brief描述子;重复上述步骤,n依次取大于0的整数,得到去噪后的灰度左目图像的所有候选特征点的brief描述子;
19、对去噪后的灰度右目图像进行角点提取,得到去噪后的灰度右目图像的多个候选特征点;
20、在去噪后的灰度右目图像的第m个候选特征点周围选取一组采样点对,计算每个采样点对的灰度差分值,将所有采样点对的灰度差分值转换为二进制串,并将二进制串作为去噪后的灰度右目图像的第m个候选特征点的brief描述子;重复上述步骤,m依次取大于0的整数,得到去噪后的灰度右目图像的所有候选特征点的brief描述子;
21、根据去噪后的灰度左目图像的所有候选特征点的brief描述子和去噪后的灰度右目图像的所有候选特征点的brief描述子,对去噪后的灰度左目图像的多个候选特征点与去噪后的灰度右目图像的多个候选特征点进行特征点匹配,得到匹配后的特征点对;
22、将匹配后的特征点对进行筛选,得到去噪后的灰度左目图像与去噪后的灰度右目图像之间的多对特征点;
23、将去噪后的灰度左目图像与去噪后的灰度右目图像之间的多对特征点作为所述左目图像与所述右目图像之间的多对特征点。
25、根据所述左目图像与所述右目图像之间的多对特征点的像素点坐标计算多对特征点的多个视差值;
26、根据多对特征点的多个视差值、所述双目视觉相机的在x轴方向的焦距和所述双目视觉相机的基线长度计算多对特征点对应的多个深度信息;
27、根据多对特征点对应的多个深度信息、所述旋转矩阵、所述平移向量、所述双目视觉相机的内参数矩阵和所述左目图像的多个特征点的像素点坐标计算所述左目图像的多个特征点在世界坐标系的世界坐标;
28、根据所述左目图像中第i个图像帧的时间间隔、运动距离和视角变化与时间间隔阈值、运动距离阈值和视角变化阈值判断第i个图像帧是否为关键帧;
29、若第i个图像帧为关键帧,则在所述第i个图像帧的特征点的重投影误差小于误差阈值,且该特征点被两个以上的其他关键帧对应的图像帧观测到的情况下,根据该特征点的世界坐标将该特征点和关键帧更新到slam地图中;
31、重复上述步骤,i依次取大于0的整数,直至i等于所述左目图像中图像帧的总个数;
33、可选地,所述根据最新优化后的slam地图计算所述视觉slam精度评估值,包括:
34、在最新优化后的slam地图中均匀选取在所述左目图像有对应特征点的j个地图点;
35、根据最新优化后的slam地图的第j个地图点的地图坐标、第j个地图点在所述左目图像对应的特征点的像素点坐标、所述旋转矩阵、所述平移向量和所述双目视觉相机的内参数矩阵计算第j个地图点到所述左目图像的第一深度值;
36、根据第j个地图点在所述左目图像对应的特征点的像素点坐标和所述单应性矩阵计算第j个地图点在所述右目图像对应的特征点的像素点坐标;
37、根据最新优化后的slam地图的第j个地图点的地图坐标、第j个地图点在所述右目图像对应的特征点的像素点坐标、所述旋转矩阵、所述平移向量和所述双目视觉相机的内参数矩阵计算第j个地图点到所述右目图像的第二深度值;
40、重复上述步骤,j依次取大于0的整数,得到所有地图点的深度差值和深度权重;
41、根据所有地图点的深度差值和深度权重计算第一方差累加值,以及根据所有地图点的深度权重计算深度权重和值;
42、根据所述第一方差累加值和所述深度权重和值计算所述视觉slam精度评估值。
43、可选地,所述激光雷达数据包括相邻两次扫描帧激光雷达数据,根据所述激光雷达数据确定激光slam定位结果,包括:
44、基于相邻两次扫描帧激光雷达数据中的点云数据进行匹配,得到相邻两次扫描帧点云数据之间的多对特征点云;
必一运动官网
45、基于构建非线性优化函数,使用非线性优化的列文伯格-马夸尔特方法,根据相邻两次扫描帧点云数据之间的多对特征点云进行迭代计算当前状态转移矩阵;
47、可选地,所述第一次扫描帧激光雷达数据包括第一次扫描帧点云数据和第一时间戳信息,所述第二次扫描帧激光雷达数据包括第二次扫描帧点云数据和第二时间戳信息,所述基于相邻两次扫描帧激光雷达数据中的点云数据进行匹配,得到相邻两次扫描帧点云数据之间的多对特征点云,包括:
48、根据所述第一时间戳信息对所述第一次扫描帧点云数据进行运动补偿得到补偿后的第一次扫描帧点云数据;
49、计算补偿后的第一次扫描帧点云数据中每个点云的曲率,并将补偿后的第一次扫描帧点云数据中每个时刻的点云数据划分为多个相同的子区域;
50、在每个子区域中,将曲率最高的多个点云均作为边缘特征点,将曲率最低的多个点云均作为平面特征点,得到补偿后的第一次扫描帧点云数据的多个边缘特征点和多个平面特征点;
51、根据所述第二时间戳信息对所述第二次扫描帧点云数据进行运动补偿得到补偿后的第二次扫描帧点云数据;
52、计算补偿后的第二次扫描帧点云数据中每个点云的曲率,并将补偿后的第二次扫描帧点云数据中每个时刻的点云数据划分为多个相同的子区域;
53、在每个子区域中,将曲率最高的多个点云均作为边缘特征点,将曲率最低的多个点云均作为平面特征点,得到补偿后的第二次扫描帧点云数据的多个边缘特征点和多个平面特征点;
54、根据补偿后的第一次扫描帧点云数据的多个边缘特征点与补偿后的第二次扫描帧点云数据的多个边缘特征点进行边缘点匹配,得到匹配后的边缘特征点对;以及根据补偿后的第一次扫描帧点云数据的多个平面特征点与补偿后的第二次扫描帧点云数据的多个平面特征点进行平面点匹配,得到匹配后的平面特征点对;
55、将匹配后的边缘特征点对进行筛选,得到补偿后的第一次扫描帧点云数据与补偿后的第二次扫描帧点云数据之间的多对边缘特征点;以及将匹配后的平面特征点对进行筛选,得到补偿后的第一次扫描帧点云数据与补偿后的第二次扫描帧点云数据之间的多对平面特征点;
56、将补偿后的第一次扫描帧点云数据与补偿后的第二次扫描帧点云数据之间的多对边缘特征点和多对平面特征点作为相邻两次扫描帧点云数据之间的多对特征点云。
58、根据所述当前状态转移矩阵和第一次扫描帧点云数据的多个特征点云的点云坐标,将第一次扫描帧点云数据的多个特征点云更新到slam地图中;
60、可选地,所述根据更新后的slam地图计算所述激光slam精度评估值,包括:
61、在更新后的slam地图中均匀选取在第一次帧点云数据有对应特征点云的k个地图点;
62、根据更新后的slam地图的第k个地图点的地图坐标和在第一次帧点云数据对应的特征点云的点云坐标计算第一激光距离值;
64、根据所述第一激光距离值和所述第二激光距离值计算第k个地图点的距离差值;
65、根据所述第一激光距离值和所述第二激光距离值计算第k个地图点的距离差值;
67、重复上述步骤,k依次取大于0的整数,得到所有地图点的距离差值和距离权重;
68、根据所有地图点的距离差值和距离权重计算第二方差累加值,以及根据所有地图点的距离权重计算距离权重和值;
69、根据所述第二方差累加值和所述距离权重和值计算所述激光slam精度评估值。
70、可选地,所述在各类观测值的单位权方差的估计值满足预设迭代条件的情况下,根据当次迭代计算得到的各类观测值的单位权方差的估计值确定综合融合定位结果,包括:
71、在迭代计算的过程中,若两两类观测值的单位权方差的估计值之间的估计差值均小于预设阈值,则根据当次迭代计算得到的各类观测值的单位权方差的估计值确定各类观测值的目标权;
73、为实现上述目的,本发明在第二方面提供一种多传感器融合定位装置,所述装置包括:
74、获取模块,用于获取rtk的rtk数据、imu的imu数据、激光雷达的激光雷达数据和双目视觉相机的双目视觉数据;
75、确定模块,用于根据所述rtk数据确定rtk定位结果和rtk均方根误差,根据所述imu数据确定imu定位结果和imu标定参数,根据所述双目视觉数据确定视觉slam定位结果和视觉slam精度评估值,以及根据所述激光雷达数据确定激光slam定位结果和激光slam精度评估值;
76、融合定位模块,用于将所述rtk均方根误差、所述imu标定参数、所述视觉slam精度评估值和所述激光slam精度评估值作为先验信息,确定各类观测值的初始权;根据各类观测值的初始权、所述rtk定位结果、所述imu定位结果、所述视觉slam定位结果和所述激光slam定位结果确定各类观测值的首次平差解算;根据各类观测值的首次平差解算进行迭代计算各类观测值的单位权方差的估计值,在各类观测值的单位权方差的估计值满足预设迭代条件的情况下,根据当次迭代计算得到的各类观测值的单位权方差的估计值确定综合融合定位结果。
77、为实现上述目的,本发明在第三方面提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如第一方面中任一项所述的方法。
78、为实现上述目的,本发明在第四方面提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面中任一项所述的方法。
79、采用本发明实施例,具有如下有益效果:上述方法通过获取rtk的rtk数据、imu的imu数据、激光雷达的激光雷达数据和双目视觉相机的双目视觉数据;根据rtk数据确定rtk定位结果和rtk均方根误差,根据imu数据确定imu定位结果和imu标定参数,根据双目视觉数据确定视觉slam定位结果和视觉slam精度评估值,以及根据激光雷达数据确定激光slam定位结果和激光slam精度评估值;将rtk均方根误差、imu标定参数、视觉slam精度评估值和激光slam精度评估值作为先验信息,确定各类观测值的初始权;根据各类观测值的初始权、rtk定位结果、imu定位结果、视觉slam定位结果和激光slam定位结果确定各类观测值的首次平差解算;根据各类观测值的首次平差解算进行迭代计算各类观测值的单位权方差的估计值,在各类观测值的单位权方差的估计值满足预设迭代条件的情况下,根据当次迭代计算得到的各类观测值的单位权方差的估计值确定综合融合定位结果。即通过将rtk、imu、激光雷达和双目视觉相机等多种传感器的数据进行上述方式的融合定位,从而得到高精度的综合融合定位结果,该高精度的综合融合定位结果可以提高整个传感器系统的有效性和正确性。