一种多传感器融合的车辆定位方法及系统与流程
1.本发明涉及车辆定位技术领域,尤其是涉及一种多传感器融合的车辆定位方法及系统。
2.2007年至今,无人驾驶系统中的定位手段大致可分为四代,其中第一代主要采用velodyne64线激光雷达与相机分开处理方案,第二代主要方案为融合多颗16线线雷达融合摄像头以及其他传感器,进行定位于与目标识别,第三代主要将第二代激光雷达升级为固态激光雷达,并将固态雷达安装到车辆的前方,第四代方案将去除方向盘,采用的是移动空间的概念,目前是所有厂商追求的终极目标。综上可以看出,多传感器融合均是定位技术中必须攻克的难点。
3.多传感器融合技术主要存在传感器同步与融合数据开发两个难点,前者主要在于传感器高精度的时间以及空间同步,需要对激光雷达、摄像头等传感器的特性,以及人工智能有着较为深刻的理解,后者则涌现出了多种传感器融合方案,主要分为前融合与后融合两大方案。其中,后融合算法在数据原始层进行处理,可得到点云、视觉、毫米波信息的处理结果,并将目标识别结果进行汇总,从而不会丧失数据的完整性,前融合算法先将各种传感器算法进行空间与时间同步,通过算法过滤掉一些目标,从而达到端到端的目标识别效果,但是由于激光雷达产生的是3d点云数据,与摄像头收到的图像数据帧率完全不同且难以在数据空间内进行匹配,且不同品牌的激光雷达,激光雷达产生的点云特性也不尽相同,导致无人驾驶中传感器前融合算法鲁棒性较弱。
4.多传感器融合技术的发展,主要依赖与自动驾驶与深度学习的持续推进,在一定的融合准则下,通过对不同时间与空间维度的多传感器信息进行分析,并获得被测目标的相同描述与解释,进而得到精准的后续决策和估计。传统的传感器融合算法主要是卡尔曼滤波算法、d
s证据理论等,但是随着深度学习的发展,基于深度学习模型的融合算法也逐渐成为主要的研究方向。
5.目前多传感器融合的体系结构主要分为分布式、集中式和混合式。其中分布式先对各个独立传感器所获得的原始数据进行局部处理,然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。分布式对通信带宽的需求低、计算速度快、可靠性和延续性好,但跟踪的精度却远没有集中式高。集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理,可以实现实时融合。其数据处理的精度高,算法灵活,缺点是对处理器的要求高,可靠性较低,数据量大,故难于实现。混合式多传感器信息融合框架中,部分传感器采用集中式融合方式,剩余的传感器采用分布式融合方式。混合式融合框架具有较强的适应能力,兼顾了集中式融合和分布式的优点,稳定性强。混合式融合方式的结构比前两种融合方式的结构复杂,这样就加大了通信和计算上的代价。
6.多传感器信息融合方案主要分为数据级融合、特征级融合和决策级融合三类方案,其中数据级融合,针对传感器采集的数据,依赖于传感器类型,进行同类数据的融合。数
据级的融合要处理的数据都是在相同类别的传感器下采集,所以数据融合不能处理异构数据。特征级融合通过提取所采集数据包含的特征向量,用来体现所监测物理量的属性,这是面向监测对象特征的融合。如在图像数据的融合中,可以采用边沿的特征信息,来代替全部数据信息。决策级融合根据特征级融合所得到的数据特征,进行一定的判别、分类,以及简单的逻辑运算,根据应用需求进行较高级的决策,从而产生面向应用的融合。
7.在车辆定位系统中,主要依赖车辆自身运动状态的定位误差修正信息包括车辆速度和姿态角等,其中速度信息按照车辆的行进方向可以分为纵向速度、横向速度和垂向速度,姿态角信息通常包括俯仰角、侧倾角和方位角。由于车辆在实际运行过程中车轮一般不会离开路面,因此垂向速度、俯仰角、侧倾角的变化幅值较小。实际上,仅使用车辆方位角、纵向速度和横向速度就可以基于航位推算方法完成二维平面内的定位,因此这三个参数是影响车辆定位性能的关键参数。
8.在现有的用于车辆定位导航的多传感器融合技术中,纯视觉算法有着检测速度较快的优势,但在实际场景下,若目标存在遮挡,其识别框精度便会大幅度下降,视觉和惯性融合易受环境光线影响,计算量大,存在累计误差,激光雷达和惯性融合探测距离有限,不能识别物体,在特征不明显的环境中定位效果差,难以重定位,激光雷达和视觉融合计算量较大,定位结果依赖于准确的联合标定,在运动过快的情况下定位效果差,毫米波和激光雷达成本高,计算量大,且无法识别物体,在结构单一环境中定位效果差,惯性和声纳组合,存在累计误差,对动态目标跟踪效果较差。
9.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多传感器融合的车辆定位方法及系统,根据有无gps信号的情况,在不同的场景下采用不同的传感器融合方案进行车辆的定位导航,适用范围更广,结合多种传感器自身不同的优缺点相互配合辅助定位,定位精度高,鲁棒性好。
11.一种多传感器融合的车辆定位导航方法,如果可以接收gps信号,则融合gps装置和imu惯性传感器进行车辆的定位,使用激光雷达进行障碍物检测,实现车辆的定位导航,如果不能接收gps信号,则使用激光雷达构建栅格地图,融合imu惯性传感器和相机进行车辆的定位和障碍物检测,实现车辆的定位导航。
13.获取imu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,
15.以第一位置信息为预测模型,以第二位置信息作为观测模型,使用卡尔曼滤波算法融合第一位置信息和第二位置信息,得到车辆在当前时刻的位置信息,
16.获取激光雷达的点云数据,得到车辆周围的障碍物信息,基于车辆在当前时刻的位置信息和车辆周围的障碍物信息实现车辆的导航。
17.进一步的,不能接收gps信号时,例如在隧道或多层立交等场景下gps信号被完全遮挡,车辆的定位导航具体为,
19.获取相机采集的连续的图像,对图像进行特征点提取,对相邻帧的图像的特征点进行匹配,基于匹配的特征点得到车辆的位姿信息和车辆周围的障碍物信息,
20.获取imu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息和车辆的速度信息,
21.使用位姿信息对第一位置信息进行矫正,得到车辆在当前时刻的位置信息,基于二维栅格地图和车辆障碍物周围的障碍物信息实现车辆的导航。
22.进一步的,如果不能接收gps信号,且相机采集的数据不符合预设置的定位要求,如在光照变换强烈或特征缺失的环境中,则使用激光雷达构建栅格地图,使用imu惯性传感器进行车辆的定位,实现车辆的定位导航。
23.更进一步的,不能接收gps信号,且相机采集的数据不符合预设置的定位要求时车辆的定位导航具体为,
25.获取imu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,将第一位置信息作为车辆在当前时刻的位置信息,
27.一种多传感器融合的车辆定位导航系统,包括传感器模块、 同步控制器、数据采集器和计算模块,
28.所述传感器模块包括安装在车辆上的i mu惯性传感器、 gp s装置、相机和激光雷达,
29.所述同步控制器用于实现传感器模块中各个传感器的数据同步,所述数据采集器用于获取传感器模块中各个传感器的数据,
30.所述计算模块基于传感器模块中各个传感器的数据,通过多传感器融合的车辆定位导航方法实现车辆的定位导航。
31.进一步的,相机采用主动同步方式, 同步控制器向相机发送同步控制信号,包括一个触发信号和一个时间戳信息,相机接收到触发信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器。
32.进一步的, i mu惯性传感器采用被动同步方式, i mu惯性传感器完成一次数据采集后,将采集的数据发送给数据采集器, 同时向同步控制器发送一个同步信号,所述同步控制器接收到同步信号后记录该同步信号的发生时间作为时间戳信息,并将时间戳信息发送给数据采集器,所述数据采集器将接收到的数据和时间戳信息进行配准。
33.进一步的,激光雷达采用授时同步方式, 同步控制器向激光雷达同时发送脉冲信号和时间戳信息,激光雷达接收到脉冲信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器。
34.进一步的,计算模块进行车辆的定位导航时,基于预设置的坐标变换矩阵将传感器模块中各个传感器的数据统一到一个坐标系下,所述坐标变换矩阵是基于传感器模块中各个传感器在车辆上的安装位置计算得到的。
36.(1)根据有无gp s信号的情况,在不同的场景下采用不同的传感器融合方案进行车
辆的定位导航,适用范围更广,结合多种传感器自身不同的优缺点相互配合辅助定位,定位精度高,鲁棒性好。
37.(2)采用混合式架构进行多传感器融合, 同时具备分布式和集中式两种架构的优点,提升了稳定性和精确度,采用特征级融合,特征级融合在兼容异构数据的同时,所需计算量较低。
38.(3)没有gp s信号时,通过相机、 i mu惯性传感器和激光雷达进行定位导航,考虑到在光照变换强烈或特征缺失的环境中会相机导致定位失败,在相机采集的数据不符合预设置的定位要求时自动切换至激光雷达与i mu惯性传感器融合的模式完成定位功能。
39.(4)相机采用主动同步方式, i mu惯性传感器采用被动同步方式,激光雷达采用授时同步方式,根据传感器的特点设置了与之相适应的数据同步方式,实现多传感器的数据同步。
43.附图标记, 1、传感器模块, 2、 同步控制器, 3、数据采集器, 4、计算模块。具体实施方式
44.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
46.一种多传感器融合的车辆定位导航方法,如图1所示,如果可以接收gp s信号,则融合gp s装置和i mu惯性传感器进行车辆的定位,使用激光雷达进行障碍物检测,实现车辆的定位导航,如果不能接收gp s信号,则使用激光雷达构建栅格地图,融合i mu惯性传感器和相机进行车辆的定位和障碍物检测,实现车辆的定位导航。
47.一种多传感器融合的车辆定位导航系统,如图2所示,包括传感器模块1、 同步控制器2、数据采集器3和计算模块4,
48.如图3所示,传感器模块1包括安装在车辆上的i mu惯性传感器、 gp s装置、相机和激光雷达,
49.同步控制器2用于实现传感器模块1中各个传感器的数据同步,数据采集器用于获取传感器模块1中各个传感器的数据,
50.计算模块4基于传感器模块1中各个传感器的数据,通过多传感器融合的车辆定位导航方法实现车辆的定位导航。
51.i mu惯性传感器即惯性测量单元,主要用来检测和测量加速度与旋转运动的传感器, i mu惯性传感器可以实时测量车辆的运动状态信息,再利用成熟的导航解算方法实现全维导航参数(位置、速度、姿态)解算,可以作为主滤波器融合任何其它定位定姿传感器的信息,它的优势是独立自主,不与外界发生联系,不受平台、环境的干扰影响,采样率高、故障
率低,从而具备高可用、高可靠的优点。本实施例中i mu惯性传感器采用n o v at e l 公司的sapn
fs as设备已经实现了gp s和imu数据的同步,它本身也是一个同步控制器, 即可以向外发送脉冲信号,也可以接收外部传感器的脉冲信号, 因此,我们将sapn
52.gp s装置是完成户外定位导航的关键设备, gp s系统包括了gp s卫星、地面主控与监测站及移动端gp s接收机组成。 gp s可以提供的信息除车辆位置、速度以外,还包括伪距、星历等用于定位解算的原始数据。本实施例中, gp s采用北京北斗星通公司的c230
at经济型单频gp s接收机。该接收机通过串口输出车辆三维位置坐标(经度、纬度、高度)、三维速度(东向、北向、天向)、时间等信息,单点水平定位精度为3 m,速度测量精度为0.05 m/s,输出频率为1 hz, gp s接收机放置在车内, gp s天线通过磁吸座安装在车辆顶部,其位置测量值作车辆定位的结果进行地图匹配。
53.相机是一种包含信息量非常广泛的传感器,成本较低,具有丰富的色彩信息,且分辨率比较高, 比如1920
1080分辨率的相机拍摄的图像,在水平方向上就有1080条线条线,可以对视野内的景物进行比较全面的反应。
54.本实施例中相机采用海康威视车载网络摄像机,该摄像机可以在最高分辨率
1080、帧率30fps的情况下实时输出图像,并自带码流平滑设置,在车载振动环境中可以保证图像质量和流畅性,所采集的图像数据通过rj45网络接口输出。
55.本实施例中相机采用前视方式安装,将其置于车辆内部前挡风玻璃中间的位置,拍摄车辆行驶过程中的前方图像信息。
56.激光雷达是一种由发射器发射红外光,通过接收器接收反射回来的光线,利用时间差来计算障碍物距离的传感器,不仅可以获取物体距离的信息,激光雷达还可以提供返回所扫描物体的密度信息,通过检测目标物体的空间方位和距离,通过点云来描述3d环境模型,提供目标的激光反射强度信息和被检测目标的详细形状描述等。本实施例中,激光雷达采用vlp
16激光雷达是velodyne公司出品的3维激光雷达,保留了电机转速可调节的功能。实时上传周围距离和反射率的测量值。 vlp
57.对于传感器模块1内的传感器,其工作频率不一样,如gp s装置的频率是10hz, imu惯性传感器的频率是1 khz,采集的数据不同步, 因此需要同步控制器2实现数据的同步。
58.相机采用主动同步方式, 同步控制器2发送同步控制信号,包括一个触发信号和一个时间戳信息,相机接收到触发信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器3。
59.i mu惯性传感器采用被动同步方式, i mu惯性传感器完成一次数据采集后, 由硬件内部中断响应机制记录下精确时刻,将采集的数据发送给数据采集器3, 同时向同步控制器2发送一个同步信号, 同步控制器2接收到同步信号后记录该同步信号的发生时间作为时间戳信息,并将时间戳信息发送给数据采集器3,数据采集器3将接收到的数据和时间戳信息进行配准。
60.激光雷达采用授时同步方式, 同步控制器2向激光雷达同时发送脉冲信号和时间戳信息,激光雷达接收到脉冲信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器3。
61.本技术的车辆定位导航分两种情况,一种是可以接收到gp s信号,一种是无法接收到gp s信号,在可以接收到gp s信号的情况下,通过gp s装置和imu惯性传感器来进行导航和完成精确定位,接入激光雷达传感器对于指定范围内的障碍物进行检测。在无法接收到gp s信号的情况下, 以相机与i mu传感器融合完成定位功能,并结合激光雷达构建栅格地图完成导航与路径规划功能,在特殊环境中相机图像特征缺失或跟踪定位失败的条件下, 自动切换至激光雷达与i mu传感器融合的模式完成定位功能。
62.此外,如图3所示, 由于各个传感器的安装位置不一样,采集到的数据需要进行坐标变换,可以基于预设置的坐标变换矩阵将传感器模块1中各个传感器的数据统一到一个坐标系下,坐标变换矩阵(如旋转矩阵、平移矩阵)是基于传感器模块1中各个传感器在车辆上的安装位置计算得到的。
64.获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,
65.获取gp s装置的测量数据,经过坐标转换后得到车辆的第二位置信息,
66.以第一位置信息为预测模型, 以第二位置信息作为观测模型,使用卡尔曼滤波算法融合第一位置信息和第二位置信息,得到车辆在当前时刻的位置信息,
67.获取激光雷达的点云数据,得到车辆周围的障碍物信息,基于车辆在当前时刻的位置信息和车辆周围的障碍物信息实现车辆的导航。
68.在可以接收gp s信号的情况下,一方面, gp s提供了第二位置信息,而对imu惯性传感器的数据进行积分得到第一位置信息。但是, i mu惯性传感器的定位误差会随着运行时间增长,假定imu惯性传感器的频率是1 khz, gp s装置的频率是10hz,那么两次gp s更新之间,可以使用100个i mu惯性传感器的测量数据进行位置预测,在接收到新的较精准的gp s数据时,使用gp s数据对当前的位置预测进行更新。不断重复,可以综合gp s装置和i mu惯性传感器的优点,校正i mu传感器累积误差,达到较好的定位效果。
69.通过gp s装置和i mu惯性传感器完成精确定位后,接入激光雷达对指定范围内的障碍物进行检测。在设定的激光雷达视野中没有障碍物时,车辆按照规划的路径进行行驶, 当出现动态障碍物时,根据相对位置信息进行减速避障, 当障碍物移除激光雷达视野时,继续按照规划路径进行行驶,在设定的激光雷达视野中出现镜头障碍物时,结合障碍物的形状大小进行探测,规划新的路径,避开障碍物后,继续行驶。而且,为了保证行驶安全,在车辆控制系统中,可以设定基于静态障碍物避障得到的局部规划路径的优先级高于原先的全局规划路径。
70.(二)不能接收gp s信号时,例如在隧道或多层立交等场景下gp s信号被完全遮挡,车辆的定位导航具体为,
72.获取相机采集的连续的图像,对图像进行特征点提取,对相邻帧的图像的特征点进行匹配,基于匹配的特征点得到车辆的位姿信息和车辆周围的障碍物信息,
73.获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息和车辆的速度信息,
74.使用位姿信息对第一位置信息进行矫正,得到车辆在当前时刻的位置信息,基于
75.主要采用视觉惯导的方法,通过特征点匹配可以得到车辆的位姿信息及障碍物信息,使用位姿信息矫正i mu惯性传感器的累积误差,得到位置信息,结合激光雷达构建的二维栅格地图完成导航和路径规划。
76.(三)如果不能接收gp s信号,且相机采集的数据不符合预设置的定位要求,如在光照变换强烈或特征缺失的环境中,导致相机定位识别,则使用激光雷达构建栅格地图,使用i mu惯性传感器进行车辆的定位,实现车辆的定位导航。
77.不能接收gp s信号,且相机采集的数据不符合预设置的定位要求时车辆的定位导航具体为,
79.获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,将第一位置信息作为车辆在当前时刻的位置信息,
81.在开阔环境中人为引入gp s失效以及城市环境中的真实gp s失效的场景下,对本技术提供的多传感器融合的车辆定位导航方法的性能进行了试验验证。试验结果表明本技术在gps失效60s时,定位存在的最大误差小于12m,均方根误差小于
82.以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案, 皆应在由权利要求书所确定的保护范围内。
1.一种多传感器融合的车辆定位导航方法,其特征在于,如果车辆可以接收gp s信号,则融合gp s装置和i mu惯性传感器进行车辆的定位,使用激光雷达进行障碍物检测,实现车辆的定位导航,如果车辆不能接收gp s信号,则使用激光雷达构建栅格地图,融合i mu惯性传感器和相机进行车辆的定位和障碍物检测,实现车辆的定位导航。 2.根据权利要求1所述的一种多传感器融合的车辆定位导航方法,其特征在于,可以接收gp s信号时车辆的定位导航具体为,获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,获取gp s装置的测量数据,经过坐标转换后得到车辆的第二位置信息, 以第一位置信息为预测模型, 以第二位置信息作为观测模型,使用卡尔曼滤波算法融合第一位置信息和第二位置信息,得到车辆在当前时刻的位置信息,获取激光雷达的点云数据,得到车辆周围的障碍物信息,基于车辆在当前时刻的位置信息和车辆周围的障碍物信息实现车辆的导航。 3.根据权利要求1所述的一种多传感器融合的车辆定位导航方法,其特征在于,不能接收gp s信号时车辆的定位导航具体为,获取激光雷达的点云数据,构建二维栅格地图,获取相机采集的连续的图像,对图像进行特征点提取,对相邻帧的图像的特征点进行匹配,基于匹配的特征点得到车辆的位姿信息和车辆周围的障碍物信息,获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息和车辆的速度信息,使用位姿信息对第一位置信息进行矫正,得到车辆在当前时刻的位置信息,基于二维栅格地图和车辆障碍物周围的障碍物信息实现车辆的导航。 4.根据权利要求1所述的一种多传感器融合的车辆定位导航方法,其特征在于,如果不能接收gp s信号,且相机采集的数据不符合预设置的定位要求,则使用激光雷达构建栅格地图,使用i mu惯性传感器进行车辆的定位,实现车辆的定位导航。 5.根据权利要求4所述的一种多传感器融合的车辆定位导航方法,其特征在于,不能接收gp s信号,且相机采集的数据不符合预设置的定位要求时车辆的定位导航具体为,获取激光雷达的点云数据,构建二维栅格地图,获取i mu惯性传感器的测量数据,基于车辆在前一时刻的位置信息,经过坐标转换和位姿解算后得到车辆的第一位置信息,将第一位置信息作为车辆在当前时刻的位置信息,基于二维栅格地图和车辆在当前时刻的位置信息实现车辆的导航。 6.一种多传感器融合的车辆定位导航系统,其特征在于,基于如权利要求1
5中任一所述的车辆定位导航方法,包括传感器模块(1)、 同步控制器(2)、数据采集器(3)和计算模块(4),所述传感器模块(1)包括安装在车辆上的i mu惯性传感器、gp s装置、相机和激光雷达,所述同步控制器(2)用于实现传感器模块(1)中各个传感器的数据同步,所述数据采集器用于获取传感器模块(1)中各个传感器的数据,所述计算模块(4)基于传感器模块(1)中各个传感器的数据,通过多传感器融合的车辆定位导航方法实现车辆的定位导航。 7.根据权利要求6所述的一种多传感器融合的车辆定位导航系统,其特征在于,相机采用主动同步方式, 同步控制器(2)向相机发送同步控制信号,包括一个触发信号和一个时间戳信息,相机接收到触发信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器(3)。 8.根据权利要求6所述的一种多传感器融合的车辆定位导航系统,其特征在于, i mu惯性传感器采用被动同步方式, i mu惯性传感器完成一次数据采集后,将采集的数据发送给数据采集器(3), 同时向同步控制器(2)发送一个同步信号,所述同步控制器(2)接收到同步信号后记录该同步信号的发生时间作为时间戳信息,并将时间戳信息发送给数据采集器(3),所述数据采集器(3)将接收到的数据和时间戳信息进行配准。 9.根据权利要求6所述的一种多传感器融合的车辆定位导航系统,其特征在于,激光雷达采用授时同步方式, 同步控制器(2)向激光雷达同时发送脉冲信号和时间戳信息,激光雷达接收到脉冲信号后开始采集数据,完成一次数据采集后将采集的数据与时间戳信息配准后发送给数据采集器(3)。 10.根据权利要求6所述的一种多传感器融合的车辆定位导航系统,其特征在于,计算模块(4)进行车辆的定位导航时,基于预设置的坐标变换矩阵将传感器模块(1)中各个传感器的数据统一到一个坐标系下,所述坐标变换矩阵是基于传感器模块(1)中各个传感器在车辆上的安装位置计算得到的。
