本发明涉及计算机视觉技术，尤其涉及一种多传感器融合标定的方法及相关装置。

　　1、多传感器融合技术在提高无人驾驶和机器人导航中的环境感知能力方面得到了广泛的应用。标定是多传感器数据融合预处理的重要环节。无人驾驶多传感器联合标定的主要研究内容为求解多个传感器坐标系的变换关系，将激光雷达和摄像头等传感器的数据统一到同一个坐标系，即车体坐标系下，得到车体周围障碍物、道路标志等目标的融合数据。然而，大多数早期激光雷达相机校准方法使用特定的校准目标和复杂的手动设置来提取2d-3d对应特征以找到外部参数。这些方法是离线操作并且不适合于无人驾驶车辆的实时校准。随着深度学习技术的发展，光探测和测距激光雷达和相机逐渐过时，基于深度学习的多传感器融合标定具有更高精度、更好的适应不同环境和场景而且具有实施校准等功能。

　　2、常用的多传感器融合标定的方法有：1)手动标定板法，该方法涉及在场景中放置一个已知尺寸和特征的标定板，同时采集相机图像和激光雷达点云数据，通过检测标定板上的特征点并将它们在相机图像和激光雷达数据之间进行匹配，可以计算相机和激光雷达之间的外部参数，该方法可控制、易于实现，但依赖于手工标定板，需要大量人工操作，对标定板的放置和识别要求高，难以应对动态场景；2)特征点匹配法，该方法通过检测场景中的特征点(如角点或线段)并将它们在相机图像和激光雷达数据之间进行匹配，从而确定两者之间的关系，通常使用ransac等算法来估计外部参数。该方法无需标定板，对场景结构要求相对低，但特征点的提取和匹配可能不稳定，需要解决特征点提取和匹配的对应关系问题；3)惯导传感器法，该方法通过将惯导传感器(imu)与相机和激光雷达传感器一起使用，可以估计相机和激光雷达之间的相对位姿，这种方法通常涉及融合imu数据来纠正相机和激光雷达之间的误差，比较适用于移动平台，可以提高校准的稳定性，但是需要精确的imu数据，对于不同运动情况和振动较为敏感。

　　3、因此存在以下缺点：1)依赖于手工标定目标，现有方法通常依赖于放置在场景中的手工标定目标，如标定板或标志物。这些目标需要精确放置，容易受到环境变化和摄像机视角的影响；2)精度有限，现有方法可能无法提供高精度的校准，因为它们受到标定目标的精度限制以及相机和激光雷达测量误差的影响。这可能导致校准结果的不稳定性和误差积累；3)需要人工干预，目前一些方法可能需要大量人工干预和手动测量，包括目标放置、特征点提取和校准参数的调整。这会增加了校准的复杂性和耗时；4)适用性受限，一些传统方法可能不适用于复杂的或动态的场景，因为它们无法处理场景中的运动物体或随时间变化的场景；5)环境依赖性，传统方法通常对环境变化敏感，如光照条件、场景结构的变化等，这可能会导致校准的不稳定性；6)大规模难以应用，在大规模的自动化系统中，如无人驾驶领域中，传统方法可能不够有效，因为它们难以自动化和扩展到大规模的数据集。

　　1、为了解决上述技术问题，本发明提出一种多传感器融合标定的方法及相关装置。在所述方法及相关装置中，可以有效地融合和处理多种传感器数据，实现端到端学习，并提取高级特征以完成标定任务。

　　4、获取多传感器数据并进行预处理，所述多传感器数据来源于不同类型的传感器分别采集同一场景的数据；

　　5、将多种传感器数据输入预设的cnn-dnn组合模型中进行训练，获得训练结果，将训练结果输入到损失函数中进行损失计算，得到与真实地面值的损失值，基于损失值利用反向传播算法对模型进行参数调优，直至达到迭代次数或损失值满足预测要求，输出训练好的cnn-dnn组合模型；

　　6、将待融合的多传感器数据输入至训练好的cnn-dnn组合模型中，进行多传感器数据的实时标定。

　　9、优选地，所述cnn-dnn组合模型包括卷积神经网络和深度神经网络，其中，所述卷积神经网络包括输入层、卷积层、非线性激活层、池化层和全连接层，用于分别提取相机数据和激光雷达数据的特征并将每种数据的特征输入至所述深度神经网络中；所述深度神经网络包括全连接层、非线性激活层、输出层和损失函数，用于融合每种数据的特征并基于融合特征预测相机与激光雷达之间的外部参数。

　　16、其中，lr(dc,dl)是旋转损失，lt(dc,dl)是平移损失；λ1和λ2分别表示旋转和平移损失的损失权重；

　　19、其中，rgt和rpred是四元数的基础真值和预测，da是两个四元数的角距离；所述平移损失使用平滑的l1损失函数。

　　必一运动官网

　　20、基于上述内容，本发明还公开了一种基于深度学习的无人驾驶多传感器融合标定的装置，包括：数据处理模块、训练模块和标定模块，其中，

　　21、所述数据处理模块，用于获取多传感器数据并进行预处理，所述多传感器数据来源于不同类型的传感器分别采集同一场景的数据；

　　22、所述训练模块，用于将多种传感器数据输入预设的cnn-dnn组合模型中进行训练，获得训练结果，将训练结果输入到损失函数中进行损失计算，得到与真实地面值的损失值，基于损失值利用反向传播算法对模型进行参数调优，直至达到迭代次数或损失值满足预测要求，输出训练好的cnn-dnn组合模型；

　　23、所述标定模块，用于将待融合的多传感器数据输入至训练好的cnn-dnn组合模型中，进行多传感器数据的实时标定。

　　24、基于上述内容，本发明还公开了一种计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一所述的方法。

　　25、基于上述内容，本发明还公开了一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的方法。

　　26、基于上述技术方案，本发明的有益效果是：本发明创新性地提出了利用深度学习来进行多传感器融合标定的概念。利用卷积神经网络(cnn)对相机和激光雷达产生的数据进行图像处理、特征提取。该网络可以学习到图像的视觉特征，如角点、纹理、物体轮廓等。cnn也可以用来自动检测激光雷达扫描点云中的特征，如地平面、物体边缘、拐角等。然后再将相机和激光雷达的这些数据融合在一起，以提供更丰富的特征表示，有助于在标定过程中进行视觉和激光数据的互补。深度神经网络(dnn)可用于训练相机和激光雷达之间的参数，融合相机和激光雷达的参数。最后将训练结果输入到损失函数中进行损失计算，得到的损失值使用反向传播进行模型训练，从而提高模型性能。将图像和激光雷达数据整合为一个共同的特征表示。cnn用于处理传感器数据的特征提取，而dnn则用于特征融合和参数标定，这两种神经网络结构的组合可以更好地应对相机和激光雷达数据的融合标定问题，提供准确的标定结果。