摘要:利用可量测影像具有高精度空间位置信息的特点,提出了一种可量测影像与GPS、IMU组合导航方法。提出了系统框架,研究了可量测影像与道路网数据一体化组织方法,可量测影像与实时影像匹配定位算法,可量测影像与GPS、IMU联邦卡尔曼滤波导航模型。实验表明,新方法可以弥补车辆导航系统卫星信号失锁、惯性器件误差随时间累积发散等问题,提高了系统在复杂环境中定位精度和稳健性。 作者:高扬, 高逦, 乌萌, 王成宾 卫星/惯性组合导航是目前车辆导航系统(vehicle navigation system, VNS)的主要导航定位手段,但是,在复杂环境中,卫星导航会因信号遮挡或多路径干扰而失效,惯性导航误差则会随着时间而累积发散,因此,如何实现可靠、连续导航是车辆导航领域的一个研究热点。 近年来,无人驾驶技术、车联网、地面移动测量等汽车平台的精确自主导航与测量估计技术发展迅猛,技术应用范围不断扩大,国内外相关机构对相关技术开展了大量研究工作。Dupuis等利用车载低成本GPS的少量信号即快速实现了地图初始估计,以实现自主车任务准备的低成本、快速、准确初始化[1]。Yun等进行了移动测量系统(MMS)进行道路管理的可用性测试,其中IMU、GNSS、可量测影像(DMI)组合输出车辆轨迹,利用与GNSS同步的图像及点云数据高效提取道路标志及道路损坏部分[2]。Suhr等提出和实现了一种基于传感器融合的低成本车辆定位系统,其中融合了GPS、IMU、码盘、单个前置相机、以及通过粒子滤波得到的少量数字地图,道路标志仅通过最小数量点进行表示,计算代价小,可在低成本嵌入式系统中实时执行计算[3]。Meng等研究了基于GNSS/IMU/码盘/LiDAR传感器融合的自主车鲁棒定位方法[4], 提出了多约束出错检测方法以平滑GNSS信号跳变时的车辆定位结果,同时定位误差可利用点云定位方法进一步补偿改进。李德仁院士在文献[5]中提出了一个从天到地、影像到模型、静止到动态的城市环境监测系统,可满足建筑变化监测、安全巡航、监控分析等多种需求。卢秀山等提出基于真彩激光点云,构建城市自然数字模型;基于车载移动测量、无人机航摄、手机拍照、高清视频监控及云计算平台等技术手段,形成城市自然数字模型的快速更新技术体系,来构建最优现势性的城市地理信息平台,以奠定城市管理智能化的数据基础[6]。笔者在文献[7]中对DMI的导航数据组织模型进行了研究。这些研究中分别采用了GNSS、IMU、DMI、LiDAR、码盘等多种传感器搭建所需系统,以实现高精度的实时导航与测量目标。可量测影像(DMI)是一种新兴的地面立体影像信息产品,包含时空序列上绝对外方位元素信息,可以支持对环境实景的直接浏览、对目标地物高度、宽度、面积等信息的相对测量,以及绝对位置解析测量和目标属性信息挖掘等应用[8-9]。利用车辆导航系统采集实时影像(real-time image),并与预先获取的可量测影像进行匹配,将匹配上的可量测影像空间位置信息传递至实时影像,通过空间坐标变换推算出运动载体的当前位置。因此,将可量测影像引入到车辆导航系统中,并与实时影像进行匹配定位计算,计算结果可以作为一种新的定位数据源和卫星、惯导的定位信息进行数据融合,从而提高复杂环境下的组合导航系统的可靠性和连续性。本文提出了一种基于可量测影像与卫星、惯性组合导航方法,研究了系统框架、实现原理和关键技术,并用实验验证了方法的有效性,以期为复杂环境下车辆导航提供新的技术途径。GPS/IMU/DMI组合导航原型系统安装卫星定位(GPS)、惯性测量单位(IMU)、里程计、CCD像机等设备,在导航计算机中装载DMI数据库、二维导航数据库和导航软件。通过可量测影像与卫星导航定位、惯性导航、里程计等集成,实现多源信息融合的导航定位,同时支持环境实景显示、查询、分析、量算等导航辅助功能,总体技术框架如图所示。![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_2_20200104114948660) DMI与RTI匹配定位的前提,是需要从可量测影像数据库中快速查询到当前定位点前趋方向的影像。因此,建立DMI高效索引以满足导航定位的实时性要求是一个关键。本文利用DMI数据沿道路呈线性分布的特点,采用线性参考系统下的基于道路的动态分段索引结构,建立影像与所在路段、路段偏距的空间拓扑关联,并利用大文件模型存储索引表、影像主体和内、外方位元素参数。在检索时,根据定位点概略位置计算出道路、路段,进而查询到定位点可能分布区域的DMI序列,再分别与获取的RTI进行匹配定位计算。对于具体方法,笔者在文献[7]中进行了研究分析与试验评估,这里不再赘述。DMI与RTI匹配定位的关键,是从检索到的定位点可能分布区域的影像序列中,查询到与RTI匹配的DMI。由于DMI与RTI拍摄时间不同、拍摄时刻像机位置和姿态不同,2幅影像分辨率和光照不同,因此,需要可靠的匹配方法实现2幅不同条件下所成影像的精确配准。本文采用SIFT特征匹配[10-13]和RANSAC抗差处理[14]相结合的影像特征点提取和匹配方法解决DMI和RTI的匹配问题,算法框架如图所示。![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_3_20200104114948831)
DMI与RTI匹配的实质是在不同尺度空间上查找特征点(或关键点),也就是具有方向信息的局部极值点,如暗区中的亮点、亮区中的暗点、角点、边缘点等。这些点能够对于影像旋转、缩放和仿射变换保持不变,可以满足在不同光照、不同位置姿态、不同分辨率等条件下所成的DMI和RTI的匹配需求。首先,通过2幅影像的高斯差分尺度空间(DoG scale-space)中采样点与其影像域和尺度域中的所有邻点进行比较,从而检测提取出特征点;然后,根据特征点邻域像素的梯度方向分布特性,为每个特征点附加一个主方向和多个辅方向的描述性信息,即特征向量;接下来,利用特征点特征向量的欧氏距离,对两幅影像特征点进行相似性度量,确定匹配上的特征点;最后,为保证算法鲁棒性,采用随机抽样一致性算法RANSAC(random sample consensus),通过构建特征点估计模型,剔除可能存在的错配点。当匹配上的特征点满足一定数量(一般在5个以上),且均匀分布,则认为两幅影像匹配成功,同时获得RTI特征点坐标,包括特征点像素坐标和对应物点的空间坐标。 由RTI特征点坐标到载体当前位置坐标的推算过程,涉及空间直角坐标系、载体本体坐标系、像机坐标系、影像坐标系、内存坐标系的转换,如图所示。![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_4_20200104114948941) 计算过程如下:1)根据(1)式,将RTI特征点对应物点Ai在空间直角坐标系GP中坐标GAi(XGAi, YGAi, ZGAi)转换为载体本体坐标系VP中坐标VAi(XVAi, YVAi, ZVAi)。式中, α为载体航向角, ΔXG, ΔYG为未知量。2) 根据(2)式、(3)式, 将VAi转换为像机坐标系CP坐标CAi(XCAi, YCAi, ZCAi)。式中,VPC(VXC, VYC, VZC), ψ, θ, φ表示像机在VP中的安装位置和姿态, 可事先标定, VCR为旋转变换矩阵。 3) 通过(4)式、(5)式, 将CAi转换为影像坐标系IP中坐标IAi(xI, yI)和内存坐标系BP中坐标BAi(xBAi, yBAi)。 ![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_6_20200104114949128)
![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_7_20200104114949253) 式中, Nr和Nc分别是影像坐标系中单位长度对应的内存坐标系中的像素行数和列数, BPI=[BCI, BRI]T为列和行方向主点位置偏移量, f, Nr, Nc, BCI, BRI为像机内方位元素, 可事先标定。4) 根据(5)式, 利用5个以上匹配的特征点构建方程, 方程中包含3个未知量ΔXG, ΔYG和α, 采用最小二乘法求解方程, 解得3个未知量。5) 将载体本体坐标系原点位置代入(1)式, 反算得到运动载体的空间直角坐标。1.3 GNSS/IMU/DMI联邦卡尔曼滤波导航模型原形系统采用联邦卡尔曼滤波将基于DMI的匹配定位结果与GPS、IMU数据进行融合, 滤波器结构如图所示。![](http://image109.360doc.com/DownloadImg/2020/01/0423/179600852_8_20200104114949316) 采用IMU作为参考子系统, 分别与GPS和DMI定位输出构成2个子系统:子滤波器1包括IMU和GPS; 子滤波器2包括DMI匹配定位、IMU和里程计。, 分别为2个子滤波器的局部估计值, P1, P2为协方差阵, 和Pg为全局最优估计。 1) 公共参考系统基于IMU构建捷联惯导系统, 状态参数如(6)式所示, 状态方程如(7)式所示。 (6) 式中, ψN, ψE, ψD为姿态误差, δVN, δVE, δVD为速度误差, δλ, δL, δh为位置误差。 (7) 式中, FI(t)为状态转换矩阵, GI(t)为噪声驱动矩阵, WI(t)为系统噪声。2) 子系统1中GPS状态参数如(8)式所示, IMU/GPS组合定位系统状态方程如(9)式所示。 (8) δλg, δLg, δhg为经度、纬度和高程方向GPS位置误差, δVEg, δVNg, δVDg为东、北和地向GPS速度误差。 (9) 子滤波器1采用位置和速度组合方式, 分别取3个方向的位置之差和速度之差为观察量, 其中, IMU观测量为: ![](http://pubimage.360doc.com/wz/default.gif)
![](http://pubimage.360doc.com/wz/default.gif) λ, L, h为载体实际位置, VN, VE, VD为载体实际速度, 其他为相应误差。![](http://pubimage.360doc.com/wz/default.gif)
![](http://pubimage.360doc.com/wz/default.gif) 3) 子系统2的观测量主要依据DMI与RTI匹配定位信息和里程计速度信息, 并与IMU输出信息比对。其状态方程参照公共参考系统, 如(7)式所示, 观测方程如(11)式所示。式中 , λD, LD, hD是DMI与RTI匹配定位信息, VON, VOE, VOD是里程计输出的速度信息, VIOD是相应传感器观测噪声构成的6维观测量。采用某型地面移动测量车作为实验平台。平台上集成有计算机、GPS、IMU和6台CCD像机(编号1~6)等设备, 计算机中装载预先采集的实验区域DMI数据, 此外, 在实验平台上加装某型高精度激光陀螺惯性导航系统(ring laser gyroscope inertial navigation system, RLG-INS), 作为实验精度的比对基准, 如图所示。![](http://pubimage.360doc.com/wz/default.gif)
地面移动测量车 实验平台主要指标:①IMU:陀螺漂移1.0°/hr, 加速度计漂移0.000 2g; ②GPS:平面定位精度为(10±1×10-6)mm, 高程精度为20 mm±1ppm; ③CCD:帧率16 frame/s, 分辨率1 392×1 040;④DMI:位置精度优于0.5 m, 姿态精度优于0.3°, 分辨率1 392×1 040, 影像采集间隔≤8 m。实验中, 采用3号像机采集RTI作为子系统2的输入。实时记录主系统和子系统1、2输出的姿态、速度和位置数据, 并与RLG-INS输出数据进行比对。在实验中途, 通过人为关闭GPS, 模拟卫星导航信号被干扰或遮挡, 检验系统在卫星失锁状态下工作的稳定性。原型系统(主系统、子系统1、子系统2)与RLG-INS基准的输出姿态误差、输出速度误差、输出位置误差分别如图所示。![](http://pubimage.360doc.com/wz/default.gif)
![](http://pubimage.360doc.com/wz/default.gif)
![](http://pubimage.360doc.com/wz/default.gif) 1) 通过融合2个子系统的信息, 主系统定位、定姿和测速的精度与可靠性得到明显改善。2) 如图 8、图 6所示, 在定位性能上, 子系统2的反馈能够降低IMU随时间漂移带来的误差, 但定姿性能不够理想。因此, 在对2个子系统信息融合处理中, 需要进行数据置信度评判, 将子系统2对主系统定姿精度影响降至最低。3) 如图 8所示, 约780 s处, 因为GPS被关闭, 子系统1工作异常, 定位误差较大; 但子系统2不受影响, 工作正常, 主系统定位精度在允许范围内。综上所述, 采用本文方法, 将DMI与RTI匹配定位引入GPS/IMU组合导航系统, 可以提升系统精度和稳健性, 其中, 北向定位误差由2.814 m(1σ)提升到1.914 m(1σ), 东向定位误差由4.553 m(1σ)提升到3.161 m(1σ), 地向定位误差由3.274 m(1σ)提升到2.847m(1σ), 当失去卫星信号时, 系统定位结果并未受到明显影响。本文提出的GPS/IMU/DMI组合导航方法充分利用了可量测影像具有高精度空间位置信息的特点优势, 可以弥补传统车辆导航系统卫星信号失锁、惯性器件随时间误差累积发散等带来的问题。在下一步工程化应用中, 还需重点研究DMI数据组织、影像匹配、多源定位数据融合误差控制等技术, 进一步提高系统效率与精度。[1]Dupuis Y, Merriaux P, Subirats P, et al. GPS-Based Preliminary Map Estimation for Autonomous Vehicle Mission Preparation[C]//Internativonal Conference on Intelligent Robots and Systems, 2014 [2]Yun Heecheon. Applicability Estimation of Mobile Mapping System for Road Management[J]. Contemporary Engineering Sciences, 2014, 7(24): 1407-1414. [3]Suhr Jaekyu, Jang Jeungin, Min Daehong, et al. Sensor Fusion-Based Low-Cost Vehicle Localization System for Complex Urban Environments[J]. IEEE Trans on Intelligent Trans Systems, 2017, 18(5): 1078-1086. DOI:10.1109/TITS.2016.2595618 [4]Meng Xiaoli, Wang Heng, Liu Bingbing. A Robust Vehicle Localization Approach Based on GNSS/IMU/DMI/LiDAR Sensor Fusion for Autonomous Vehicles[J]. Sensors, 2017, 17: 2140. DOI:10.3390/s17092140 [5]李德仁, 刘立坤, 邵振峰. 集成倾斜航空摄影测量和地面移动测量技术的城市环境监测[J]. 武汉大学学报:信息科学版, 2015, 40(4): 427-435. Li Deren, Liu Likun, Shao Zhenfeng. An Integration of Aerial Oblique Photogrammetry and Mobile Mapping System for Urban Geographical Conditions Monitoring[J].Geomatics and Information Science of Wuhan University, 2015, 40(4): 427-435. (in Chinese) [6]卢秀山, 滕腾, 刘如飞. 移动测量、地理信息更新与城市管理智能化[J]. 测绘学报, 2017, 46(10): 1592-1597. Lu Xiushan, Teng Teng, Liu Rufei. Mobile Mapping, Geographic Information Update and Urban Management Intelligence[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1592-1597. DOI:10.11947/j.AGCS.2017.20170328 (in Chinese) [7]高扬, 王成宾, 乌萌. 一种基于可量测影像的实景导航数据组织模型[J]. 测绘科学与工程, 2014, 34(2): 50-56. Gao Yang, Wang Chengbin, Wu Meng. A Vision Navigation Data Model Based on Digital Measurable Image[J]. Geomatics Science and Engineering, 2014, 34(2): 50-56. (in Chinese) [8]李德仁. 论可量测实景影像的概念与应用——从4D产品到5D产品[J]. 测绘科学, 2007, 32(4): 5-7. Li Deren. On Concept and Application of Digital Measurable Images-from 4D Production to 5D Production[J]. Science of Surveying and Mapping, 2007, 32(4): 5-7. (in Chinese) [9]李德仁, 胡庆武. 基于可量测实景影像的空间信息服务[J]. 武汉大学学报:信息科学版, 2007, 32(5): 377-380. Li Deren, Hu Qingwu. Digital Measurable Image Based Geo-Spatial Information Service[J]. Geomatics and Information Science of Wuhan University, 2007, 32(5): 377-380. (in Chinese) [10]Lowe D G. Object Recognition from Local Scale-Invariant Features[C]//International Conference on Computer Vision, Corfu Greece, 1999: 1758-1762 [11]Bay H, Tuytelaars T, Van Gool L. SURF: Speeded up Robust Features[C]//European Conference on Computer Vision, 2006: 1562-1568 [12]Matas J, Chum O, Urban M, et. al. Robust Wide Baseline Stereo from Maximally Stable Extremal Regions[C]//British Machine Vision Conference, 2002: 844-853 [13]Iijima T. Basic Theory of Pattern Normalization(for the Case of a Typical One Dimensional Pattern)[J]. Bulletin of the Electrotechnical Laboratory, 1962, 26: 368-388. [14]Martin A Fischler, Robert C Bolles. Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communication of the ACM, 1981: 568-569.
|