|
导语：汽车产业经历剧变，自动驾驶浪潮来袭。是被浪潮吞没，还是屹立于浪潮之巅？如何摘得“人工智能项目之母”桂冠，用智能代替双手掌控车辆？从9月14日起，智东西重磅推出9堂自动驾驶系列课。9位实战派导师将为大家奉献超过810分钟的系统讲解和深度互动，完成对 33个知识点的专业拆解，和你一起建立未来汽车的知识壁垒。 第七课由速腾聚创联合创始人兼CEO邱纯鑫主讲，主题为《基于激光雷达的地图创建与定位》。下面划重点！ 要点速览一、自动驾驶汽车多种传感器各有优劣，多传感器融合是共识。 1、激光雷达能够获得高清的三维环境感知信息，但是价格比较贵。 2、摄像头能够获得丰富的纹理，价格也合适，但是受环境光照影响比较大。 3、毫米波雷达在雨雾天气性能优越，但是分辨率比较低。 二、激光雷达是自动驾驶汽车不可或缺的传感器，具有5大功能。 1、障碍物检测。 2、障碍物分类。 3、障碍物跟踪。 4、生成高精地图。 5、实时定位 三、激光雷达分为扫描式和非扫描式两大类。 1、扫描式激光雷达通过逐点扫描测距，又分为机械扫描雷达、基于MEMS微机电系统的雷达，以及相控阵雷达三种。 2、非扫描式激光雷达就是Flash雷达，像手电筒一样打出去一个面阵光测距。 3、从另外一个角度说，机械式和MEMS都属于机械雷达，而相控阵和Flash则属于固态雷达。 机械式雷达目前比较成熟，但硬件成本贵、量产困难，且稳定性也有待提升，目前很多公司都在向固态激光雷达方向发展。 四、激光雷达通过SLAM技术生成高精地图并定位。 1、自动驾驶汽车需要利用激光雷达、摄像头等传感器感知外部环境、构建环境模型并利用该模型确定车辆所在的位置，这套技术被称为SLAM。 基于摄像头等纯视觉传感器的SLAM被称为VSLAM，获取数据成本较低，数据量丰富，但是受光照影响比较大。 基于激光雷达的SLAM就不受光照影响，数据量比较少，创建的地图精度高，但是价格贵。 2、创建SLAM系统的时候，主要考虑稳定性、精度、计算量和传感器成本四大要素。 3、激光雷达是依靠将车辆的初始位置与高精地图信息进行比对来获得精确位置。 首先，GPS、IMU和轮速等传感器给出一个初始（大概）的位置。 其次，将激光雷达的局部点云信息进行特征提取，并结合初始位置获得全局坐标系下的矢量特征。 最后，将上一步的矢量特征跟高精地图的特征信息进行匹配，得出精确的全球定位。 主讲部分大家好，我是速腾聚创联合创始人兼CEO，邱纯鑫。今天主要跟大家分享基于激光雷达的地图创建和定位，而关于激光雷达的感知，我们看看后续有没有机会跟大家一起分享。 速腾长时间投入于基于激光雷达的地图创建和定位以及感知，但这些技术在这几年来没有特别大的突破，大多数存在的问题是工程化的问题。 今天的分享分为四部分，第一部分是激光雷达是无人驾驶不可或缺的传感器，第二部分和第三部分是LiDAR在自动驾驶中的应用，包括地图创建和定位。第四个是速腾如何贡献力量来加速LiDAR的应用。 一、激光雷达是自动驾驶不可或缺的传感器上面这张图是相对通用的自动驾驶的系统框架，左边的部分是传感器以及高精地图。像高德的谷总所说，高精地图其实是用于自动驾驶的专题图，所以我们也可以将高精地图理解为一个特殊的传感器，除了高精度地图之外还有激光雷达、摄像头和毫米波雷达。中间部分是负责障物检测和识别分类的定位感知层，最右边的部分是路径规划和执行层。 这张图是传感器的介绍，左边的激光雷达、摄像头和毫米波雷达这三个传感器主要是用于感知物体，而右边GPS、IMU和Encoder（编码器）这些主要是用于定位。激光雷达、摄像头和毫米波雷达各有优缺点。激光雷达能够获取高清的三维环境感知的信息，但是价格比较昂贵。摄像头能够获取比激光雷达更加丰富的纹理，价格也适合，但是受光照影响比较大。毫米波雷达在雨雾天气的性能优越，但是分辨效果比较弱。各种传感器各有优缺点，因而目前采用多传感器融合的方案是大家达成的共识。 激光雷达能在哪几个部分进行起作用？激光雷达在生成高精地图中是一个非常重要的传感器，同时我们可以利用激光雷达进行实时定位，障碍物的检测、分类和跟踪。 接下来讲一下激光雷达的行业发展的情况。我把激光雷达分为两种，一种是扫描式雷达，一种是非扫描式雷达。扫描式雷达又分为Mechamical Scanning LiDAR，基于MEMS的LiDAR，以及Optical Phase array LiDAR（相控阵雷达），非扫描式雷达就是Flash LiDAR，它打出去是一个面阵光，通过面阵光来进行测距。为什么这样分雷达呢？因为扫描式雷达是通过逐点扫描来进行测距，而flash LiDAR这种非扫描式雷达就不是逐点扫描，而是像手电筒一样发射一个面阵光进行测距。 机械式雷达存在两个问题，第一个是目前的硬件成本比较贵，第二个是量产性受到限制，其次产品不容易过车规。所以大家都很急迫地往固态的方向发展，固态有基于MEMS，MEMS当中还有微机械的部分，还有全固态的相控阵、FlashLiDAR。大家在固态雷达的研发过程中选择了不同的方向，有些在做MEMS，有些在做OPA，有些在做FLash，目前来看各种雷达都有各自的优缺点。 二、Lidar在自动驾驶中的应用——地图创建现在开始讲雷达在自动驾驶中的第一个应用——地图创建。无人驾驶车辆需要利用携带的激光雷达、视觉系统等传感器来感知环境，并且构建环境的模型，并利用该模型来确定车辆所在的位置。这同时考量了无人驾驶车辆在地图创建和自身定位的技术， Smith和Cheeseman在九十年代首次提出了同时定位和制图的思想，也就是SLAM。 基本思想就是利用已经创建的地图修正基于运动模型的机器人的位置姿态误差，同时根据可靠的位置姿态创建出一个更高精度的地图，SLAM自提出以来，一直受到国内外研究人员的关注，逐渐变成一个关键技术。SLAM其实是一个蛋生鸡鸡生蛋的思想，精确的定位能够获取精确的地图信息，精确的地图也能够获取精确的定位信息，它们相辅相成。根据传感器的划分可以分为基于视觉的SLAM，即VSLAM，和基于雷达的SLAM。这两种方式的优缺点的不同主要是由于传感器的原始数据的不同。 基于视觉的SlAM的优点是获取数据的成本比较低，就像摄像头，它的价格比较合适，数据量比较丰富，对于周围环境的描述也比较充分，但最大的缺点是环境光照对它的影响会比较大，同时视觉有限。目前我们在用的摄像头的视觉是没有那么大的。假设如果采用360度的全景，它的畸变会比较严重，这样它后续的计算量就会比较大。 基于雷达的SLAM的优点就是比较稳定，它不会受到环境光照的影响，白天晚上都可以用，数据量也比较少，定位和地图创建的精度高，目前最主要的缺点是传感器价格昂贵。 所以以前我们在做SLAM，大家是普遍在室外使用基于雷达的SLAM，而在室内，基于视觉和雷达的SLAM都会使用。 创建SLAM系统的时候，我们主要考虑几个维度，第一个是影响稳定工作的因素，第二个是定位和地图创建的精度，第三个是计算量，第四个是传感器的成本。 从第一个维度（工作稳定）上来看，VSLAM容易受到环境光照的影响，依赖纹理色彩。当处于无纹理环境时，如果两边都是白色的墙，它是无法实现定位和制图的。而激光雷达是依靠结构化信息作为特征对环境进行感知并实行SLAM，如果处于又长又直的通道，它的性能就会比较差。但是如果结合激光雷达输出的反射率要素，也就是雷达的输出除了XYZ还有一个反射率I，那么情况就会好很多，但是毕竟它的信息量不够多，所以效果并不会特别好。最终最可靠的方式还是由多传感器融合来完成。 第二个考虑的维度是定位和地图构建的精度，从维度上来看，激光雷达远远优于这个基于视觉的方式。 从第三维度（计算量需求）来看，激光雷达的输出是点云。点云这个词给人感觉数据量很大，但是事实并不是。像速腾现在的32线激光雷达一秒的输出数据量不到三兆，但是视觉的一张图片就有好几兆了，一秒输出如果按20帧算，可能要20张图片甚至更高，所以从这点上看，视觉的数据量毫无疑问会比激光雷达输出多得多。从硬件支持来看的，激光雷达不需要性能特别强的处理芯片，而视觉算法就需要，但是现在的芯片发展得非常快，像英特尔、英伟达等厂家在硬件的处理能力上也在加速发展，未来不会成为一个很大的瓶颈。 从第四个维度（传感器的成本）来看，激光雷达目前成本比较贵，像Sick或者hokuyo的中等距离单线激光雷达，价格要上万块钱，而速腾的16线激光雷达也要几万。因而降低成本是必然的趋势，一方面通过规模化的生产降低成本，另一方面往固态方向上进行技术创新，朝着固态的低成本和可量产化的方向去发展，目前包括速腾在内的国内外厂家都在加速创新，我相信2到3年内成本不会是问题。 通过这四个维度的结合，我们可以得出第一点是多传感器融合的方式是一个必然的趋势，第二点是特征提取会从基本的定义特征走到深度学习中去，同时激光雷达的创新成本也往降低成本的方向去发展。 大家可以先看一下SLAM的demo。（视频在文末） 三、Lidar在自动驾驶中的应用——定位接下来讲定位的问题。（在以前，就将移动机器人的定位导航定义成三个问题（无人驾驶的车辆也是属于移动机器人的范畴），我在哪？我要去哪里？我应该怎么去？ 无人驾驶的定位的问题，其实是无人驾驶车辆通过自身所携带的内部或外部的传感器来确定自身在道路环境中的位置。 无人驾驶车辆的定位和地图创建是密切相关的，准确的地图信息有利于实现高精定位，而高精定位又是构建可靠的地图信息的前提。目前我们使用GPS的定位精度肯定是不够的，它基本上就是米级。 我们现在手机的定位导航在自主驾驶肯定是精度不够，同时由于周围的建筑物密集、高楼林立或者树比较高的，GPS信号也容易受到减弱，甚至屏蔽，这样是非常危险。依靠地面基站的RTK的方式能够在很大的程度上解决误差问题，达到精度的要求。它能够解决一些在GPS传递过程中的问题，但是依然没有没办法解决在隧道或者高楼林立的环境中的一些信号中断问题。所以增加其他的方式进行稳定的高精定位是非常有必要的。 基于视觉或激光雷达的定位是常用的定位方法。我们这里重点讲一下激光定位。这是一个基于激光雷达定位的框架，首先GPS给定初始位置，通过IMU和车辆的Encoder（编码器）可以得到车辆的初始位置，然后将激光雷达的局部点云信息，包括点线面的几何信息和语义信息进行特征提取，并结合车辆初始位置进行空间变化，获取基于全局坐标系下的矢量特征，接着将这些特征跟高精度地图的特征信息进行匹配，最后获取一个准确的定位。
基于雷达的定位还是会走多传感器融合的方式，如结合GPS、IMU、Encoder或者摄像头，来进行定位。IMU和Encoder其实能够很好地解决一些初始位置的定位问题，初始位置是非常关键，而GPS相当于是做全局定位。 比如GPS的精度在分米级别，那么我们是能够保证在所有的定位精度在分米级别，如果GPS的定位精度在厘米级别，那么我们先保证精度在厘米级别，GPS会限制住最大误差。这种基于GPS、IMU、Encoder、雷达和高精度地图的定位方式是一个多传感器融合的方式。 接下来给大家看一下我们定位的demo。（视频在文末） 四、加速Lidar应用——普罗米修斯计划
我们速腾想在加速大家的雷达应用上尽自己的一份力量。在这方面上目前有三个问题，第一个问题是传感器缺失，速腾希望自己能够在量产上，成本上，产品上更加给力，进而给大家提供稳定性和性价比更高的雷达。第二个问题是雷达还没有充分发挥威力，我们在和很多客户的沟通过程中发现了这点，最后是我们希望抛砖引玉，贡献出自己的积累，让大家加速整个自动驾驶落地。 我们最开始是在做算法，当时是做梦都想自己去提供雷达，一方面是当时国外单线激光雷达或者多线激光雷达的支持力度不够，另一方面在开发算法很希望能够软硬结合，能够把算法做得更加的稳定，所以在14年公司成立的时候我们就开始做激光雷达。
普罗米修斯这个名字是我起的。本着一种负责、开放、共享的心态，让大家一起来开发，一起来努力。现在国内和国外在自动驾驶上的差距还是有的，所以我们希望能够加速整个国内自动驾驶的落地。现在速腾提供整个激光雷达的解决方案，包括激光雷达和算法。
这个模块包括定位、车道线检测、路沿检测、障碍物识别分类和障碍物跟踪。我们最近对这些模块可能还会有一个大的升级，我们会通知大家，也希望大家在用的过程中及时反馈问题，以及希望能够跟大家一起多探讨技术问题。 分享到此，谢谢大家。 问答环节提问1 李瑶 勇艺达机器人 产品经理 1、现在激光雷达的应用场景主要在铺装路面，未来几年是否可应用在非铺装的路面上，例如丛林，荒漠无人区，等等。 2、密集的无人车辆在路面驾驶，他们之间的激光线束会互相干扰吗？ 邱纯鑫：关于激光雷达的应用场景，目前确实还是在结构化特征比较好的路面上，未来肯定会用在非结构化的道路上，例如在刚才提问中提到丛林或者一些荒漠无人区，原来我研究的课题是在非结构化特征上面去做的，因此我知道所需要克服的困难比现在的结构化道路上要多，但是也有好处。 如果是针对丛林这种环境下，几何特征对于激光雷达来讲会更好，但是对于荒漠无人区这些地方，激光雷达是很难去做到地图的创建和定位，但是在这种荒漠无人区，没有什么干扰的情况下，用GPS这种定位的方式效果会更好一些。 我记得我原来提过在不同道路情况下定位的问题，当时我是按照不同道路对GPS信号的干扰进行了分类，隧道等基本无信号的路段分成一类；高楼林立以及树比较多的分成一类；最后就是多车道的高速公路分为一类，根据这几种不同，把传感器产生的定位特点和激光雷达的特点以及视觉特点进行融合，根据不同的置信度进行定位，最终是一个多传感器融合的方式进行。 第二个问题，目前激光雷达用的量也不是特别大，因此还没有密集的无人驾驶车辆在路上行驶的情况。当很多车辆在路上行驶的时候，车辆间激光束的相互干扰给激光雷达产生无规律产品问题的现象也会越来越明显，包括速腾在内，我们现在也都在解决这个问题，这也是两年甚至三年后无人驾驶快速落地时必须要解决的关键性问题。 提问2 黄新耀 粤鸿投资研究员 想了解一下3D激光雷达真正商用起量这个时间周期？在无人驾驶商用前有没有其它领域会率先使用？ 邱纯鑫：关于第二个问题，目前激光雷达已经算是在商用了，我们在给客户卖这个产品时也发现有很多客户确实想认认真真地落地解决一些原来行业的痛点，可能是对于低速的场景或者高速场景下，整个体量也是一个慢慢的爬坡期。随着这个行业的应用，我相信激光雷达的厂家会越来越给力，从产能以及价格上面去满足大家的需求。 至于时间点，我觉得今年或者明年的增长速率可能会越来越快，等到大批量产时，它每一个成本的下降应该都会打开一个新的市场。对于在无人驾驶商用前有没有其他领域会率先去应用，我觉得有一些是可以去尝试的，比如安防领域或者AGV或者是解决最后一公里的园区车以及最后一公里的物流车。因此对于这块，速腾会逐一地去支持，同时我们也会根据我们的能力去满足大家的需求。 速腾会沿着市场的需求先量产16线，接下来是32线以及后面会量产固态激光雷达，同时也将逐一来进行产品的开发。 回答完毕！ 提问3 黄玉玺 京东X事业部无人车研发部算法工程师 1.在无人驾驶汽车这种高速的环境下，基于点云地图的定位如何解决实时性问题？GPU加速？ 2.实际应用中，大场景下(几十甚至上百公里)点云地图通常是否会占用很大存储空间？地图通常需要分块加载，通常是如何分块加载的，每个地图块大小通常多大？ 3.在建图的过程中有用到深度学习的方法，对地图做语义上的处理吗？ 邱纯鑫：针对第一个问题，如果是对于高速环境下的定位问题，我认为这里可以从两个维度去解决实时性和匹配精度的问题，第一：在高速的环境下，IMU和Encoder是必不可少的，相当于做了一个初始位置的估计，因为在高速环境下时，Lidar的频率是没有那么快的，比如20帧或者是（ ），如果一秒获取十次全景扫描，按照120公里每小时的速度就已经滑出去三米多，这时你去做匹配时可能就会陷入局部最优或者是匹配不上的问题。因此，对于第一问题来说，IMU和Encoder整个的原始初始估计是比较重要的； 第二：Lidar的帧率从10提升到20，同时点云的出点率更高，实际上在激光测距的时候，它的速度是很快的，比如单点测量时的速度相当于光速，因此在对于高速环境120千米每小时的时候，对单次测量来说它根本就不算快，完了之后，Lidar在你输出时针每一帧的数据时，每个点都对应它当时的一个时间戳，因此，我们会从两个维度去解决这问题。 一个维度是：我会用上更好的初始位置估计；同时，在用这个初始位置估计的时候，把激光测距单点的时间戳也用上； 另一个维度是：对于高速环境下，它的场景是比较简单的，结构化数据比较好，在特征提取的时候可以做一些其他的限制，这跟在复杂场景下是不一样的。 针对第二问题，就是在大场景下的时候，点云地图通常是否会占据很大的存储空间。实际上这个回答是对的，我以前是做机器人的，主要是解决大场景下如何去做实施定位的问题，当时我们的距离大概是十公里左右，然后对其进行局部地图的存储，再去做定位，从这个维度上，我们可能又在整个地图的使用频次上去做，而我不可能一下子存储整个地图，然后再去做定位，这样可能会有些问题的，因此，用一种分布存储来解决问题是比较好的。 第三个问题是关于深度学习的，这个方式我们很早就开始用了，更多的是从原来的定义特征到利用深度学习去自学习特征的方式去进行，也就是我们通过深度学习来完成这个特征的提取以及整个空间表达的问题。 回答完毕！ 提问4 李毅瞳 布谷鸟科技 工程师 最近听说速腾能够量产相控阵Lidar了，那么我想问下相控阵激光雷达在产品设计以及量产化上有哪些技术难题？ 速腾现在在单线以及多线Lidar出货量上能做到多少？有一些具体的应用项目可以介绍下吗？ 还有就是您如何看待目前激光雷达在辅助驾驶系统上的应用？ 目前的多传感器融合想在汽车上批量应用的话，是否存在一些问题？怎么解决？ 短期内激光雷达的上车成本能降到什么水平？ 邱纯鑫：第一个问题，速腾最近前段时间发布的是我们的MEMS激光雷达，同时也介绍了我们在后面全固态激光雷达的一个布局。 这个MEMS激光雷达的demo我们做完了，距离到真正的量产和可应用也需要一段时间，没有那么快。而相控阵可能它也得往后移到MEMS的后面。 对于相控阵激光雷达这一块，它的产品设计和量产化有哪些技术难题要去突破呢。我也可以跟大家简单一起来探讨一下，相控阵激光雷达这一块，大家原来看到的可能是它的相阵，就是它的发射部分，其实还有接收部分，在整个后面的高速数据处理，这几块东西都要去完成，对于发射部分来讲，光在传导过程中能量的损耗以及提高传导效率，都靠工艺和多次尝试来实现，另外消除栅瓣的一些难点也可以去解决，大概是这样子的。 对于接收部分，我们怎么样才能够使得光信号变成电信号的效率以及敏感度得到提高，比如你原来是需要多个光子才能进行产生雪崩，是否可以使用单个光子来产生雪崩以及从光信号变到电信号过程中对微弱信号进行放大，这个过程中产生的一些底噪是否能够去减少，这个过程其实是解决一些刺激能力的问题，因此整个发射与接收都是需要去解决，我觉得这是两个主要的问题。 第二问题，速腾其实没有单线的激光雷达，我们现在在大批量出货的是我们多线的激光雷达。至于出多少货，我觉得我们可以再讨论具体的应用，主要包括几块，一：低速场景的物流车以及低速场景下的观光车，还有一些高速上多个耦合的应用，包括单个64线激光雷达+多个16线激光雷达进行补盲，通过这样的作用来进行。 我认为激光雷达在辅助驾驶的应用也是有它的用武之地，线束就变得不是特别关键，比如辅助驾驶，我也不需要用64线的激光雷达去做辅助驾驶，最主要还是从它是不是能够过车规以及是不是能将成本下降下来这两个维度去考量，当然也可以用在辅助驾驶上去做，因为最终还是在性价比合适的情况下去降低事故率，能够减缓客车或者货车司机这种经常长时间驾驶的人的压力，我觉得是它有这个应用的必要性。 接下来就是多传感器融合这个问题，我认为多传感器融合第一步要解决就是融合的问题，那要如何去解决呢？因为我们不管是摄像头或者Lidar装在这个车上还是毫米波雷达装在车上的时候，它都可能会随着车在使用过程中产生的运动和震动而出现一些轻微的位移。因此是否可以做到自标定从而解决这个问题是很重要的，在车开一段时间后可能是Lidar的位置会产生移动，那我们是否可以通过自动纠正的方式来解决。短时间内，激光雷达的上车成本能降到什么样的一个水平，这里我认为需要看时间点。如果是一年时间，我觉得它应该是有的一个量级的下降，那如果是明年或者后年，也会有另一个量级的下降，我认为在两到三年后应该会下降到200美金以下，3年之后甚至100美金以下。 回答完毕！ 提问5 Brandon-福特亚太-车联网 激光雷达的高成本问题还有数据传输的带宽问题，目前的解决方案有哪些？ 邱纯鑫：关于激光雷达高成本的问题，在上面我已经解释过了，就是通过两个维度，一：通过大批量生产；二：通过往固态方向发展。 对于数据传输的问题，实际上我们现在的数据量其实是不算多的，单秒的数量不算多，我们现在采取的是百兆的以太网来传输，后面是否会升级到千兆，这也是一个方向。另外，我们可以把点云处理算法集成到LiDAR上，给客户输出的已经不是原始点云数据，而是一些处理后的数据，因此这样数据就会更少了。目前经过我们处理的一些数据，可以更好地用在自动驾驶这块，我觉得这也可以作为一个探讨的方向。 回答完毕！ 提问6 孙志明-京东-无人车算法工程师 1、如何融合gps和惯导数据?最终建图的绝对误差是多少 2、地图为什么那么小但又不影响定位。 邱纯鑫：融合GPS和惯导数据主要在于整个模型的建立，不管是GPS还是惯导，在你的测量方程中，整个模型的建立非常重要，根据模型线性化程度选择EKF或者PF等算法进行融合，总的来说就是可以用不同的融合算法去实现。 速腾现在做的已经算是比较不错的了，因为建图的精度会影响到定位精度，因此可以具体地达到一个精度是很不错的，而我们现在的定位精度是可以做到20厘米以下。 第二个问题，在实际定位过程中我们也没有用到那么多原始的点云数据，而是根据一些特征来进行定位。因此地图小，同时它的实时性也高。在每次定位的时候，实际上数据的吞吐量并没有那么高。 回答完毕！ 还有一个福利 我们的「自动驾驶」社群全面开放申请啦。诚邀你加入，将能认识到来自谷歌Waymo、上汽、北汽、一汽、百度、博世、大陆、蔚来汽车、NVIDIA、Mobileye、智行者、图森、高德等整车厂和供应商的上万名汽车工程师和从业者。 同时，我们会定期邀请自动驾驶方向和新能源汽车领域的知名创业者和技术大牛，主讲自动驾驶系列课。如果对自动驾驶有强烈兴趣，可以添加车小东微信（ID：cdxauto）申请入群交流。 |
|
|
