分享

专访纵目唐锐:以深度学习可扩展平台为基础,逐步实现自动驾驶

 cheyunwang 2020-09-11


导读:

今年CES上秀出的“820A+单目”的组合,是纵目从环视ADAS进阶到自动驾驶的第一步。



在今年1月5日开幕的CES国际消费电子展上,纵目科技联合高通展出了基于骁龙820A平台的最新ADAS产品原型系统。这款原型产品能够运行深度神经网络算法,配备了车规级OV10640传感器芯片的单目摄像头。

纵目科技在2017 CES的展位总览

车云菌之前介绍过,这套运行在骁龙820A神经网络处理引擎(SNPE)上的统一神经网络算法,由纵目科技和清华大学联合自主开发完成,能够实现高速公路和市区道路场景下的ADAS功能,可对车辆、行人、自行车等多类物体识别,以及像素级别可行驶区域的实时语义分割。 

纵目科技ADAS原型系统中运行深度神经网络算法的高通骁龙820A平台

在展会现场,我们能够看到这台ADAS原型系统在还原行车中视觉部分实时计算的过程。不过受限于室内展示无法提供真实道路环境,纵目采取了摄像头拍摄显示器播放的行车路况视频的方法,来模拟真实情况中摄像头从前挡玻璃处观察前方路况。实时运算处理的结果会由另一个显示器输出,大家可在画面中看到目标检测识别后的结果,来演示算法的识别率和硬件性能。

当然车云菌也借机邀请纵目科技CEO唐锐坐下来,聊了聊这款ADAS原型产品以及牵手高通背后的动因,当然也少不了“剧透”下纵目科技今后在ADAS和自动驾驶产品方面的规划。

纵目科技CEO唐锐在展台为观众讲解这款ADAS原型产品



以深度学习算法切入自动驾驶的第一步

我们都知道,纵目科技在创立初期主要提供的是环视ADAS软件算法。2013年至2015年开始有前装产品,2016年开始提供软件、芯片、模组、子系统等产品,主攻乘用车前装,现在合作的车企包括吉利、奇瑞、凯翼、江淮、上汽大通、北汽银翔等。毫无疑问,环视ADAS产品是纵目向外拓展的根基。

所以车云菌很是好奇,为何这次纵目会联合高通在CES上展出一款使用了单目摄像头的ADAS原型产品?这是否意味着纵目今后很有可能会在环视ADAS产品线之外拓展单目解决方案?

面对车云菌的这些疑惑,纵目科技CEO唐锐忙不迭地说“我要澄清一下”。

他首先指出,“纵目的目前量产的产品以及未来要使用的高通骁龙820A平台都是车规级的,主要面向的是前装市场”。而他想要澄清的是,这次在CES上展出的这款ADAS原型产品并非只是“单目”这么简单,纵目希望能利用高通820A平台较强的扩展性打造一系列产品,应用场景囊括了从低速的2D/3D环视泊车辅助,自动泊车、自主泊车,高速的AEB/ACC/LDW驾驶辅助,以及属于更高阶段的自动驾驶等范畴。而随着产品功能的变化,会陆续增加摄像头的数量,接入其他功能的传感器。

现场展示的纵目高清环视ADAS解决方案

唐锐透露称,高通骁龙820A的扩展性很强,支持最多8个摄像头以及毫米波雷达、超声波雷达、激光雷达等多种传感器的接入,支持CANBUS,以太网等多种汽车专用通信协议。这次纵目展示的ADAS原型产品还是使用的是高通的标准车用820A开发板,由高通北美一个合作伙伴提供,而纵目自己设计的硬件平台将在2017年Q2初提供给客户和伙伴,届时它支持的传感器组合也是纵目认为和自己的产品规划更相符、较合理的选择。而这次之所以会展示一款基于前视摄像头的ADAS原型产品,主要目的是希望借助深度学习算法来实现对复杂场景的感知和理解,之后可能会在此基础上逐步集成更多的传感器。也就是说借助高通820A平台的可扩展性,纵目的ADAS产品将从低速场景慢慢过渡到高速场景,最终目标是实现有条件的自动驾驶甚至是无人驾驶。

所以,纵目在今年CES上秀出的“820A+单目”的组合,只是用于初步展示其深度神经网络算法对复杂场景的感知和理解能力,这是纵目从环视ADAS进阶到自动驾驶的第一步。


成本和功耗是关键

目前,越来越多的传统芯片厂商开始涉足汽车领域,包括英伟达、恩智浦、瑞萨在内的多家供应商陆续推出了针对不同级别自动驾驶的平台解决方案。而骁龙820A是高通在去年CES上推出的一款车规级芯片,是此前602A的升级版,其新增的能力中就包括能够接入更多摄像头等传感器的数据。所以,车云菌同样好奇的是,为何纵目和高通最后走到了一起?

据车云菌了解,今年CES上联合高通展出的ADAS原型系统,是纵目第一款运行深度神经网络算法的ADAS产品,之前都是基于传统计算机视觉算法打造的前装产品。而在抛出上述问题后,唐锐直言不讳地指出,“成本和功耗是纵目选择和高通合作的主要动因”。

高通2016年CES上推出了骁龙820A车规级芯片平台

作为一名在汽车芯片行业摸爬滚打十几载的老兵,唐锐很清楚如果要让一款具备深度学习能力的ADAS产品落地,需要怎样的一块芯片平台做支持。当然唐锐也表示自己过往的从业经历是促成这次合作的一方面原因,但起到决定性作用的还是考虑到高通相比其他供应商有如下三方面优势:

  • 首先,高通骁龙820A是从手机平台进行车规化的,它的功耗优化做得相当好;

  • 其次,高通背后是基于手机等移动终端的大规模市场,芯片上的IP研发费用在最大的手机市场上得到了摊销,具有非常明显的成本优势;

  • 最后,未来只是单纯强调计算能力或具备深度学习能力的芯片不太可能成为汽车行业大规模应用的产品。像类似高通820A这样,在一块电路板上集成了5G通信模块,神经网络处理引擎、GPS、DSRC、无线WiFi等诸多功能的芯片,是适应未来智能互联/自动驾驶汽车发展趋势的产品。

不过唐锐表示同样很看好NVIDIA这家传统芯片公司的发展前景。他认为NVIDIA很注重整个生态系统的搭建,商业模式很开放,产品的计算性能超强,提供深度学习的all-in-one集成式解决方案,和纵目的关系也很好,未来不排除在某个合适的时间点进行合作,但可能会推出一些面向中高端市场的产品。

注:纵目科技CEO唐锐曾任英国CSR(已被美国高通公司收购)汽车事业群全球工程总监,管理汽车半导体产品定义和研发,产品包括车载多媒体主芯片、GPS导航和蓝牙、WiFi等技术。


关于这款ADAS原型产品,还有这几件事需要知道

在近一个小时的专访中,车云菌也询问了纵目这次联合高通展出的ADAS原型产品的具体表现、高通骁龙820A的能耗、量产时间,以及和清华大学3D Image实验室的合作进展。

从CES现场拍摄的图片来看,这套ADAS原型系统对可行驶区域的划分,对行人、机动车辆、自行车等道路使用者的识别准确度还是蛮高的。即使有重叠遮挡的部分,系统也能够分辨开来,对阴影区域的行人同样能够标注出来。

这款原型系统能够准确识别道路行人、机动车辆,绿色部分为绘制的可行驶区域

不过唐锐也指出,深度学习需要搜集海量数据对算法模型进行训练,尽管目前这款原型产品运行的深度神经网络算法表现不错,但仍需要继续训练提高。至于摄像头的选择,他表示现阶段不会马上定下来,纵目还在和供应商一起做测试,会尝试不同的解决方案,例如这个前视摄像头要采用多大的视场角,是一个还是多个,一切都需要进一步优化才能敲定。唐锐透露称,具体结果预计会在明年第二季度初对外公布。

至于高通骁龙820A的功耗,唐锐表示这跟具体上面跑的任务多少有关,但基本可以控制在十瓦以内,但具体数值还不方便公布。车云菌也询问了这款平台具体的量产时间,他透露称2017年底会有一家大型汽车制造商搭载高通骁龙820A平台的车型量产,而目前820A内部的状态是在持续往前走,几乎接近量产状态了。

再回到纵目科技本届CES发布的这款ADAS原型产品,高通提供了神经网络处理引擎(SNPE)。这款深度学习开发套件SDK今年五月初发布,可运行于搭载了高通Zeroth机器智能平台的820芯片处理器。开发者可以在SNPE上搭建自己的深度学习网络模型,纵目这款原型产品使用的网络模型是联合清华大学3D Image实验室共同定义的,清华大学提供了初始的网络模型原型,后期优化和算法的工程化、细节的调试和实现是由纵目主导完成的。



写在最后

前面其实在和车云菌聊天的过程中,唐锐已经或多或少地透露了纵目科技未来的产品规划。首先是找到一个可扩展的平台,他认为高通骁龙820A是个不错的选择;紧接着从低速开始,随着传感器的增加,再逐步把高阶功能推上去,实现多传感器融合,最终要打造的是一个接近全自动驾驶的平台。而整个过程最重要的是要联合主机厂和其他供应商伙伴,先开发出原型产品,再逐步将这些原型产品推向量产。

唐锐也指出,目前自动驾驶的平台开发欠缺的东西还很多,做好真实场景的再现是第一步,驾驶策略的开发,系统控制,如何做好定位以及高精度地图等等都是亟待解决的问题。纵目希望能联合各方打造开发式的平台,在概念清晰目标清晰的前提下,通过坚实的投入、长时间的验证后将其导入量产。

车云菌说


点击下方

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多