图像传感器旁边的推理引擎
Recogni的新型AI处理器是针对下一代ADAS和AV的“边缘”的推理引擎。这家初创公司的目标是提供一种基于AI的视觉处理器，且以非常低的功耗提供超高性能的算力。如果这听起来似乎并不陌生的，那么Recogni确实不是第一个做出这种承诺的公司。不过，将Recgoni区分开来的可能是其解决AV感知pipeline的方法。Recogni不是希望增强SoC的中央算力（有时被称为AV的“大脑”），而是希望OEM将该公司的1000-TOPS处理器放在边缘，即CMOS图像传感器旁边。该公司称，Recogni的芯片与感知传感器紧密结合后，将能够以高分辨率、高帧率实时处理视觉数据。鉴于AV平台必须支持多种工作负载，SoC的原始处理速度（以TOPS为单位）不一定是最有用的指标。但是，Recogni的建议是为每个摄像头配备1000TOPS的处理器来处理视觉数据，这与竞争对手的方法大不相同。例如，英伟达正在推广其Orin SoC，该芯片可达到200 TOPS，以处理在AV中同时运行的许多应用程序和深度神经网络。在其网站上，Recogni称其感知处理器为“唯一专为物体识别而构建的多目摄像头架构，能够在像素级别提取被动立体深度。”该公司还声称其处理器“通过在芯片上存储进行计算分析的对象库的权重（参数）来实现更高的处理效率和速度。”Recogni表示，其模块“经过pipeline处理，以每秒60帧的速度处理800万像素以上的图像，能够识别（检测、分割和分类）物体，将深度传感器信息融合到物体中，并提供智能在几毫秒之内到达中央系统。”在被问及Recogni时，资深汽车行业分析师兼EE Times专栏作家Egil Juliussen说：“使处理器与传感器非常接近是绝对有意义的。”它大大减少了需要传输的数据，从而打开了从传感器到中央计算机的路径。从Recogni的网站声明来看，他指出Recogni的感知处理器似乎有一个片上存储器。他补充说，对于AI处理而言，“这是一个很大的优势”。Recogni的创始人兼CEO R K Anand在采访中拒绝透露处理器的架构或产品介绍。但是，他解释了他的团队认为对于开发ADAS和AV的OEM面临的“难题”。他认为，问题在于“处理以高帧速率、高分辨率输入的边缘视觉数据”。他补充说，这对于全自动驾驶汽车尤其困难，因为它必须实时进行。VSI Labs的创始人兼总裁Phil Magney指出：“我们现在看到了许多创新，旨在改善ADAS和AD应用程序的ML视觉pipeline。这适用于训练和推理模型。”尽管神经网络指令在能源效率和计算功率密度方面得到了更好的优化，但Magney说：“该行业正在寻求整个pipeline的改进，并试图找出可以进一步改进的地方。”考虑到在确定重要项目以进行保存、缩减下采样和存储以进行进一步的网络训练时，他们必须处理的大量数据流，因此不足为奇的是，“其中的某些数据被推到了边缘，常驻模型可以决定如什么数据留下什么继续传输到downstream。”特斯拉Model 3的拆解结果显示，其前向三目摄像头有三个安森美AR0136A的CMOS图像传感器，分辨率为1280×960（120万像素），像素尺寸为3.75 µm。Model 3的Autopilot控制模块单元（或TM3DAACMU）可提供250m的正面图像捕捉能力。（参考：硬件升级后的Model 3拆解）
但问题就在这里。为什么特斯拉采用百万像素传感器？Anand说：“对我们而言毫无意义，因为我们的手机摄像头已经配备了800、1000或1200万像素的传感器。”
Anand说，OEM之所以使用百万像素传感器，并不是因为它们的成本较低，而是因为车辆没有足够的处理能力。他解释说，即使有些OEM声称拥有200、400或800万像素的传感器，他们的车辆也只是从新传感器中提取了下采样信息。当被问及下采样是否普遍时，VSI Labs的Magney说：“这是事实，而且已经有一段时间了。较新的GPU可以解决这个问题，但同样，这些GPU并未针对嵌入式系统进行优化。”换句话说，传感器的成本并没有阻止OEM使用高端图像传感器。Anand说：“问题在于计算成本、计算量和计算能力。”如果没有针对这三个问题的解决方案，那么升级到高端传感器将毫无意义，“因为你无法对其进行处理”。Anand将此称为Recogni有望解决的“珠峰问题”。
分辨率越高，推理越好
Anand说，推理与信息负载直接相关。“因此，当机器接受了更多信息的训练后，正确推理可能性就越大。”
想像一下200m外的行人、停车标志或足球从路边弹过来的情况，这些都是很重要的。他说：“如果你不及早发现它们，那么AV将没有时间停下来，因为停车纯粹是物理学。分辨率越高，帧速率越高，推理就会越好。但这也意味着更高的计算需求。”
英伟达的SoC不能完成这项工作吗？
Anand说：“英伟达是一家伟大的公司，在过去10-15年中做出了惊人的创新。他们在芯片和软件开发方面都做得非常出色。”
他说：“但是他们告诉客户在汽车中使用的芯片是专为批处理信息而设计的。”
他认为，批处理在AV中是行不通的，因为车辆需要实时操作。他说，英伟达在架构、方法和软件方面都受到限制。换句话说，“英伟达没有我们初创公司那样的奢侈，我们可以从头考虑这个问题。”
那Mobileye呢？
他说：“ Mobileye稍有不同。Mobileye是一家计算机视觉公司。他们在EyeQ 4、EyeQ5和EyeQ 6中采用的方法是处理器思维。因此，他们需要更多的处理器引擎来进行AI的工作。”Anand说，Mobileye是一家由“试图成为AI专家的传统计算机视觉专家”组成的公司。
AI网络的进步
Magney认为，由于ML方法的进步和视觉pipeline的优化，视觉处理一直在进步。但是，他说：“在开发系统上可以做的工作与批量生产相差很远。”OEM希望“能够运行这些数据密集型ML应用程序的超高效计算平台”。
在这种背景下，“OEM将某些处理推向了边缘”，而不是选择“原始数据方法”，Magney解释说。现在，AV堆栈可能具有数十个神经网络，OEM正在思考“为什么不将它们推向边缘的专用处理器，从而减少域控制器的负载。”
但是，尚不清楚诸如Waymo、Argo、Cruise等AV主要玩家将如何接受类似于Recogni解决方案的专有处理器和与传感器紧密结合的软件。Juliussen就是其中之一，他想知道，对于那些AV先驱来说，用Recogni的芯片替换其现有解决方案会有什么问题。“时间会证明这一点，”Magney说。
Magney怀疑，虽然Recogni正在为全自动驾驶汽车推出其新芯片，“但在ADAS应用中，使用这些紧密耦合的架构将有更好的机会。对于L3-L5的产品，你需要一个通用的计算架构，OEM对此进行了更多考虑。”
Magney警告说：“芯片巨头们并没有放慢脚步。他们正在建立自己的产品组合，希望能够扩展到神经网络加速器和边缘处理。”
Recogni的时间表
大约一年前，Recogni的联合创始人Ashwini Choudhary在一次采访中表示，Recogni正在开发的芯片将以10W功率提供1000 TOPS。Anand确认这仍然是目标，但拒绝透露其性能规格。他补充说，该芯片将采用台积电的7nm制程，已“接近流片”。
[参考文章]
Recogni to push out high TOPS AI chip to AV’s very edge — Junko Yoshida
from A to B
