|
视频介绍：Pixel 4 中基于 Soli 雷达的感知和交互 Pixel 4 和 Pixel 4 XL 已针对易用性进行了优化，有助于实现这一目标的关键功能是Motion Sense，它使用户能够无需触摸设备即可以多种方式与他们的 Pixel 交互。例如，借助 Motion Sense，您可以使用特定手势来更改音乐曲目或立即将来电静音。Motion Sense 还会检测您何时靠近手机以及何时伸手去拿手机，让您的 Pixel 能够通过预测您的动作（例如启动相机以提供无缝面部解锁）来提供更多帮助体验，在您伸手关闭闹钟时礼貌地降低响铃闹钟的音量，或者在您不再靠近设备时关闭显示屏以节省电量。 Motion Sense 背后的技术是Soli，这是消费类智能手机中第一个集成的短距离雷达传感器，可促进与手机的近距离交互，无需接触。下面，我们将讨论 Soli 的核心雷达传感原理、用于从雷达数据中识别人类活动的信号处理和机器学习 (ML) 算法的设计，以及我们如何解决一些集成挑战，以准备将 Soli 用于消费设备。 设计用于运动感知的 Soli 雷达系统雷达的基本功能是根据远程物体与无线电波的相互作用来检测和测量远程物体的特性。一个经典的雷达系统包括一个发射无线电波的发射器，然后无线电波被其路径内的物体散射或重定向，一部分能量反射回来并被雷达接收器拦截。基于接收到的波形，雷达系统可以检测物体的存在并估计这些物体的某些属性，例如距离和大小。近一个世纪以来， 雷达作为一种探测和测距技术一直在积极发展. 传统的雷达方法设计用于检测大型、刚性、远处的物体，例如飞机和汽车；因此，它们缺乏在消费类手持设备要求范围内感测复杂运动的灵敏度和分辨率。因此，为了实现 Motion Sense，Soli 团队开发了一种新的小型雷达系统、新颖的传感范式和算法，专门用于对人类交互进行细粒度感知。 经典雷达设计依赖于相对于目标尺寸的精细空间分辨率，以解析不同的物体并区分其空间结构。这种空间分辨率通常需要较宽的传输带宽、较窄的天线波束宽度。和大型天线阵列。另一方面，Soli 采用基于运动而非空间结构的完全不同的传感范式。由于这种新颖的范例，我们能够在 5 毫米 x 6.5 毫米 x 0.873 毫米的芯片封装上安装 Soli 用于 Pixel 4 的整个天线阵列，从而允许将雷达集成到手机顶部。例如，与光学成像传感器相比，我们开发的算法特别不需要形成明确的目标空间结构图像。因此，不会生成或用于 Motion Sense 存在或手势检测的人的身体或面部的可区分图像。
Soli 依靠处理接收信号的时间变化来检测和解决细微的运动。Soli 雷达发射 60 GHz频率调制信号并接收附近物体或人的反射叠加。从一次传输到下一次传输，目标位置的亚毫米级位移会引起接收信号的可区分时间偏移。在多次传输的窗口上，这些偏移表现为与物体速度成正比的多普勒频率。通过解析不同的多普勒频率，Soli 信号处理管道可以区分具有不同运动模式的物体。 下面的动画演示了不同的动作如何在处理后的 Soli 信号中表现出不同的运动特征。每个图像的垂直轴代表距离传感器的范围或径向距离，从上到下增加。横轴代表朝向或远离传感器的速度，中心为零，左侧为接近目标的负速度，右侧为后退目标对应的正速度。雷达接收到的能量被映射到这些距离-速度维度中，并由每个像素的强度表示。因此，与弱反射目标相比，强反射目标相对于周围的本底噪声往往更亮。这些距离-速度映射中的能量分布和轨迹显示出一个人走路时的明显差异， 在左图中，当人靠近设备时，我们看到多个身体部位的反射出现在速度轴的负侧，然后在人靠近设备时以零速度会聚在图像顶部。在描绘范围的中间图像中，一只手从距离传感器 20 厘米的静止位置开始，然后以负速度朝设备加速，最后在到达设备时减速停止。对应于手的反射从图像的中间移动到顶部，对应于在手势过程中手离传感器的距离减小。最后，第三张图片显示了一只手在设备上滑动，以负速度向速度轴左半部分的传感器移动，
每个可分辨反射的 3D 位置也可以通过处理在 Soli 的三个接收器中的每一个接收到的信号来估计；除了距离和速度之外，还可以使用该位置信息来区分目标。 我们为 Soli 设计的信号处理管道包括自定义滤波器和相干积分步骤的组合，可提高信噪比、减弱不需要的干扰并将人的反射与噪声和杂波区分开来。这些信号处理功能使 Soli 能够在消费类智能手机的限制范围内以低功耗运行。 为雷达设计机器学习算法在使用 Soli 的信号处理管道对原始雷达信号进行滤波和增强后，将得到的信号转换输入 Soli 的 ML 模型进行手势分类。这些模型已经过训练，可以以低延迟准确检测和识别 Motion Sense 手势。 对任何运动传感技术常见的空中手势进行稳健分类有两个主要的研究挑战。首先，每个用户都是独一无二的，甚至会以多种方式执行简单的动作，例如滑动。第二个是，在一天中，传感器范围内可能会有许多看起来与目标手势相似的无关运动。此外，当手机移动时，从手机中的运动传感器的角度来看，整个世界看起来都在移动。 解决这些挑战需要设计定制的 ML 算法，该算法针对雷达信号的空中手势的低延迟检测进行了优化。Soli 的 ML 模型由神经网络组成，这些神经网络使用来自数千名 Google 志愿者记录的数百万个手势进行训练。这些雷达录音与其他谷歌志愿者数百小时的背景雷达录音混合在一起，其中包含在设备附近进行的一般动作。Soli 的 ML 模型使用TensorFlow进行训练并进行了优化，可以直接在 Pixel 的低功耗数字信号处理器(DSP) 上运行。这使我们能够以低功耗运行模型，即使在主应用处理器断电时也是如此。 将 Soli 从概念转化为产品Soli 之所以能够集成到 Pixel 智能手机中，是因为端到端的雷达系统（包括硬件、软件和算法）经过精心设计，可以在消费类设备的尺寸和功率限制内实现非接触式交互。Soli 的微型硬件使完整的雷达系统能够适应 Pixel 上边框的有限空间，这是团队的一项重大成就。事实上，2014 年的第一个 Soli 原型是台式计算机的大小。我们将硬件创新与前面描述的新颖时间传感范例相结合，以将整个雷达系统缩小到单个 5.0 mm x 6.5 mm RFIC，包括包装上的天线。Soli 团队还推出了多项创新的硬件电源管理方案并优化了 Soli 的计算周期，使 Motion Sense 能够适应智能手机的功耗预算。
为了集成到 Pixel 中，雷达系统团队与产品设计工程师密切合作，以保持 Soli 信号质量。手机内的芯片放置和芯片上方的 z 层材料经过优化，以最大限度地提高通过玻璃的信号传输，并最大限度地减少来自周围组件的反射和遮挡。该团队还发明了自定义信号处理技术，以实现与周围电话组件的共存。例如，开发了一种新型滤波器来减少音频振动对雷达信号的影响，从而在播放音乐时实现手势检测。此类算法创新使 Motion Sense 功能能够跨越各种常见用户场景。
未来方向Soli 成功集成到 Pixel 4 和 Pixel 4 XL 设备中，首次证明了基于雷达的机器感知在日常移动消费设备中的可行性。Pixel 设备中的 Motion Sense 显示了 Soli 为显式和隐式交互带来无缝上下文感知和手势识别的潜力。我们很高兴继续研究和开发 Soli，以实现新的基于雷达的传感和感知能力。 |
|
|
