一、技术背景与发展趋势 在当前的XR(虚拟现实、增强现实和混合现实)应用中,物理形式的手柄控制器仍作为一种基础的交互方式被广泛使用。然而,物理手柄在高临场感的沉浸式XR应用场景下,需要用户进行适应性学习,其存在操作复杂度高、成本高等先天缺陷。 为增加XR交互的流畅性及沉浸感,香港光云科技(HKSC)于近期推出一项凝聚其多年技术积累的创新性XR交互解决方案——TrueToF® Neural Gesture。它基于Time of Flight(ToF)传感器信号和深度学习来解析用户的精细手部动作,能够在无需手持外设下实现精准手势控制。 该方案充分发挥信号的优势,具有高精度、低延迟等诸多技术优势,为XR应用提供一种更自然、沉浸的交互体验,同时结合了香港光云科技(HKSC)最新的 3D语义理解技术,可以准确识别用户手势信息所表达的行为意图,为各类应用场景提供丰富的用户动作属性标签。例如,在教育领域,学生可以通过手势直观地操控虚拟实验装置;在娱乐领域,游戏玩家能够更自然地与虚拟角色互动;在设计领域,专业人士可以轻松地编辑、调整3D模型等等。相较于传统XR设备的手柄控制器, TrueToF® Neural Gesture能够为更多用户带来创新的XR体验,使用户能够更加轻松地探索和享受虚拟世界,无需手持的的物理外设,同时降低设备成本。 “Training data is Technology” OpenAI首席科学家及联合创始人Ilye Sutskever阐明了精准的训练数据在大模型训练中的重要性。然而在3D空间对手部关节进行精准跟踪,必然需要大量的3D信号数据及其信号空间真值标注。HKSC构建了专业3D数据库—TrueToF® 3D 手势基础Dataset,包含高质量的ToF 3D 信号的RAW数据以及高精度的3D标注数据。其中,3D手势超过10,000种,可供训练的案例超过100,000种,据此其开发了高精度3D手势识别方法。与传统数据集相比,TrueToF®手势训练库中的数据具有精准的3D空间信息,尤其是深度Z轴上的真值数据。TrueToF® 3D Dataset的建立,可以为AI学习提供更加准确、可靠的数据标注,为3D手势识别技术的发展提供有力的支撑。 ![图片](http://image109.360doc.com/DownloadImg/2023/04/2616/265012226_1_20230426045304487.png) TrueToF® Neural Gesture数据库部分手势数据
二、TrueToF® Neural Gesture TrueToF® Neural Gesture是一种基于TrueToF® Neural IP底层成像及3D语义技术的高精度3D手势识别方案。它够在三维物理空间中实现用户手部姿态的高精度追踪,增强现实及虚拟现实下的用户交互体验。与传统手势识别技术及行业内主流方案相比,TrueToF® Neural Gesture具有以下技术优势: · 高响应:基于信号的直接处理 · 高精度:支持双手21个关节点的<1mm精度跟踪 · 3D准度:精准测量传感器与手部各关键点之间的3D距离 · 角度精度:可扩大手势角度精度范围2倍以上,并提升角度分辨率至0.5° · 稳定性:在正常光照和低光环境下,手掌检测的稳定性更好 · 可靠性:在户外环境和低光环境下检测及跟踪稳定,可适应不同应用场景 TrueToF® Neural Gesture在性能方面表现出色,与业界公认的Mediapipe等手势识别方案的关键性能指标上对比如下: ![图片](http://image109.360doc.com/DownloadImg/2023/04/2616/265012226_2_20230426045304909.png) 关键性能指标对比
TrueToF® Neural Gesture现已支持多种手势控制: 1. Gesture Pointer:该手势类似传统的激光指针方式,允许用户用任一手指向并操控虚拟物体。通过TrueToF®技术捕捉手部动作,用户可以轻松地执行这一操作。 2. Controller Pointer:该手势允许用户用双手以虚拟方式体验传统物理手柄控制器的操作。TrueToF®技术可以识别用户的双手动作,并将其转化为虚拟世界中的控制信号。 3. Poke Pointer:该手势允许用户用任一手指(缺省为食指)“戳”虚拟物体,进行精确的选择和操作。TrueToF®技术能准确捕捉这类手势,实现细致的交互。 4. Grab Pointer:该手势允许用户能够用单手抓取和移动虚拟物体,模拟真实世界中的抓取行为。TrueToF®技术捕获手部动作,并实现自然地抓取操作。 通过上述交互式手势响应,TrueToF® Neural Gesture为用户提供了丰富、自然的XR交互体验,将虚拟世界的操作与现实生活中的行为深度融合。同时,该团队也在不断扩充新的手势定义以及自定义手势的接口,以便用户能以更多丰富且自然个性的方式,与虚拟世界中的物体进行沉浸式交互。 三、TrueToF® Neural Gesture的特点 TrueToF® Neural Gesture能够为用户带来一种自由、高精度、低延时的交互体验,源于其技术的多方面优势: 1. 无束缚:TrueToF® Neural Gesture为AR设备提供物理手柄替代方案,用户可通过自然手势控制数字环境,提高便捷性和实用性。 2. 低功耗:基于Qualcomm平台,千次AI推理功耗仅为1.53 mWh,实现高性能手势识别的同时,也可有效延长消费电子产品的使用时间。 3. 高精度:基于AI技术重构的ToF成像流程,空间定位误差<1mm,保证XYZ三轴<1mm精确度,可为终端应用提供准确交互数据支撑。 4. 3D可度量:TrueToF® Neural Gesture AI模型基于3D数据库训练,实现手部关节XYZ三轴0.5°旋转精度度量,适应第一视角应用场景,可克服传感观测视角约束。 5. 低延时:采用Hexagon DSP优化的<12ms的AI推理模型,保障实时交互需求,可应对高速动作和复杂场景。 四、TrueToF® Neural Gesture Benchmark 4.1 暗光测试: 暗光测试是在较暗环境中对手势识别技术的性能进行评估。传统的RGB手势识别方案的性能在这种环境下往往会受到较大影响。得益于优秀的TrueToF® Neural IP信号成像能力,TrueToF® Neural Gesture技术在暗光环境下表现出较高的稳定性,对各类复杂室内光线条件不敏感,这不仅有助于提高手势识别精度,还可增强对光线变化环境下使用的鲁棒性。 ![图片](http://image109.360doc.com/DownloadImg/2023/04/2616/265012226_3_2023042604530597.png) TrueToF® Neural Gesture的不同光照表现
4.2 室外评测: 室外场景的光线条件更加复杂多变,包括强光、阴影等多种不可控因素。TrueToF® Neural Gesture技术在室外评测中同样表现出较高的稳定性和鲁棒性,能够保证户外环境下的高精度的手势识别需求。 ![图片](http://image109.360doc.com/DownloadImg/2023/04/2616/265012226_4_20230426045305331.png) TrueToF® Neural Gesture室外场景表现
通过暗光测试与室外评测可以看出,TrueToF® Neural Gesture在不同光照条件下均表现出优越性能,表明其在各种非限定光照条件的应用场景中能够提供鲁棒、高效的手势识别,可为用户带来优质、稳定且流畅的交互体验。 五、应用场景与未来展望 下一步,TrueToF® Neural Gesture技术将不断优化和创新迭代,努力提升手势估计与识别的适配性及稳定性,同时引入更多AI算法不断提高手部关节识别的精度和语义识别。HKSC相信3D语义等技术创新将持续为XR、Metaverse、AIGC、Autonomous driving等更多场景提供基础应用支撑,TrueToF® Neural Gesture技术也将在更广泛的数字信息领域发挥潜力,为用户带来更加智能、便捷的生活体验。 关于香港光云科技(HKSC) 香港光云科技以“用光连接智能世界”为公司愿景,其创新技术TrueToF®曾获得“高通2021 AI创新应用大赛”第一名。作为专业的ToF Neural IP供应商,现已被全球众多ToF芯片公司认证为专业合作伙伴。 HKSC致力于提供基于ToF Neural IP的授权与导入等系列服务,加速消费级3D传感产品开发,让终端链能以更加快捷简便方式接入AIGC应用。
|