AR、VR技术虽然有所差别,但是它们都面临着相同的问题——交互。简单来说,就是人的动作如何被精确捕捉,然后反馈给设备,最后实现相应的操作。例如握着手柄游戏的你如何才能让自己在AR、VR的世界里自如的挥舞一把宝剑。
目前常用的交互方式大多是采用惯性测量单元(IMU)或者光学动捕技术来实现的。
IMU通常包含了加速计、陀螺仪、磁力仪这三种传感器。因为成本优势,目前的大部分智能手机都有配备,他们能够帮助你的手机检测人体的动作数据,在导航软件和计步器中都能见到它们的身影,不光是手机,如今不少的游戏手柄都利用了这项技术。不过IMU的劣势也非常明显,那就是无法获取物体在空间中的准确位置。设备只知道物体进行了怎样的动作,但是却不知道物体运动了多远,到了多高的地方。
为了解决深度获取的问题,也为了进一步提升精度,很多设备采用了红外线光学动作捕捉方案。不过它的缺点也非常致命——阳光、灯光等都是红外光源,所以在室外或者室内有光源的情况下红外系统的运行就不够理想,而功耗大的问题也会给实际使用带来不少麻烦。有一些设备采用了光学立体成像技术,而该技术需要相当大的计算量获取深度数据,高分辨率和高功耗的要求同样是坑,再加上对可见光的依赖,在低光亮环境下无法使用,这种设备似乎实用性再次被束缚。
想要妥善的解决空间中的交互问题,看样子并不容易,但是不要怕,我们还有两种“黑科技”——超声波和电磁波。
超声波动捕方案
我们之前提到过,来自伯克利大学Berkeley Sensor and Actuator Center (BSAC) 的SWARM lab 正在做一项基于超声波传感器技术的研究项目,了解更多可以查看酱深度 | 跟蝙蝠学空间定位的AR交互方案。

他们在设备的手柄和头盔中各装三个指甲大小的传感器。

被镶嵌在设备内的传感器会向空气中源源不断地发射biubiubiu的超声波。

就像蝙蝠能够通过超声波的回声定位,传感器发出的超声波遇到障碍传回后,通过通过测量传回的时间就能测出距离。

当多个传感器组合在一起,将多个传感器获取的距离数据进行计算,就能够知道物体精准的位置, 这个原理和GPS卫星定位类似。

这种超声波方案的最大优势在于不光定位精准,传感器体积小巧能够被推广到各类的设备中,同时低功耗堪比IMU。这样一来,一个精确的360°无死角、低功耗、低延迟的动作追踪系统就完成了,简直完美!

电磁波方案
超声波固然优秀,电磁波也不差!
谷歌的ATAP团队(Advanced Technology and Project)带来的project soli也是顶呱呱。如果说超声波的空间交互方案相当于声呐的话,那么project soli大概就像雷达。
与基于视觉或红外光的现有方法不同,雷达是利用电磁波探测目标的电子设备。这种新颖的方法,使用传感器和数据分析技术,可以检测亚毫米精度的精细运动。
它采取了单发射,多接收的天线设计 。在天线前面的障碍物会反射电波回到雷达天线,而反射信号的能量、延时以及多普勒效应则对应了物体的各项特征,包括物体的大小、形状、材料、距离以及速度。
根据电磁波传回的时间t可以测量距离,频率变化fd则是由于物体运动产生的多普勒效应造成的。

把时间和频率进行算法处理,可以获取所需的RDM(Range Doppler Map)

RDM的每一格都对应着目标当前的距离和运动速度。因为不同的物体在不同的距离有各自有不同的速度,RDM便实现了同时追踪多个物体的效果。比如下图是一个正在移动的手掌,每一个绿框可以是被识别出来的手指。

和上文提到过的超声波方案类似,在有多个接收天线的情况下,通过比较每个天线之间RDM的相位差,我们可以计算出每个物体的到达角度,配合上之前算出的距离,这样就实现了对物体的空间定位。如果跟传统的深度感应器进行校准之后,则可以获得三维深度图。

谷歌在介绍Soli的时候专门强调Soli不像传统的雷达传感器,并不需要很大的带宽和空间解析度。事实上Soli的解析度比手指可以实现的动作精度更低,所以对手指运动的捕捉需要分析反射信号在时间上的动态变化,这也对手势识别的算法提出了更高要求。

在操作时,可以通过两个手指之间的捏合来执行点击操作,通过拇指与中指的摩擦滑动来进行选项的滚动和调整,当然,它也可以检测握拳或手指交叉等的动作。握住vr游戏里的道具——手部握拳即可,隔空打字,都能在soli的技术支持之下完成。

两种方案对比
1. 延迟:超声波方案的延时性虽然已经很不错了,但对比电磁波和声波的差别,电磁波毫无疑问拥有更快的传播速度。考虑到未来的发展前景,project soli在动作捕捉的实效性方面可能更有优势。
2. 精度:Project soli达到了亚毫米精度,相比超声波方案,精度更高。
3. 应用范围:Project soli技术让人们可以用双手实现各种操作,但是超声波芯片目前主要还是以嵌入诸如游戏手柄这样的设备来实现操作。
4. 功耗:虽然project soli已经将功耗降低至0.054瓦,未来还有降低的空间,但是超声波芯片的功耗目前已经低至400微瓦,功耗上soli是超声波的135倍。超声波拥有低功耗的特点。
5. 价格:当然这是最重要的,造价上project soli更高,超声波则相对较为亲民。
超声波和电磁波的空间交互方案可谓各有优势,难分胜负,或许没有最好的交互,只有最合适的交互,在不同的需求下场景下将会有不同的选择。
AR酱原创,转载务必注明
微信号AR酱(ARchan_TT)
AR酱官网:www.arjiang.com