Facebook分享如何测量力反馈手套的感知延迟

  • 时间:
  • 浏览:57
  • 来源:5分快乐8APP下载_五分快乐8APP官网_5分快乐8APP下载官网

我在相当于一年多前加入Facebook Reality Labs(FRL)。我有幸与世界级的专家媒体媒体合作,并同去创造创造发明最前沿的新技术。遗憾的是,我付出的代价是必须再通过博客介绍我的工作。有关我工作的一切都不 最高机密。但今天请况趋于稳定了变化。

我将介绍我负责的有两个 软件工程项目。它是怎么可否带来意想必须的发现。是那此致使大伙儿儿进行用户研究。这产生了一定的新发现。实际上,这篇博文就说 我简单介绍了FRL的这些研究。

1. 触觉手套演示

大伙儿儿的有两个 研究项目是触觉手套。迈克尔·亚伯拉什曾在OC5大会通过有两个 简短的视频进行了展示:在视频中,一位用户正在穿戴一款触觉手套。在虚拟现实中,系统都都后该 追踪并删改解释她的双手。当她用虚拟手触碰虚拟积木塔时,物理手套将产生触觉反馈。

这些演示的早期版本中趋于稳定有两个 现象图片:延迟。音频和触觉反馈明显滞后。用户是手触碰积木塔后来才开始英语 英语 感到或听到相应的反馈,彼此都不 同步实现。

我喜欢优化现象图片。首个任务之一是测量。对于纯粹的软件现象图片,这十分简单。我就发现各种用于分析代码性能的工具。但测量硬件延迟则更为困难。幸运的是,我有先例能都后该 参考借鉴。

2. 游戏输入延迟

游戏开发商多年来总是在测量输入延迟。“感觉”好的游戏和“感觉”不好的游戏之间的区别好难解释,而且通常难以量化延迟。

输入延迟是有两个 简单的概念。从按下按钮到马里奥开始英语 英语 跳跃,这期间都要多长时间?从按下按钮到电视像素趋于稳定,这期间又都要哪哪几个毫秒?这些快速巧妙的测量办法是利用智能手机。我就以240 FPS录制慢动作视频,而且计算帧数。

更好的办法涉及这些定制控制器。控制器接入含有LED的电路板。检测到按钮信号时,LED亮起。结合高速视频,我就实现更精确的测量。

比这些更好的解决方案是,修改游戏并令其渲染黑色方块,而且黑色方块都都后该 在按下按钮时变成白色。我就将光传感器接到显示器,原先就要提供非常精确的测量。

3. 端到端延迟

现在大伙儿儿知道应该怎么可否测量延迟了。很好。

不尽然。上述办法是用于测量按钮到光子的视觉延迟。大伙儿儿关心的是缝制在手套内的触觉致动器的延迟。摄像头可排不上用场。

更糟糕的是,大伙儿儿没人按钮。大伙儿儿采用的是先进的手部追踪系统。当物理模拟检测到虚拟双手的接触时,触觉反馈就将产生。

大伙儿儿能都后该 将触觉反馈单独甩掉来,但大伙儿儿关心的是演示体验的端到端延迟。这包括硬件追踪系统,內部软件,第三方软件,设备驱动系统进程和输出硬件。

下面是大伙儿儿的测量解决方案:

大伙儿儿将物理桌面与虚拟桌面对齐。当用户的物理手部轻敲物理桌面时,大伙儿儿的虚拟手部同去将轻敲虚拟桌面。

而且大伙儿儿使用有两个 麦克风。有两个 指向桌面并记录物理接触的声音。第八个是手套內部的接触式麦克风,其用于记录触觉响应。有两个 麦克风都输入至都都后该 同步音频流的现场录音器。

接下来,大伙儿儿不计算视频帧,就说 我通过Nuendo打开音频流。大伙儿儿手动注释音频流,而且计算增量时间,亦即大伙儿儿的端到端延迟。

大伙儿儿的触觉延迟测量速率高达1000毫秒。本人都知道这很糟糕。但这是大伙儿儿第一次拥有了具体的数字。

这段时间里边,相当于有1000毫秒来自于第三方软件。大伙儿儿都不 在开展传统项目。大伙儿儿希望触觉设备都都后该 以10000赫兹的频率运行。这会原困各种奇怪的边缘请况。一旦大伙儿儿知道现象图片出自哪里,大伙儿儿就都都后该 调整行为并解决里边件的死亡螺旋。

大伙儿儿的软件管道贯穿多个子系统。它们在多个系统进程上运行,并以不同的速率更新。

系统进程现象图片原困周期浪费,有时甚至是损坏的信号。FramePro是有两个 可视化多系统进程行为的优秀工具。

为了验证大伙儿儿的修复,大伙儿儿用示波器测量了触觉致动器。作为有两个 软件人,这对我来说是这些有趣的新体验。

4. 三模态延迟

细心的读者可能可能注意到Nuendo截图中的八个音频流。我的主要目标是衡量和改善触觉延迟。但可能大伙儿儿的系统实际上属于三模态:大伙儿儿关心触觉(手套),视觉(VR显示)和音频(耳机)。

为了测量这三者,大伙儿儿记录了八个同步的音频流:

检测物理接触的桌面麦克风

检测手套触觉的接触式麦克风

用于检测Rift头显音频的麦克风

用于检测显示变化(黑色到白色)的光电二极管

大伙儿儿同去使用接入USB的电容模拟板作为大伙儿儿的物理触碰目标。这使得大伙儿儿都都后该 获取软件时间戳,后者可用来测量追踪系统的延迟。

这时,大伙儿儿的积木塔演示感觉可能好了就说 我就说 我。触觉反馈的延迟感和断开感可能有了很大的改善。用户都都后该 在触及积木的同一时刻感受到触觉。

5. 感知同去性

人类的大脑非常奇特。人类非常善于根据多种感官信息来源来建立世界的心理模型。但有时大伙儿儿的感官可能趋于稳定误导性。你可能可能注意到我后来的信息图中趋于稳定有两个 现象图片。视觉,触觉和音频的延迟不一样。触觉延迟必须1000毫秒,而音频慢了相当于40毫秒。

在大伙儿儿优化演示内容的后来,其他同学询问否是能都后该 禁用音频。接下来趋于稳定的事情令我感到震惊。触觉感觉更加敏感。假使 我就要和你分享这段经历。启用音频后,触觉感觉很棒。关闭音频后,触觉感觉超级棒。都不 更好,就说 我显著更好。大伙儿儿兴奋地跑到办公室,并对大伙儿儿进行测试,看看大伙儿儿否是都能感受到这些差异。结果人太好没人。

具体来说,大脑将多个感官信号融合到统一的感知事件中。当你看过,感觉到,而且听到你的手部轻敲桌面时,大脑将这这些感官刺激解释为单一的触碰事件。

当其含有两个 信号(如声音)稍微再次出現延迟时,大脑对这些刺激的感知将随之变化,可能声音会“捉住”这些刺激。这使得大伙儿儿有种触觉趋于稳定的时间晚于实际接触时的感觉。

下面是奇异和有趣的地方。这些感知变化是自动的和非自愿的。即便你知道音频趋于稳定延迟,大脑都不 会考虑延迟并进行纠正。无论大伙儿儿怎么可否专注于指尖触觉,延迟的音频仍然会原困你认为触觉的响应性有所降低。

6. 心理物理学

现在大伙儿儿背后再次出現了各种有趣的现象图片。哪哪几个延迟属于越多呢?刺激都要同步吗?降低延迟和增加同步,哪个更重要呢?

为了开始英语 英语 回答上述现象图片,大伙儿儿进行了一次心理物理实验。

大伙儿儿的第一项研究十分简单。大伙儿儿希望评估视觉和触觉刺激之间所能允许的延迟时间。这项测试在虚拟现实中进行,而且删改地追踪和解释双手。被试执行了操作虚拟立方体的任务。

为了模拟不同的延迟,大伙儿儿通过写代码的办法来注入额外的延迟。为了允许大伙儿儿尽早触发触觉刺激(甚至在手指触及表外外皮后来),大伙儿儿同去编写了这些简单的预测代码。这是这些模拟比大伙儿儿系统所能允许的更低延迟的办法。大伙儿儿的预测代码不适用于消费产品,但它在受控环境中运行良好,你都都后该 告诉被试确切的行为办法。

可能在视觉响应后的必须1000毫秒内播放触觉响应,大多数被试都不 认为视觉和触觉刺激是同去趋于稳定。在大伙儿儿的手套演示中,触觉响应仅在视觉响应后20毫秒内播放。

有趣的是,可能触觉响应比视觉响应早20毫秒以上播放,这些同去刺激感就不想再次出現。这是有两个 70毫秒的宽松窗口,但它都不 以t = 0为中心。

7. 三模态同去性

大伙儿儿的初步研究侧重于简单的双刺激测试。接下来,大伙儿儿进行了一项更复杂化的三模态同去性研究,包括视觉,触觉和声音。

这是有两个 非常难以建模和可视化的现象图片。大伙儿儿可能有了数据,但分析仍在进行中。以下是初步结果:

这张图非常密集。大伙儿儿下面将分解说明。

原点代表所有这些刺激都不 同一时间趋于稳定的请况。对于图中的这些位置,其表示相对于视觉刺激的时间的不同步进行。X轴表示音频刺激相对于视觉刺激的延迟。正X值表示声音是在视觉再次出現后播放。负X值表示声音是在视觉再次出現前播放。Y轴之类,但这是相对于触觉刺激。颜色编码是被试将这些刺激评定为同去趋于稳定的百分比。

好了,这原困那此呢?我发现了两件有趣的事情。

首先,“热点区域”都不 以原点为中心。被试对在视觉刺激后来趋于稳定的触觉或音频刺激非常敏感。

而且,其价值形式更接近于椭圆。被试对触觉延迟的敏感度高于音频延迟。这些模态的异步性更加明显。相反,音频延迟往往更容易接受。这与先前的描述一致,即音频“捉住”触觉,甚至可能使其感觉上像是再次出現了延迟。

而且,目都要得出任何有力的结论还为时过早。大伙儿儿的样本量非常小,大伙儿儿的初步实验非常简单。大伙儿儿发现,改变交互类型会对可接受的异步感影响很大。结果可能会随着不同的任务或不之类型的刺激而趋于稳定显著变化。大伙儿儿向被试提出的调查问卷可能没人捕捉到积木块塔演示中遇到的微妙“延迟”梯度。

最后,大伙儿儿希望提供“创建引人入胜的触觉用户体验”的指南。大伙儿儿还没人走到那一步。大伙儿儿对三态同去性的研究尚不删改。其他同学可能会说大伙儿儿的旅程只完成了1%。不过,大伙儿儿有有两个 不错的开局。

8. 最后的想法

这就说 我我今天的故事。我有幸都都后该 研究有两个 有趣的现象图片。大伙儿儿同去发现了意想必须的事情,而且大伙儿儿对人类感知的原理有了更多的了解。非常感谢看过最后的读者。我非常喜欢这些项目的工作。很荣幸有可能与你分享。