如今不少VR游戏或应用已经开始引入更高精度的手势交互，用户渐渐开始可以通过VR头显，实现虚拟世界中的“裸手”操作，用一双手就能创造“魔法”。当然，这样的手势互动依然还需要更高精度的技术支持。

就在近日，爱奇艺深度学习云算法团队联合慕尼黑工业大学的研究者提出了一套高精度手部重建系统，通过算法“学习”各种精度的手部图片即能实现高精度 3D 重建。简言之，这个系统“适配”到带有摄像功能的眼镜或者头盔中，那么使用者即使不用手柄，也能实现与虚拟世界的高质量对话。从效果看，该论文在已经在颇受认可的HO3D在线测评榜上，持续数月排名第一。在Freihand 在线测评榜上，截至论文编写时仍排名第一。该技术很可能在爱奇艺下一代VR设备甚至是“元宇宙”虚拟现实中大显身手。

当VR头显设备能够逐渐摆脱传统手柄的束缚，让用户能实现更加自然的手势交互与应用体验时，如今已然成为了VR新风口的“元宇宙”或许才真正拥有了走出电影，走进现实的机会。

更精细的手势识别技术，让用户打卡平行时空的多重身份

当下，通过手势识别打破次元壁，获得更佳临场感，已成为当前VR、AR消费级头显设备重点研究的方向之一。这也是为什么自从Oculus Quest手势追踪功能推出后，便被Oculus寄予厚望。

为了鼓励更多开发者尝试该功能，Oculus在不久前重点推介了基于手势追踪功能开发的VR应用First Steps With Hand Tracking以及VR益智游戏Tiny Castles。其中，Tiny Castles 尽管游戏关卡设计并不复杂，动作场面也只能算跨过了及格线，但这款游戏最重要的一点其实在于，它是一款真正面向普通用户，并且“纯粹”采用手势追踪功能而开发的VR动作益智游戏。其强调并主打“裸手”操作，当玩家将扮演一个神明角色，通过手部交互系统裸手克服各种挑战，包括解决复杂谜题、操作古老机器、与敌人作战等。

 

这意味着玩家可以真正放下手柄，完全依靠VR头显对于双手的手势识别来完成相应的游戏操作。这个操作不仅更符合使用直觉，同时也让人看到了VR游戏更大的可能性。

目前已上线自带手势识别功能的VR游戏也充分说明了VR应用在探索“一双手在虚拟世界为用户带来更沉浸临场感”的迫切。Facebook和magnopus曾开发VR手势游戏Elixir，以及VR魔法游戏Waltz of the Wizard。在这两款游戏中，用户可以用手与房间中的魔法物件互动，然后获得多种有趣的魔法。

 

Waltz of the Wizard在更新了全新的DLC之后，用户能利用一种魔咒来保护自己不受敌人伤害。实际上，这一种魔咒是游戏的关键，因为它支持自定义，就像是《哈利波特》中巫师使用魔杖所能达到的效果。施法的方法有许多，用户可以双手并用使出全力，或是蓄力再发射，发射咒语的速度也会影响魔咒光束的效果，同时也可以用手势点燃烟火、握住魔药瓶、摆弄物品、隔空写字、隔空取物。

而Cubism这样的益智类轻量游戏，更是以完美将游戏性与手势操作的结合“声名远扬”。在游戏中，使用拇指和食指捏合可以完成“拿”的动作，捏住不放可以“转”，松开捏合的两指完成“放”。捏住透明立体图形边缘的细线可以进行观察。

 

裸手手势识别在VR游戏中的应用正在告诉用户，在一个个游戏世界里，用户不再只是用户，可以真正融入这个世界，获取在另一个空间的多种身份。

如今从最好的原生VR游戏《半条命：爱莉克斯》来看，在这类游戏场景下，尽管人们与虚拟世界的交互尽管已经非常成熟，但若要完成捡东西、扔东西、扣动扳机等复杂动作，更精确的手势操作依然还需要手柄的辅助，这不仅仅是《半条命：爱莉克斯》独自面对的挑战，也是让很多游戏开发者头疼的问题。

不论是Facebook自家的Oculus Quest 2，还是国内少有专注于VR硬件制造与内容开发的爱奇艺所推出的奇遇2Pro，其手柄设计都还是只能尽可能利用6DOF手柄去模拟真实的手部动作与手势交互，但这一切转化到游戏中时，多少还是会与现实场景有所差异，从而造成沉浸感不足的遗憾。

因为直到今天，尽管VR头显已经在运算能力与手势识别上有了相当巨大的进步，但对于入门级的设备而言，依然面临着相当大的技术瓶颈。“尤其是在对于真正的“裸手”手势识别的实现，这不单单只是硬件层面的问题，更多还需要依靠软件算法上的进步，才能获得更高精度的识别，从而带来更加具有临场感与沉浸感的手势操作，并进一步让VR用户得以摆脱手柄的束缚，完全沉浸在虚拟世界中。” 爱奇艺深度学习云算法团队表示。

当然这类技术的实现在早期往往都需要依靠海量的学术研究作为技术突破的基础，近日，计算机视觉领域国际顶会 ICCV 2021 收录了一篇题为《I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling》的论文。

论文由爱奇艺深度学习云算法团队联合慕尼黑工业大学的研究者完成，他们提出一套名为 I2UV-HandNet 的高精度手部重建系统，通过算法“学习” 超高精度的人手图片即能实现高精度3D手部重建。

用更通俗易懂的方式来说，如果将来能让这项技术应用到带有摄像功能的AR眼镜或者VR头显中，那么使用者即使不用手柄，也能实现与虚拟世界的高质量手势互动。

目前，研究者们与技术人员正在尝试将该技术应用到爱奇艺下一代VR设备中，从而减少对手柄的依赖，打造出更轻、更快和更舒适的VR设备。同时，手部重建、手势交互技术目前也同步在爱奇艺其他业务场景和硬件终端进行落地探索，未来无疑也会被应用到更多现实场景中。

毫无疑问，手势交互的不断演进，除了能加强更多轻量级VR游戏的开发，也对于正在逐渐走出纸面走向现实的“元宇宙”产生极大助益，毕竟当人们想要在一个真正无限的虚拟世界里大展拳脚时，绝对不会想要被手柄这类“古典”设备束缚住了手脚。

“元宇宙”大门渐开，技术演进让沉浸娱乐更早到来

2018年史蒂文·斯皮尔伯格执导的电影《头号玩家》中展现的风靡全球的虚拟游戏世界“绿洲”（Oasis），其实就是元宇宙最简单直接所应该呈现的样子。为了逃避现实世界的混乱，玩家纷纷投入绿洲的怀抱，在其中获得新的身份来社交和娱乐。绿洲不仅能为玩家提供逼真的感官体验，本身还拥有完整社会形态、商业经济规范，数字内容和物品都可以买卖。而正是这些无限类似于现实世界的虚拟世界规则，构成了元宇宙。

回到现实中，社交、娱乐科技公司也正在积极定义着他们理想中的元宇宙。

一直致力于拓展VR应用边界的Facebook，恰恰也还是元宇宙的强力推行者。其CEO马克·扎克伯格，他在6月底内部员工演讲中表示，Facebook的首要目标就是把科幻小说里的“元宇宙”带入生活。

扎克伯格说：“我认为在未来五年左右的时间里，在我们公司的下一个篇章中，能让人们对Facebook的认知从社交媒体公司转变为元宇宙公司。”

VR显然是这个篇章中重要的一页。对于VR用户来讲，由于他们主动选择进入VR中的虚拟世界，因此不容易受到恐怖谷效果影响。他们对于VR的预期，更多是希望从VR中获得“超能力”，而不是还原日常生活，因此即使VR的体验感已经超出自然，也能够给人一种沉浸的感受。这不仅挑战开发者需要使用创造力，同样挑战技术公司的技术创新能力。

就像《半条命：爱莉克斯》手势交互设计师Kerry Davis在之前接受媒体采访时提到的：“很明显，用虚拟手来代表手势交互是重要的。即使游戏中没有采用全身虚拟形象，你至少可以通过虚拟手来代表自己，融入VR中的场景。就像在现实生活中那样，你在VR中也会渴望与周围环境自然互动，因此在VR中体现出手的外观足够重要。”

由此可见，自然的手势识别在VR交互中是一个十分重要的技术，甚至可以说是被视为计算机理解人体语言的一种必要途径。

但手部、人体重建却是用自然的肢体语言实现人机交互的关键技术，相比一些可穿戴设备，更能带来体验和沉浸度。例如手柄无法模拟手指每一个关节的活动，手部重建则能实现更加精细的操控。这意味着能够扩展至游戏、数字化工厂、虚拟场景培训等更多场景，让人在虚拟世界中更具存在感。

人类在虚拟世界获得的真实程度通常用临场感和沉浸感来形容。而相比于沉浸感，临场感更强调人和场景之间的关系，也可以说是人在场景里的存在感。

扎克伯格说：“从上中学开始，我真正想要做的事情基本上给人一种打造具体化互联网的感觉，在那里你可以置身于环境中，传送到不同的地方，和朋友待在一起。”

而如今能够带来这种临场感的，除了VR/AR之外，他还加入了元宇宙：“VR和AR所能做的，以及元宇宙将广泛帮助人们体验的是一种临场感，我认为这种临场感会让我们互动方式变得更自然。”

这一切的实现其实仰赖的依然是像Facebook或是爱奇艺这样的将娱乐与科技相结合的平台级公司，以及他们不断实现的技术突破。一方面用户需要能够在其中感受到接近真实却又超越真实的体验，另一方面通过手势识别打破次元壁，获得更佳临场感，又成为了能够让消费级VR设备进一步降低成本向更广泛的普通用户普及的核心要素。

在对于如何将技术不断应用到内容中，以求让用户不断获得沉浸感上，爱奇艺始终处在探索到前沿。今年年初，爱奇艺就通过XR“虚实之城”项目提供了其对于“元宇宙”的部分实现：打造一套通用解决方案，对现有内容IP进行技术扩展，从而在某个特定场景内打造出媲美“元宇宙”的体验。

“XR”+影视剧集、综艺、话剧、演唱会、交响乐、体育竞赛...每种结合可能成为“元宇宙”构成之一。而随着VR设备的进一步普及，以及爱奇艺能够在未来的设备上基于更低成本的深度学习算法完成的高精度手势识别，不仅仅只是游戏，更多使用场景或硬件终端都将会极大的增强相应的“沉浸体验”。

未来，虚拟偶像直播当中，如果要跟用户直接沟通的话，那种高精度的手势识别可以有更好的一些体验。Facebook与爱奇艺这样的平台级公司以手势识别和与交互的范式革新的探索，展开了人类深入虚拟世界探索的更多可能。当用户在虚拟世界里，能够近乎真实的感受到一双手能自如地操控时，人类关于“元宇宙”的构建或许才真正起步。