Meta专利探索将真实世界对象通过MR集成到VR环境中)将真实世界对象合并到虚拟现实环境中的现有方法是,渲染与真实世界对象相对应的混合现实对象。基于真实世界对象的属性,VR应用程序可以通过改变对象的外观来渲染MR对象。
例如,真实世界的沙发可以渲染为户外VR环境中的公园长椅,或者VR环境中的体育场座椅。但换句话说,当用户从一个VR应用移动到另一个应用时,VR应用可能限于仅改变真实世界对象的外观,而不改变MR对象的功能。
但有时候,针对不同的VR应用,可能存在着不同的渲染需求。例如,VR流媒体应用可能希望将真实世界的沙发呈现为MR沙发,亦即真实对象的功能与MR对象的功能一致。但对于VR西部游戏应用,其可能希望将真实世界沙发渲染为MR岩石堆,并将其用作需要绕开的障碍物或者作为防御性掩体。
在名为“Platformization of mixed reality objects in virtual reality environments”的专利申请中,Meta就介绍了一种可以确定真实世界对象的基本属性(例如大小、形状、功能),并有效地将真实世界对象作为MR对象集成到VR环境中的方法。简单来说,VR系统可以使用真实世界对象的属性信息来确定MR对象的适当功能。
例如,在一个场景中,真实世界的沙发可以呈现为MR沙发,并且在另一个VR场景可以中呈现为MR岩石堆。
在特定实施例中,计算系统可以接收转换到第一VR应用的第一VR环境的指令;计算系统可以访问真实世界对象的属性信息;计算系统可以基于真实世界对象的属性信息,为一个或更多个真实世界对象中的每一个确定适用的第一混合现实MR功能。
计算系统可以为VR显示设备呈现第一VR环境,并纳入与一个或多个真实世界对象相对应的MR对象。每个MR对象可以包括适用于对应的真实世界对象的第一MR功能之一。所以,用户可以捕获他们的真实世界环境,然后将相关数据作为供其他VR应用访问并插入的MR平台,亦即“MR对象的平台化”。
图3示出了VR系统100的组件。存在线和线。真实世界对象可以包括物品(例如键盘、杯子、等)和家具(例如桌子、椅子、沙发等)。线可以对应于用户的办公室、客厅、厨房等。
例如,VR流媒体应用可以将真实世界椅子作为MR沙发。作为另一示例,VR棋盘游戏应用程序可以利用真实世界的桌子作为棋盘游戏的MR游戏区域。
在特定实施例中,VR系统100可以接收转换到第一VR应用173的第一VR环境160的指令。用户可以选择VR应用173。例如,用户可以选择VR流媒体应用,并且VR系统将接收转换到VR电影院环境的指令。
图6示出了对应于线。创建用户界面(UI)157可以出现在VR显示设备135,以供用户标记要渲染为MR表面156的线的表面。
用户可以调整MR表面156的尺寸,例如,通过调整创建UI 157的参数,或者通过选择MR表面156并将其边缘拖动到期望的尺寸。
MR表面156的尺寸可以由VR系统100半自动地或自动地确定。然后,用户可以通过显示线的透视视图来查看与线,同时意识到其他线的存在。
图7示出了示例MR对象155及其相关MR表面156。MR表面156可以对应于3D MR对象155的2D表面。线可以对应于平面表面。MR对象155可以包括线。
换句线可以对应于边界框。可替换地,MR对象155的MR表面156可以符合真实世界对象的尺寸。
图8-9示出了MR对象155的示例定制特征。参考图8,VR系统100可以用一个或多个组件填充边界框164。例如,与座椅相对应并具有边界框164的MR对象155可以填充有MR垫、木板、瓷砖等。
另外,VR系统100可以允许用户定制具有各种配置的MR对象。例如,MR床可适配为包括诸如扶手、靠背或附接点的部件。同时,可以使用一个或多个平面投影162来确定边界框164的尺寸。
参考图9,VR系统100可以将项目合并在壳174内(例如包围VR环境160的壳),并利用线。VR系统可以包括虚拟UI 190。虚拟UI 190可合并到MR对象中。
VR系统100可识别用户可作用于其上的MR对象(例如MR表面156),并与用户确认MR对象可用。例如,VR系统100可以向用户确认MR桌的MR表面156可用作桌面。另外,VR系统100可以自动或半自动地将线可以扫描线并识别可以用作MR对象155的线示出了对线可用于手动、半自动或自动地捕捉要用作MR对象155的线,并且手动地将MR功能分配给MR对象155。
作为另一示例而非作为限制,VR系统可以使用对象识别算法来识别真实世界对象的对象类型,并要求用户确认是否将真实世界对象添加为MR对象,并将MR功能应用于MR对象155。作为又一示例而非作为限制,用户VR系统100可以使用对象识别算法自动识别线,并自动将其添加为VR环境中的MR对象155(即不需要用户确认),并将适当的MR功能分配给MR对象155。
图11示出了MR对象155的属性。MR对象155的一个属性是MR对象155移动176。即,当线移动时,可以更新VR环境160内的对应MR对象155的位置。MR对象155的另一属性是MR对象155功能。VR系统100可以基于其功能自动地对线进行分类。
作为示例而非限制,现实世界的桌子可以分类为MR桌子,而现实世界的沙发可以分类成MR沙发。作为另一示例而非限制,现实世界的桌子可以分类为MR柱并供用户隐藏在后面,而现实世界的沙发可以分类成MR障碍物。
图12A示出了基于VR环境160定制MR对象155的外观。MR对象155的外观和/或风格可以定制为与VR环境160融合或对应。参考图12A的左侧示例,在“破旧”的VR环境中,现实世界的沙发可以渲染为破旧的MR沙发。参考图12A的中心示例,在“豪华度假村”VR环境中,现实世界的沙发可以呈现为豪华MR沙发。
图12B示出了基于VR环境160定制MR对象155的功能。MR对象155的MR功能可以定制为由VR应用程序使用并且适合于VR环境160的功能。
参考图12B的左侧示例,在“策略游戏”VR环境中,真实世界的桌子可以呈现为MR棋盘游戏的棋盘博冠体育安卓版。参考图12B的中心示例,在“博物馆”VR环境中,真实世界的桌子可以呈现为持有MR绘画的MR大理石柱,并用作用户必须绕过的虚拟障碍物。参考图12B的右侧示例,在“露营”VR环境中,真实世界的桌子可以呈现为MR石头塔,并允许用户踩在真实世界的桌面上。
图13示出了用于对MR对象155进行分类的用户界面。专利描述的方法可以利用用户界面来帮助用户对MR对象155的MR功能进行分类。
在特定实施例中,可以向用户呈现用于对MR对象155进行分类的用户界面,以对MR对象154应该呈现为的对象类型进行分类。
VR系统100可以针对一个或多个线中的每一个,基于其属性信息来确定适用于真实世界对象的一个或更多个第一MR功能。适用于线的MR功能可以对应于线的一个或多个真实世界功能。
作为示例,如果真实世界的沙发具有提供坐下位置的真实世界功能,则MR功能将相应地提供坐下位置。另一方面,适用于线的MR功能可能不对应于线的一个或多个线B)。作为示例,现实世界的沙发可以在一个VR环境(例如在VR流媒体应用中)中呈现为MR沙发,并且在另一个VR场景(例如VR西部游戏环境中)中呈现为MR岩石堆。
Meta Patent Platformization of mixed reality objects in virtual reality environments
名为“Platformization of mixed reality objects in virtual reality environments”的Meta专利申请最初在提交,并在日前由美国专利商标局公布。