新闻资讯

波音国际Oculus揭秘Touch局限器追踪技能:LED结婚

来源:波音国际日期:2018/01/06 浏览:

  波音国际平台映维网曾在九月分享了一篇关于OculusConstellation追踪系统,其中负责AR/VR设备输入追踪的Facebook工程经理安德鲁梅利姆(Andrew Melim)撰文介绍了他们是如何用基于Constellation追踪的控制器来提高交互保真度。日前,梅利姆再次撰文,并讲解了他们在最近版本更新中所采用的最新LED匹配方案。下面是映维网的具体整理:

  延伸阅读:深入探索Oculus Insight如何提高追踪保真度,确保内向外追踪系统性能

  摄影测量中存在一个经典问题:Perspective-n-Point(PnP),亦即在给定图像及其里面的已知3D点的情况下识别camera姿态。我们要解决的问题是确保控制器追踪工作正常进行,而与PnP问题相反的是,我们已经能够很好地估算出头显camera姿态,但我们希望找到具有已知3D点(LED)的控制器姿态。

  一旦检测到摄像头成像中的每个红外LED,我们需要解决的困难是确定从每个blob到控制器特定LED的映射。我们利用LED位置及其到blob的映射来确定控制器的位置和方向。由于我们仅使用头显数据来执行跟踪,所以我们必须高效地执行这一过程的每个部分。

  计算机视觉中的Blob是指图像中的一块连通区域,Blob分析就是对前景/背景分离后的二值图像,进行连通域提取和标记。标记完成的每一个Blob都代表一个前景目标,然后就可以计算Blob的一些相关特征,如:面积、质心、外接矩形等几何特征。同时可以计算Blob的颜色、纹理特征,而它们都可以作为追踪的依据。基于Blob的追踪属于基于区域的追踪。

  在将blob与LED匹配的过程中,我们围绕可能正确的潜在匹配生成一组假设。为了计算出准确的姿态,我们需要最少的匹配项。我们的算法能够根据我们处理的各种变量来从概率方面确定最可能的正确匹配。不正确的映射会纳入直接导致姿态估计不准确的错误,所以我们需要在每帧中获得足够的准确匹配。

  为了解决LED匹配问题,我们实现了在每帧上运行的多种方法。但广义上讲,它们分为两个主要类别。第一是穷举方法,亦即强制应用解决方案,而我们通俗地将其称为“暴力匹配”。当没有关于控制器位置和方向的先验信息时,我们就会使用这些方法。当从前一个摄像头图像中获得控制器的姿态时,我们就可以在更小的窗口内进行搜索,而我们将其称为“接近匹配”。

  在一开始,管道一次搜索一个camera中的blob。这要求假设生成blob和验证blob都在同一个camera中,亦即意味着一个camera中至少要检测到4个blob才能成功匹配。另外,它非常有可能导致多个camera之间产生矛盾匹配结果。为了解决这个问题,我们开发了全新的匹配管道:在评估不同camera中的LED-blob对应关系时,它将利用立体摄像头校准数据。这使我们能够依靠每个摄像头之间的关系来帮助解决不确定性。

  这个方法改善了单个camera缺乏足够匹配,但当所有camera图像组合在一起时就具有足够匹配的场景。最严重的情况是控制器靠近视场边缘,太远、太近或存在遮挡。

  由于匹配结果是整体评估,而非根据单个camera评估,所以这同时排除了匹配结果不一致的可能性。这有助于扩大控制器的追踪量,并减少因为过于靠近头显或视场边缘而造成的追踪损耗,从而实现了更为流畅的追踪体验。

  从理论上讲,仅给定一个camera图像,你至少需要看到三个LED才能解析控制器的姿态。但是,仅利用三个点会产生多种可能的解决方案,所以我们需要至少四个正确的匹配才能稳健地解析姿态。

  摄像头一次只能看到3个,2个,或者甚至1个LED是相当普遍的情况,所以我们设计了一个可以使用其他信息并支持较少LED的求解器。反过来,它包括以下的全新求解器,并使得我们能够追踪那些特别具有挑战性的方向:

  经过大量的实验,我们发现P2P求解器和P1P求解器都需要非常准确的先验信息(良好的追踪状态和准确的预测),因为它们依赖于预测姿态来作为解决问题的严格约束。

  但在“粗暴匹配”中,先验信息不太可靠,所以我们注意到诸如错配控制器或错配光管之类的问题。这促使我们开发了稳健的状态机,它允许我们能够在各种求解器之间进行转换,从而确保我们使用正确的方法来处理Quest和RiftS每天遇到的各种困难动作。

  尽管这些改进极大地帮助了我们,但我们在改善整体体验方面还有更多的提升空间。

  免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

  继基于“复仇者联盟”宇宙的《Avengers: Damage Control》之后,The VOID又为粉丝带来了与索尼影业合作的《Jumanji: Reverse the Curse》。这个基于“勇敢者游戏”的作品将于11月27日登陆特定的The VOID门...

  增强现实已经吸引了科技公司和创意社区的关注,但AR内容创作工具的缺乏阻碍了行业的发展和普及。波音国际为了帮助AR实现其潜能,情况必须有所改变,而Adobe认为答案是支持iPad和iPhone的全新创作工具Aero。

  氢能汽车是以氢为主要能量作为移动的汽车。氢能被视为全球最具发展潜力的清洁能源之一,并被 不少国家、车企及学者认为是“终极新能源汽车解决方案”。氢能源汽车分为两种,氢内燃机汽车和 氢燃料电池汽车...

  中信银行私人银行与胡润研究院联合发布《进取·使命·思变2019解码中国“新生力”白皮书》,中信银行私人银行携手胡润研究院首创“新生力”概念:全球视野,资源集聚能力强,主动创新意识敏锐是“新生力”的...

  据来自digitaltrends的最新消息称,苹果公司已经重启了AR头显的研发,并且该公司将于Valve合作开发一款AR头显,此产品将在2020年下半年发布。

  砍柴网(创立于2013年,始终秉承观点独到、全面深入、有料有趣的宗旨,在科技与人文之间寻找商业新价值。

首页
电话
短信
联系