Meta研究人員展示了基于人工智能驅動的身體姿勢系統最新成果。

目前的VR系統開箱即用，卻只能追蹤頭部和手部位置。盡管基于稱為逆運動學(IK)的算法可估計肘部、軀干和腿部位置，但有時僅對肘部準確，而對腿部則很少正確。對于每組給定的頭部和手部位置，都有太多潛在的解決方案，考慮到IK的局限性，現在的一些VR應用程序僅顯示手部，更多的應用程序僅顯示上半身。

如今，智能手機應用已能基于計算機視覺進行VR身體追蹤，但這需要將手機安裝在角落，并且只有當用戶面對它時才能正常工作；采用SteamVR追蹤的PC VR頭顯基于額外追蹤器（例如HTC Vive Tracker）支持更高質量的身體追蹤，但購買足夠多的身體追蹤設備需要花費數百美元。

(資料圖)

去年，三名Meta研究人員展示了QuestSim，這是一種強化學習模型，可以僅使用Meta Quest 2及其手柄追蹤數據來估計合理的全身姿勢。不需要額外的追蹤器或外部傳感器，生成的化身運動與用戶的真實運動相當接近。研究人員甚至聲稱，由此產生的精度和抖動優于IMU追蹤器，例如索尼Mocopi。

但導致QuestSim失靈的一個極端情況是，當用戶與現實世界交互時，例如坐在椅子或沙發上時。處理這個問題，尤其是坐姿和站立之間的過渡，對于社交VR中的逼真完整身體至關重要。

在一篇名為Quest Env Sim的新論文中，這三位研究人員和另外兩位研究人員提出了一個更新的模型，并考慮了環境中的家具和其他物體：

盡管研究結果令人印象深刻。但是，QuestEnvSim不會很快兼容Quest 2，與最初的QuestSim一樣，這里有幾個重要的注意事項。

首先，本文沒有提及所描述系統的運行時性能。機器學習研究論文往往以相對較低的幀率在功能強大的PC GPU上運行。

其次，對家具和物品進行人工掃描，并在虛擬環境中進行定位。雖然Quest 3也許能夠通過深度傳感器自動掃描家具，但Quest 2和Quest Pro沒有關鍵的傳感器數據。

最后，這些系統旨在產生合理的整體全身姿勢，而不是與你雙手的確切位置相匹配。系統的延遲也相當于VR中的許多幀。因此，即使這些方法可以實時運行，但在VR中俯視自己身體時效果并不理想。

但是，假設系統最終能夠得到優化，那么看到其他人化身的全身運動將比Meta當前無腿上半身化身要好得多。

來源：UploadVR

關鍵詞：