2013年以來,隨著虛擬現實(virtual reality,簡稱VR)/增強現實(augmented reality,簡稱AR)設備(如頭戴式顯示器等)質量迅速提升、價格大幅降低,VR開始普及化,從軍事、航空航天等高端行業應用進入大眾生活。在這樣的趨勢下,越來越多的科技公司將眼光投向VR,部署研發團隊并推出自己的VR創新產品,展開搶占VR產業制高點的激烈競爭,使得VR技術進入了前所未有的快速發展時期。

任何一項新興高技術產業的可持續發展都需要有三方面的條件支撐,VR產業也不例外,這就是需要關鍵技術突破與科技創新的持續支持,各類VR人才的強大支撐,以及市場需求的不斷推動,而市場的形成又有賴于VR應用系統與內容的不斷豐富與創新。
實現一個VR系統,大體需要四方面的技術:數據與獲取、分析與建模、繪制與表現,以及傳感與交互。這四個方面均涉及硬件平臺與裝置、核心芯片與器件、軟件平臺與工具和軟硬標準與規范。同時VR應用也需要結合各行業領域的應用技術,因此VR是學科高度綜合交叉的科學技術領域,是存在許多有待解決的科學技術問題、并不斷產生新科學技術問題的充滿活力的新興領域。

2009年我根據自己多年從事VR技術研究的體會,歸納總結了當時VR中的10個科學問題,并于2011年發表于Communicationsof the ACM.現在回頭來看,這些問題的提出,在一些方面推動了VR技術的研究,其中有的在一定程度上有所突破,有的進展不明顯,有的則被更為迫切的問題所掩蓋,這體現了VR技術領域的活躍性。 根據本人對近年來VR技術的發展趨勢、VR應用和產業發展所遇到的技術瓶頸的認識,以及本人新的研究體會,在本文提出當前VR科學技術中新的10個科學技術問題。這些技術的突破會導致VR應用和產業的新的巨大進展。
1.VR頭戴顯示的輸入與交互
現有VR頭戴式顯示器看不到體驗者自身,輸入不便,也缺少與景物的交互機制,身臨其境的感覺受限。因此,VR鼠標等便捷友好的VR輸入方式,能夠實時逼真地表現體驗者肢體、并能與虛擬場景對象實時交互的機制是需要研究的問題。
2.頭戴式顯示的空間計算與AR虛實融合及其室外化
頭戴式顯示虛擬場景的空間計算,包括體驗者頭部和位置的實時精準跟蹤定位,以及AR頭戴顯示中虛擬對象在現實空間中的位置計算與實時表現是需要進一步研究的問題。與此相關,虛實融合是AR的基本問題之一,包括視頻式AR顯示中圖形對象與視頻圖像的融合,以及光學透視式AR顯示中圖形對象與現實景物的融合。前者研究的時間比較長,后者隨著光學AR頭戴顯示的實用化,逐步成為這一方向的主流,許多問題有待解決。同時,光學透視式AR的室外化,包括室外大場景下的虛實融合是有待探索的一個方向。
3.VR視頻的采集、制作與交互式播放
VR全景視頻(包括基于桌面、移動終端或Web的VR視頻)的采集、制作、交互式播放技術與設備,以及跨平臺VR視頻播放器,是一個研究發展方向。如何在VR視頻中引入幾何與控制元素,增加VR視頻的交互類型,提高其交互性是值得研究的問題。
4.基于移動終端和互聯網的VR
基于移動終端和互聯網的VR具有巨大發展潛力。對于前者,低計算、低存儲VR技術,云計算VR技術,低延遲大數據傳輸與新型交互等是可創新技術方向。后者需要全屏3D繪制、VR設備接入與更合適的人機交互機制,以及新型瀏覽器標準。Web VR將對現有瀏覽器和郵件系統等帶來變革和顛覆性影響,成為互聯網的新入口。
5.物理特征的更多表現與新型物理模型
目前,虛擬對象的物理表現及其物理模型研究主要集中在運動學和動力學方面。物理模型也只有粒子系統、彈簧模型、SPH(smoothed particle hydrodynamics)方法等少數幾個。物質的許多物理特征(如材料特征),爆炸、切割等物理現象,柔、黏、塑、流、氣、場等物質對象的物理特征與交互響應的實時逼真表現,存在許多理論問題。由于物理模型計算量巨大,因此具體應用時實時性和逼真性之間的平衡也是需要考慮的問題。提出表現某類物理特征和物理現象的新型物理模型,構造其物理引擎及核心算法芯片PPU(physics processing unit),可以帶來原創性、平臺工具性成果。
6.進化演化模型與虛擬孿生
基于化學、生物學和生命科學的人體器官的生理、化學、生物進化演化模型是有待深入研究的科學問題,可能產生新的知識型、概率型等模型類型。現實世界中的每一個(類)對象,均可以構建虛擬孿生,使其與現實孿生在幾何、物理、生理,以及進化演化等方面高度相似。人體、城市和復雜裝備的虛擬孿生會成為未來發展的重點,并對醫療健康、城市規劃管理和裝備設計維護領域產生顛覆性影響。構造虛擬孿生,特別是可交互幾何類虛擬孿生的理論與方法,既是VR,也是AR,MR(mixed reality,混合現實)等的基礎。
7.智能行為模型
隨著VR應用領域的不斷擴展,虛擬人(或計算機生成的人)操縱實體(如飛機、車輛等)成為VR系統的重要組成部分,這些智能體的行為使得VR系統所具有的3I(immersion,interaction,imagina-tion)特征向4I發展,即VR系統將具有更多的智能(intelligence)特征。該類問題的解決有賴于人工智能技術和人腦科學的發展。
8.力交互的柔韌感與新型自然交互
人與虛擬對象之間的力/觸覺逼真感知的方式、機制及其設備仍然存在大量的問題,特別是柔韌感;此外新的感知通道,如溫濕感、嗅/味覺等,有的剛起步,有的尚未涉足。這是一個需要多學科交叉研究解決的問題領域。
9.VR內容的智能化生產技術與通用軟件開發工具
目前VR內容制作生產力低下,原因一是VR建模、繪制、修補等生產環節的工具和開發平臺自動化、智能化程度低,二是VR硬件不兼容,均采用各自的軟件開發工具包(software development kit,SDK)。提高3D建模(幾何、圖像、掃描等)的效率和空洞修補的自動化水平等是需要進一步研究的內容,研發標準應用程序接口和通用軟件包是提高共享和研發效率的必然途徑。
10.VR的逼真性度量與VR心理學、VR社會學
VR的逼真性,即虛擬與現實孿生的相似性測度是有待研究解決的一個理論問題。在此基礎上研究各類VR應用的效果評價,特別是對人的心理影響,以及對人類社會帶來的影響,并進行相關約束與法律研究也是必要的,這會形成新的人文學科研究方向。
上述是本人認為VR領域當前迫切需要研究解決的10個科學技術問題。實際上,VR研究與應用領域中存在大量的科學技術問題。VR是一項可能的顛覆性技術,主要體現在六個方面:突破目前以2D為主的顯示,實現3D,以及未來的真三維顯示;突破目前屏幕物理尺寸的局限,實現全景顯示和交互體驗;突破鍵盤、鼠標人機交互方式,實現手眼協調的人機自然交互;突破時空界限,把用戶帶入未來或過去的時空環境;取代現有互聯網郵件系統為主的通訊交互方式,成為互聯網的新入口和人際交互新環境。有助于實現上述顛覆性的基礎理論與關鍵技術都應該是VR技術研究者所追求的目標。
推薦閱讀
“課堂上,學生只需帶上VR頭盔,就可“走進”飛機駕駛室中,跟老師學習飛機駕駛知識;虛擬試驗室里,各地的學生可以學習汽車組裝、進行協同操作,打破空>>>詳細閱讀
本文標題:虛擬現實中的10個科學技術問題
地址:http://www.brh9h.cn/n/vr/2515.html
1/2 1