虛擬現(xiàn)實環(huán)境中的注意力與狀態(tài)識別
發(fā)布時間： 2023-08-04 點擊次數(shù)： 968次
來自波蘭的研究人員在 Sensors 雜志上發(fā)表文章，探討了虛擬現(xiàn)實（VR）和近紅外技術(shù)的實際結(jié)合問題。他們設(shè)計了一套綜合實驗平臺，其中包含 CW-fNIRS 和頭戴式顯示（HMD）技術(shù)，并使用變體后的經(jīng)典 n-back 任務(wù)（2-back 版本）在虛擬現(xiàn)實中進行實驗。結(jié)果證實了結(jié)合 fNIRS 和 HMD 技術(shù)，實驗者可以有效地將實驗性認(rèn)知過程轉(zhuǎn)移到可控的 VR 環(huán)境中。
功能性近紅外光譜(fNIRS)是功能神經(jīng)成像技術(shù)之一，使用波長為650-950nm的近紅外光來測量皮質(zhì)腦區(qū)的血流動力學(xué)反應(yīng)。近紅外系統(tǒng)通常使用激光或LED發(fā)射連續(xù)波(CW)近紅外光。VR技術(shù)已被用于注意力技能的研究和訓(xùn)練，已有許多結(jié)合VR和近紅外技術(shù)的案例和論文。結(jié)合VR和FNIRS技術(shù)，通過訓(xùn)練程序調(diào)節(jié)注意力狀態(tài)的可行性已經(jīng)得到證明。識別注意狀態(tài)可以用于監(jiān)測受試者在任務(wù)中的參與度。用戶與系統(tǒng)的交互體驗可以通過視覺量表和問卷來測量其滿意度。DLFPC 和 MFG 區(qū)的血流動力學(xué)活動 (HbO/HbR 濃度變化 ) 在增強注意力投入 (n-back 任務(wù) ) 和放松狀態(tài)之間的差異將顯著高于研究組的機會閾值水平。用戶與系統(tǒng)的交互體驗(fNIRS+HMD) 將高于滿意度評估量表的平均值。12 名受試者 (10 名女性 )，年齡 21-34 歲 (M = 24.82;SD = 4.38) 參與實驗。實驗中所有參與者均為右利手，裸眼視力和校正后視力正常。近紅外信號被記錄在一個雙波長 (760 和 850 nm) fnirs系統(tǒng)中 ((Cortivision sp. z o.o., Lublin, Poland）。其中共有16 個LED光源和10探測器。在線階段的數(shù)據(jù)處理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定義Python 腳本進行。使用 Unity3D 引擎開發(fā) VR 場景，并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上顯示。使 用 JASP軟件對結(jié)果進行統(tǒng)計分析。實驗裝置包括無線一體化 VR 護目鏡 和可穿戴 fNIRS設(shè)備。在數(shù)據(jù)記錄過程中，參與者是坐著的，設(shè)備是無線連接的。使用視覺模擬量表 (Visual Analogue Scale, VAS) 來評估兩組實驗結(jié)束后的總體主觀滿意度。評估采用 11 分制"。使用改良版的魁北克輔助技術(shù)用戶評價 (eQUEST 2.0) 來測量參與者對使用系統(tǒng)滿意度。step1：需要判斷當(dāng)前水果在兩個水果之前是否看到過。當(dāng)法師扔出能量球時代表放松。step3：要求被試只在腦內(nèi)做同樣的任務(wù)。物體的運動方向直接由分類輸出信號控制。實驗中，任務(wù)和休息依次交替。在每個“2-back"任務(wù)塊中，水果列表隨機分為3個目標(biāo)、7個非目標(biāo)。近紅外數(shù)據(jù)由Cortivision PHOTON CAP系統(tǒng)收集。使用了10個通道。此外，在F3和F4位置放置了兩個短距離通道（見圖3）。對于所有數(shù)據(jù)通道，光源與探測器之間的距離保持在30毫米左右。短通道的距離則固定為10毫米。光源和探測器的放置位置是基于軟件中的預(yù)定義位置進行選擇的。三個感興趣區(qū)域（MFG、L-DLPFC、R-DLPFC）被自動從腦區(qū)解剖翻譯為10-5國際系統(tǒng)位置。將原始光強度轉(zhuǎn)換為光密度。處理記錄的前5秒期間記錄基線。然后將光密度轉(zhuǎn)換為氧脫氧血紅蛋白（HbO/HbR）濃度。然后，基于VR應(yīng)用程序流標(biāo)記進行基于刺激的分段。。進行低通濾波。采用廣義線性模型 (GLM) 進行特征提取，并進行進一步分析。將獲得的包含提取特征的數(shù)據(jù)集分為五部分進行五次交叉驗證。每次重復(fù)交叉驗證都包括以下步驟：
- Z-score標(biāo)準(zhǔn)化：訓(xùn)練集和測試集的z-score標(biāo)準(zhǔn)化。
- SVM分類器被用來區(qū)分兩個類：“放松"和“2-back任務(wù)"。
單樣本非參數(shù)Wilcoxon符號等級檢驗的結(jié)果表明，校準(zhǔn)階段的分類精度為M=88.58，SD=8.49，顯著高于Müller-Putz等人為兩類BCI計算的95%的概率上限(T=78，p<0.01，rrb=1)。然而，我們在在線條件下沒有觀察到顯著差異(M=61，SD=14.89，T=6，P=0.107)。同時，這兩種情況都顯著高于50%的機會水平(校準(zhǔn)：t=78，p<0.001，rrb=1；在線：t=31，p<0.001，rrb=0.72)。表給出了校準(zhǔn)和在線會話中所有參與者的平均分類精度結(jié)果。用戶對系統(tǒng)的交互整體滿意度平均為6分，接近滿分11分的“非常滿意"評分。調(diào)查發(fā)現(xiàn)，在交互中得分的方面是安全性和易用性。對于系統(tǒng)的其余方面，評分平均為5級以上，包括調(diào)節(jié)性、尺寸、可靠性、重量和舒適性。根據(jù)感興趣的區(qū)域?qū)ρ鲃恿W(xué)變化進行分類，可以識別出注意力增強和放松程度。在實驗中，頭戴式顯示設(shè)備和移動fNIRS交互的總體用戶滿意度較高。此外，開源實時數(shù)據(jù)處理軟件中的信號處理方式可以為未來的腦機接口和神經(jīng)反饋研究提供框架。便攜式fNIRS和虛擬現(xiàn)實系統(tǒng)在更自然條件下研究認(rèn)知過程是可行的。Zapa?a, D., Augustynowicz, P., & Tokovarov, M. (2022). Recognition of Attentional States in VR Environment: An fNIRS Study. Sensors, 22(9), 3133.
您的位置：網(wǎng)站首頁 > 技術(shù)文章 > 虛擬現(xiàn)實環(huán)境中的注意力與狀態(tài)識別 
在線交流
咨詢電話