ErgoVR機器人具身智能人機交互測評虛擬現實實驗室

概述

ErgoVR機器人具身智能人機交互測評虛擬現實實驗室是津發科技創新研發配置的面向機器人人因設計、測評與科學研究的解決方案。方案支持在不同虛擬現實環境下呈現不同的機器人設計方案，并模擬不同的人機交互方式，通過津發自主研發的ErgoVR人因分析引擎直接對接產品設計原型，基于三維模型同步采集和綜合分析用戶與機器人交互時的眼動追蹤、人機交互、時空軌跡、生理、腦電、動作姿態、行為等多模態數據，為機器人設計虛擬樣機測評以及元宇宙機器人人因設計測評提供了科學量化的解決方案。

系統組成

(1) 實驗室概述

實驗室可用于進行機器人具身智能人機交互研究。實驗室主要分為被試間與主試間兩大功能區域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實驗進行的區域，搭建為虛擬現實測試室，可通過CAVE式虛擬現實系統、8K眼動腦電多模態虛擬現實頭盔或者多人交互虛擬現實系統進行虛擬現實場景呈現，并可依照測試需求布置所需的多模態數據采集設備，如虛擬現實眼動儀、可穿戴人因生理儀等；被試間中有多個行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號傳送給主試間中的人機環境同步平臺進行數據分析。主試間為觀察與數據分析區域，布置有語音控制臺，研究人員的指令通過被試間的揚聲器傳送給受試者；主試間還布置有人機環境同步平臺、人因智能邊緣計算平臺等設備，研究人員可在主試間實時同步采集多模態人因數據并進行分析。

實驗室被試間設置有多模態人因數據采集設備，包括CAVE式虛擬現實系統、8K眼動腦電多模態虛擬現實頭盔、多人交互虛擬現實系統、虛擬聽覺嗅覺觸覺感知模擬系統、虛實時空行為分析系統、虛擬現實雙手交互系統、虛擬現實腦機交互設備、虛擬現實情感交互設備、虛擬現實動作交互設備、表情語音采集儀、行為觀察儀、可穿戴人因生理儀、虛擬現實腦成像儀、可穿戴多模態腦功能儀、動作捕捉儀以及智能設計人因測試系統等。被試間的產品組成與選型可根據實際研究需求進行配置。此外，被試間系統的多模態數據采集設備可結合ErgoAI人因智能邊緣計算終端，將計算和數據處理能力移至接近數據源的終端設備上，進行數據的智能化處理和分析。

實驗室主試間設置有多模態人因數據同步采集、分析和邊緣智能設備，包括ErgoLAB人機環境同步平臺和ErgoAI人因智能評估平臺。其中，ErgoLAB人機環境同步平臺支持多模態數據同步采集與分析，確保所需要的人、機、環境三方面的多模態數據可基于同一時間軸進行實時同步，消除事后對齊數據分析的負擔，并使數據“協同增效”，多角度綜合印證結果，確保數據結果的有效性與準確性。ErgoAI人因智能應用平臺，對接人機環境同步平臺所同步采集的多模態數據，搭建開放式AI算法應用平臺，能夠為不同AI算法基礎的用戶，提供從數據采集、數據降噪、數據標注、模型訓練、模型評估及部署應用的全流程智能化應用系統。平臺可提供數千人次數據搭建的各類應用數據集，涵蓋人員基數據集、狀態數據集等，以及數十種人因工程預訓練模型，包括單模態狀態識別模型、多模態狀態識別模型等。同時，ErgoAI人因智能應用平臺支持根據實際研究內容與方向創建數據集、訓練并驗證模型，并進行模型部署與實時狀態預測。