Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

脑电信号+深度学习助力VR晕动定量评估

 

Exploring quantitative assessment of cybersickness in virtual reality using EEG signals and a CNN-ECA-LSTM neTWork
本期导读

 

虚拟现实技术(VR)可以为用户提供多信息、三维动态、交互式的仿真体验，广泛应用于娱乐、医疗和教育等各个领域。然而针对一些特定人群，VR容易诱发晕动，使用者会产生如恶心、头晕等不适的身体症状。晕动已经成为限制VR技术广泛应用的主要障碍之一。为了减轻晕动带来的影响，准确实时的晕动评估尤为重要。传统晕动评估主要基于用户调查等主观问卷信息，虽然问卷可以更加细致的评估晕动，但无法应用在连续和实时VR使用场景中，因此亟需从新的角度实现晕动的客观、精细和实时评估。
鉴于此，来自上海大学的研究人员提出利用脑电（EEG）信号评估VR晕动的程度。通过视觉刺激范式诱发不同程度的晕动症状，并采集相应的脑电数据；通过时空卷积提取脑电信号的时空特征，并充分利用晕动的时序上下文特性和动态变化特性，利用LSTM提取脑电在时序上的前后依赖关系，提出了CNN-ECA-LSTM network（CELNet）来解码脑电数据得到晕动程度的评分。该研究近日以论文形式发表于显示领域权威期刊Displays上。
技术路线

 

技术实现上，该研究提出了诱导VR晕动的视觉刺激范式以及相应的VR场景，如图1所示。通过在VR设备中以第一人称不同的角速度偏航（Yaw），横摇 (Roll)，俯仰 (Pitch) 诱发VR晕动症状，并采集被试者的脑电信号和问卷信息。单次实验时长为1分钟，每名被试要进行共12次实验。

感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

图1. 实验范式和场景

所提出的CELNet网络模型如图2所示，包括两个子网络：CNN-ECA网络和LSTM网络。CNN-ECA的任务是从单个输入的脑电切片中提取与晕动症相关的时空特征，而LSTM网络则负责对脑电切片之间的时间关系进行编码并生成晕动症评分。

感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

图2. CELNet网络模型

该研究实现了基于脑电信号的VR晕动精细量化评估，CELNet与脑电信号的相关性分析结果如图3所示。为了减轻模型的计算量和参数复杂度以在未来将脑电模块嵌入头盔显示器（HMD）中，基于相关性分析结果，研究人员筛选与VR晕动症相关性强的特定脑电通道，实现了对晕动症的轻量化评估。CELNet针对VR晕动症的的评估性能如表1所示。

感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

图3. VR晕动症-脑电相关性分析

感知专题 | 脑电信号+深度学习助力VR晕动定量评估 (Displays)

表1. CELNet模型晕动症评估性能


简单小结：针对当前VR应用中晕动症的评估缺乏客观、精细和可实时的评估指标，该研究以脑电信号为评价指标，实现了VR晕动症量化评估。通过视觉刺激范式诱发VR使用者产生晕动症状，并采集脑电信号；通过深度学习算法建立脑电和晕动的映射关系，实现对晕动的严重程度进行打分。该算法在未来有望嵌入VR头盔，从而实现晕动症在线实时评估。
论文信息：
  • Mutian Liu, Banghua Yang, Mengdie Xu, Peng Zan, Luting Chen, Xinxing Xia. "Exploring quantitative assessment of cybersickness in virtual reality using EEG signals and a CNN-ECA-LSTM network." Displays (2024): 10612.

     

技术详见：
https://doi.org/10.1016/j.displa.2023.102602
*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。

计算机视觉-光通信的新手段计算机视觉-光通信的新手段 超快成像：基于复数神经网络重构实空间复杂结构超快成像：基于复数神经网络重构实空间复杂结构 Default Thumbnail国外量子保密通信网络发展概况 Light | 嵌入”智能”的自适应显微镜Light | 嵌入”智能”的自适应显微镜 Light Adv. Manuf. | 衍射神经网络实现透过散射介质定量相位成像Light Adv. Manuf. | 衍射神经网络实现透过散射介质定量相位成像 “极简化”机器视觉！无透镜光电神经网络“极简化”机器视觉！无透镜光电神经网络 2D图像输入实时学习生成3D逼真全息图的端到端方法2D图像输入实时学习生成3D逼真全息图的端到端方法