脑机接口，或许才是AR/VR的未来

几周前，我看到了最高质量的混合现实头戴设备，可以通过手势控制和眼动追踪来控制操作界面，这台设备就是苹果的Vision Pro。

但就在苹果Vision Pro发布几个月前，我看到了一些更疯狂的东西：

几个夹子夹在我的耳垂上，一顶带有橡胶尖端传感器的头戴设备嵌入到我的头发中，一副面罩低垂在我的眼前。

然后，突然间，我在虚拟现实世界中看到了我自己的脑电波，并且只需微小的面部肌肉运动就能移动周围的物体。

那是我在体验OpenBCI的Galea头戴设备时候的感受。

AR/VR的正在稳步发展，但如何进行更自然的人机交互依然是一个不小的挑战。目前，它正在从手柄这样的物理控制器转向手部和眼部追踪。

但与此同时，人机交互还存在更多可能性，例如通过脑神经技术，即通过脑机接口来进行控制。

我甚至不知道该如何描述我体验Galea头戴设备的经历，因为它是一个相当前沿的设备，而我在神经技术方面知之甚少。

OpenBCI是一家位于布鲁克林，致力于构建非侵入式脑机接口技术研究的创业公司，他们将自己的感知系统改装成了一款名为Galea的混合现实头戴设备，该产品将于今年晚些时候正式上市。

我在OpenBCI位于布鲁克林的办公室体验了Galea的原型机，对脑机接口在AR/VR中的应用方式感到好奇，我也在思考我们与计算机的交互在未来可能发生怎样的改变。

一种新的AR/VR传感平台

我尝试过更简单的脑机接口传感套装，是来自NextMind公司（NextMind在去年已经被Snap收购）的，专注于特定视觉任务的脑机接口设备。

NextMind允许我专注于特定的位置来触发相应的动作，这种感觉就像是我在用我的大脑来电机鼠标，但是OpenBCI的Galea是各种传感器的完美融合：EEG、EMG、EDA、PPG，以及眼动追踪。

EEG，脑电图，用于测量大脑的活动情况。OpenBCI使用带有橡胶帽的传感器进行测量，这些传感器靠近我的头皮，就像我在2021年尝试过的NextMind一样，电极在干燥时工作，但需要避免过多受到头发静电干扰，以获得良好的脑电信号。

EMG，肌电图，用于测量神经和肌肉的活动情况。在Galea设备上，传感器位于穿戴该设备的人们的面部周围，用于追踪用户的额头、眼睛和脸颊。当我微微动一下面部肌肉时，读数就会发生变化。

但与Quest Pro上的面部摄像头不同的是，后者是通过寻找特定的物理运动来实现面部追踪，Galea是基于电信号进行面部追踪的。

理论上，你可以进行非常微小的运动，更像是简单的神经冲动。Meta还正在开发用于之后VR设备的基于EMG的腕带。但那种腕带只能通过手腕测量手指和手的运动。

EDA，皮肤电信号，即对通过电信号对汗液进行监测。它经常用于应激感知：Fitbit在其Fitbit Sense智能手表中内置了EDA传感器，用于应激测量。OpenBCI的EDA传感器位于头戴式耳机的前额部分。

PPG，心电图，即光学心率监测，很多智能手表上已有了这个功能。PPG是通过Galea头戴设备位于前额上的传感器进行测量的。

在我体验Galea时，是通过PPG耳夹来进行PPG信号监测的。

Galea传感器阵列与现有的VR设备Varjo XR-3（或更低成本的Varjo Aero）结合在一起，并连接到PC上进行数据分析和软件运行。

Varjo高分辨率显示屏和VST技术为OpenBCI的传感器在VR/AR类场景中提供了许多应用可能性。OpenBCI的传感器阵列可以独立于VR头戴式耳机工作，或与其它设备连接。由于其处理能力和独立功能，苹果Vision Pro也可能成为OpenBCI的理想平台。

根据OpenBCI的首席执行官兼联合创始人Conor Russomanno的说法，开发类似苹果Vision Pro或未来AR/VR平台是完全可能的，而这也正是OpenBCI认为的潜在机遇。

打开通往虚拟世界的大门

OpenBCI的传感器阵列带来了更多的交互可能性。

最近，OpenBCI与患有脊髓性肌萎缩症的黑客Christian Beyerlein合作，他使用OpenBCI的传感器阵列，通过面部肌肉脉冲来控制无人机。这个演示是在一个TED演讲中进行的展示，展示了脑机接口如何打开虚拟世界的大门。

我体验了一个名为《猫咪奔跑者》的基于肌电图控制的游戏。我用面部肌肉的微小动作将卡通人物前后移动，这些动作被Galea面罩上的肌电图传感器识别到。这个游戏与Meta一直在使用的神经输入手环技术进行测试和演示类似，我去年秋天在Meta的雷蒙德总部虚拟现实实验室看到过类似的场景。

但是Meta正在研究的是手腕上的运动感知，而OpenBCI的Russomanno认为，当传感器用于头部时，由于不会干扰基于摄像头的手部追踪，可以带来更好的使用体验。

肌电图技术旨在感知电脉冲，即使没有肌肉运动，这种微妙的关系需要一段时间来完善，包括传感器、算法和人类输入之间的关系。OpenBCI的多种类型的传感器可以提供大量数据，可以指示未来的研究方向或新的接口。它们还可以提供关于使用虚拟现实和增强现实对大脑或注意力的影响的反馈。已经有过在VR设备上使用传感器研究认知过程的先前努力，包括搭载心率传感器的HP Omnicept和已经在VR设备中得到广泛应用的眼动追踪功能。

另一个使用基于脑电图传感器的演示是创建一个冥想“共感房间”，我的不同脑波状态被转化为环境光的颜色。我的脑波改变了我看到的颜色，我尝试以不同的方式集中注意力，以展现不同的色。

一个超越VR的传感平台

OpenBCI的Galea实际上是一款AR/VR设备，但它与Varjo硬件的接口只是该设备功能的一部分。

Galea的传感器阵列也可以单独使用，当我想到一个未来可与我们身上其他可穿戴设备互动的新世界时，这让我对它产生了更多兴趣。

在这个世界中，我们的日常互动可能会通过更先进的传感器得到增强，虽然这还有很长的路要走，但OpenBCI在Galea中组合的一些传感器已经有了萌芽的迹象。

现在，说服人们相信AR/VR和可穿戴技术的价值已经很困难了，改进我们最终与空间计算或现实世界进行交互的方式可能是VR/AR进化为更有意义的设备的一个方向。

via：CNET