婴儿离开母体,从湿润的暖房来到人间,温度变化的不适让他发出第一声啼哭;10岁时贪玩成绩差,母亲的巴掌落在手臂上,疼痛让他记住,不努力就会挨打;17岁时被喜欢的女孩拒绝,夏天灼热的阳光和身上的黏腻的汗渍裹挟着失望,是酸涩的青春;35岁创业失败,他瘫坐在沙滩上,冰冷的海水一下又一下冲击着这个中年人最后的意志;89岁,躺在病床上,他握住爱人的手,皮肤干枯却温暖而有力,让人心安,随后他沉沉地睡着了…
当人回顾自己的一生,不难发现那些刻骨铭心的回忆往往伴随着身体的触感。因为触觉是人体发展最早、最基本的感觉,也是人体分布最广、最复杂的感觉系统,是人类认识外界事物,探索世界奥秘的重要途径。
尽管人们因触觉得到的感受远远优先于视觉、听觉,但在生活中,闭上眼就失去了视觉,捂住耳朵就失去了听觉,很难理解失去触觉的感受,所以我们往往会忽略触觉的重要性。
在元宇宙中亦是如此,在视觉、听觉等感知已经实现的元宇宙中,触觉技术却仍然停留在相对于初级的阶段。清华大学材料学院教授朱宏伟表示,元宇宙将各种感官技术融合,而其中最核心的一部分便是体现触觉的传感技术。
可以说,触觉传感技术已经达到了需要具体实践的条件,但如何利用触觉传感器屏蔽掉人体原有的感知,获得新的感知并使其增强达到逼真的效果,正是实现元宇宙的关键一环。
从触觉传感到触觉智能
《头号玩家》主人公在完成第一项彩蛋任务得到奖金后,第一件事就是购买了梦寐以求的X1触感套装进入游戏世界体验一番,女主角轻轻地拍了拍他的肩膀,瞬间两人就牵手在舞池中旋转舞蹈,X1套装让他感受到了触觉,感受到了温度,就像真正在与人舞蹈一样。
“沉浸感”是在元宇宙中畅游的必要条件,X1套装正是解决沉浸感的最佳方案。而在元宇宙中想要做出一件像X1触感套装一样的穿戴设备,需要触觉传感器达到非常智能的水平。
朱宏伟认为,触觉传感器包括传感材料、软件、硬件三大部分,其中传感材料是核心部分。传感材料收集外来刺激的物理信号将其转换为数字信号后传到数据分析和处理模块,再传到反馈、驱动模块。在这个体系中,材料的占比无论从空间上还是从质量上都应是微小的,同时满足轻、薄、柔、强、导、透、容等特性。所以从功耗角度考虑,传感器将采用光电、人体运动供能等新能源供电模式。
软件层面包括数据处理和分析。随着数字孪生技术的发展,以及神经形态计算概念的提出,通过结合人工智能、机器学习以及生命形态计算来对数据进行分析处理都极大地扩充了触觉信号处理的工具和手段。
硬件层面包括模拟仿生人体、肢体,还有一些驱动器件等。最早的触觉传感器体验只有简单的压力感应,随着对触觉的进一步分析,研究人员发现触觉包含了温度、湿度、表面流动等综合感知。在硬件上也从简单压力传感到触感的集成,从手持式到穿戴式再到植入式,将触觉传感器信号与人体感知信号更好地融合。
朱宏伟认为在元宇宙中触觉的实现方式是植入式与穿戴式。植入式设备是将触感芯片植入皮肤的皮下组织内嵌目前已有诸多例如血糖监测、脑机接口等植入式生物传感器来达到观测各种生命体征信号的效果。在目前的设想中,植入式触觉传感芯片是用来在某些特殊场景下对缺失触觉进行修复。
穿戴式设备需应具备可编织性,与衣物结合,或将传感器材料贴在皮肤上进行结构设计与布线。“如何将传感材料、软件、硬件三者集成耦合,且没有串扰,实现高度统一的可靠性、一致性、耐用性是目前布局元宇宙传感器所面临的最大难题。”朱宏伟说道。
多重感知叠加出的真实
尽管理论与实践证明触觉传感可以实现,但想要在元宇宙中应用仍然需要时间。因为触觉是一种复杂的感知,传统的单一压力传感器、运动传感器无法满足元宇宙的场景需求。而触觉传感器处理的数字内容需要更加接近现实的真实感知,才能让用户获得更好的沉浸体验。
由于触觉感知复杂,触觉传感就注定是一项多学科交叉的技术。从材料到算法,再到驱动是一个多功能集成体系。传感材料涉及到材料物理、化学;算法涉及计算、信息;反馈细节涉及电子、微电子,整体与人工智能、神经形态计算甚至类脑器件结合,因其涉及学科领域十分广泛,所以对算法的要求也更加严苛。
高要求的算法往往被认为需要极高的精准度及灵敏性。但朱宏伟并不认为触觉传感器是越灵敏越好。在他看来,对于机器而言,所有传感器都有一个弊病:无法同时满足灵敏性和可靠稳定性这一矛盾的特性。
所以一旦追求极致的灵敏度时,稳定性和可靠性就必然会下降。如何平衡二者的关系是目前传感技术有待解决的问题,就好比我们眼睛比不上相机高清,嗅觉也不如搜救犬般灵敏,但我们仍然能够充分感受世界的美好。
另一个对触觉传感技术的挑战是在元宇宙中,如何利用触觉传感屏蔽人体自身触觉,获得超越人类感知的能力。朱宏伟表示,当触觉传感器施加到人体上时会出现两种表象,一种是触觉传感器作用在人体上的感知,一种是人体本身的触觉感知。为了能有更加沉浸的体验感,在元宇宙中需要屏蔽身体原有的感知,并获得新的感知,这或许需要两套传感在同时进行。
元宇宙正在获得触觉感知
对于触觉传感技术,研究人员从未停止探索的步伐。目前在全球范围很多实验室内包括美国的斯坦福大学、西北大学,日本的东京大学,新加坡国立大学等都在进行触觉传感器相关领域的研究。
2021年诺贝尔生理学或医学奖获得者是美国科学家大卫·朱利叶斯和阿登·帕塔普蒂安,因在感受温度和触觉方面的发现获奖。大卫·朱利叶斯利用辣椒素(一种来自辣椒的刺激性化合物,可引起灼热感)来识别皮肤神经末梢中对热有反应的传感器。阿登·帕塔普蒂安使用压敏细胞发现了一类新型传感器,可以对皮肤和内部器官中的机械刺激做出反应。
进军元宇宙的Meta(原Facebook)现实实验室(RL) 于2021年3月推出了触觉感知手套,这款手套可以在虚拟世界中再现现实生活中的一系列触觉感觉,包括模拟人手抚摸材质纹理的感觉、压力反馈以及振动反馈。
图片来自:Meta Reality Labs
这项技术借鉴了软体机器人领域最近的进展,用微型气阀取代了笨重的电机。与此同时,朱宏伟认为寻找例如石墨稀这种二类材料,与皮肤进行贴合是未来传感材料的发展趋势。从目前的研究来说,也可以利用对传统传感材料可以改进,例如将传统的触觉传感材料进行微型化,进行分布式或特殊结构设计以满足目前的使用需求。
但微型化的触觉传感器在能耗方面要求也更为苛刻。可以利用太阳能、人体运动时的机械能源等新能源持续供能,或使用在非工作时间不会耗费电量的无缘电阻式传感器。除此之外,触觉传感器的能耗也与器件模块的布局排阵数量有关,但总体而言能耗应控制在微瓦甚至纳瓦的级别。
朱宏伟表示,元宇宙产业未来如何发展,取决于未来人类生存方式、生活习惯的需求。例如柔性电子技术已发展多年且技术相对成熟,但目前人们的生活方式对柔性屏并没有足够高的需求,反而更适应传统的硬性屏。但在元宇宙的世界里,柔性电子及可穿戴器件,一定将成为核心部件。
触觉传感器在近些年一直保持着十分迅猛的发展趋势,随着5G、物联网的概念和新兴产业的崛起,触觉传感器会迎来更大的发展契机。同时他预测,未来3-5年就可以实现触觉传感在元宇宙某些领域和场景里的应用。
诗人歌颂生命来到地球上:“出生了啊 我,好不容易才来到这里,眼睛还没睁开,耳朵也听不见,但是我知道,这是多么美好的地方。”当一个人第一次进入元宇宙时,还没看到,还未听到,但身体的感知就会告诉他——欢迎来到这个美妙的世界。
好文章,需要你的鼓励
上海交通大学研究团队开发出革命性AI癌症诊断系统,通过深度学习技术分析50万张细胞图像,实现94.2%的诊断准确率,诊断时间从30分钟缩短至2分钟。该系统不仅能识别多种癌症类型,还具备解释性功能,已在多家医院试点应用。研究成果发表于《Nature Communications》,展示了AI在精准医疗领域的巨大潜力。
南华理工大学等机构提出3DFlowAction方法,让机器人通过预测物体3D运动轨迹来学习操作技能。该研究创建了包含11万个实例的ManiFlow-110k数据集,构建了能预测三维光流的世界模型,实现了跨机器人平台的技能迁移。在四个复杂操作任务上成功率达70%,无需特定硬件训练即可在不同机器人上部署,为通用机器人操作技术发展开辟新路径。
这是首个系统性探索跨视角协作智能的综合性研究,由南京大学、东京大学等顶尖机构联合完成。研究团队首次将"第一人称视角"与"第三人称视角"的协作应用进行了全面梳理,提出了三大技术方向和十三个关键任务,涵盖从智能厨房到手术机器人的八大应用场景。这项突破性工作为人工智能向人类认知迈进提供了重要的技术路径和理论基础。
这项由台湾大学与微软研究团队合作的研究探索了使用音频感知大语言模型(ALLMs)作为自动评判员来评估语音生成模型的说话风格。研究设计了"语音风格指令跟随"和"角色扮演"两个任务,测试了四种语音模型的表现,并比较了人类与AI评判的一致性。结果表明,特别是Gemini-2.5-pro模型,其评判结果与人类评判的一致性甚至超过了人类评判者之间的一致性,证明ALLMs可以作为可靠的自动评估工具。同时研究也发现,即使是最先进的语音模型在说话风格控制方面仍有显著改进空间。