索尼已经向着虚拟现实和元宇宙的未来又迈出了重要一步,载体是一套朴实无华的按钮式设备。很多朋友都知道,在VR中玩游戏、在元宇宙应用里探索肯定离不开某种动作捕捉系统,但这些东西往往非常笨重、碍手碍脚。
以Meta公司为代表,很多人都坚称元宇宙才是互联网的未来。过去几年中,越来越多的平台允许用户在虚拟世界中选择自己的数字化身。但如果没有合适的设备,用户还是没有多少能与元宇宙真正交互的途径。
单靠鼠标和键盘,甚至是游戏手柄,显然不足以把我们的动作充分映射到化身那边。虽然这种功能缺失在传统的游戏和应用程序中不是什么大事,但未来的元宇宙场景肯定还需要更强的响应能力。索尼公布的小工具有望解决这个问题。它虽然没办法取代VR头显,但却打开了一道大门、解决了VR头显也无法应对的挑战。
索尼公布了一段节奏欢快的有趣视频,其中介绍了这款名为「Mocopi」的全新运动跟踪系统,并很好地展示了其功能。Mocopi在本质上类似于由六个苹果AirTag构成的一组传感器,其区别就是按钮在束带上、而不像AirTag那样放在钥匙扣上。这些束带可以佩戴在头上、脚部、手部和臀部,在正确设置之后,它们就能跟元宇宙应用程序配对,由此创建出一个能实时跟踪用户动作的全同步化身。
Mocopi依靠的是索尼的专利算法,能够以最不限制行动的方式测量并跟踪用户动作。它虽然不足以成为单独的游戏控制器,但依然能支撑元宇宙和社交应用中的简单操作。截至目前,Mocopi还没有公布与此类服务的关联,但索尼表示将在2022年12月15日发布软件开发工具包,并开放对Unity开发者平台和MotionBUilder的访问。如此一来,Mocopi将可用于收集运动数据以制作3D动画。
Mocopi可能需要匹配Android 11或更高版,以及iOS 15.7.1或更高版本的设备才能运行。从12月中旬开始,索尼将在接下来几周内开放产品预订。但真正的全面投放市场估计要从2023年1月开始。不过遗憾的是,目前还不清楚这款产品何时才会登陆日本以外的其他市场。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。