今年,索尼日本首次亮相后,准备将Mocopi(该公司基于智能手机的可穿戴运动跟踪系统)引入美国市场。虽然价格略有上涨,但它仍然是建立整个动作捕捉工作室或将房间布满传感器的更经济实惠的选择。
动作捕捉技术是将现实生活中表演者的动作记录下来,并应用于虚拟角色的关键工具,它不仅简化了计算机生成角色的动画过程,还能实现更逼真和细致的动作。
随着虚拟YouTuber等的日益普及,过去几年出现了更实惠的动作捕捉解决方案探索潮,索尼也加入了这一行列,推出了Mocopi。
Mocopi仅依赖于六个运动跟踪器,它们看起来很像苹果的AirTags,但有一点颜色,每个跟踪器都配备了一个用于跟踪物理运动的3DoF加速度计和一个用于跟踪其在3D空间中的方向的3DoF角速度传感器。
Mocopi所有的跟踪器都可以使用单根USB电缆在一个携带箱中同时充电,并通过磁性连接到表演者手腕、脚踝、臀部和头部的带子或夹子上,标签确保它们始终连接到正确的身体部位。同时,每个Mocopi可跟踪器通过蓝牙将其位置数据传输到配套的手机应用程序,用户可以通过该应用程序控制虚拟角色,这些数据也可以通过WiFi实时共享到PC上,以控制其他应用程序中的计算机生成角色,如VRChat,或通过已经可用的软件开发工具包用于其他应用程序。
Mocopi将于7月14日开始向美国客户发货,售价为449美元,这比使用HTC Vive等完整的虚拟现实系统要便宜得多,因为考虑到用于捕捉位置数据的单个跟踪器和基站,HTC Vive的成本可能高达数千美元。尽管Mocopi系统每秒只捕捉50Hz的数据,但你可以期待更昂贵的解决方案具有更高的准确性。它的价格也不如SlimeVR等解决方案便宜,后者以100Hz的速度捕捉数据,通过完全基于WiFi的通信系统最大限度地减少延迟,并且六个跟踪器的只需190美元,是Mocopi看起来可以将整个动作捕捉解决方案放入你的口袋中。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。