给大语言模型装上耳朵之后,才发现内存根本不够用
大语言模型做语音识别时,词表太大导致CTC训练内存爆炸。本文提出Pruned CTC,数学等价地压缩计算量,并基于此打造LLM-CTC,实现快速非自回归语音识别及流式识别,兼顾精度与效率。
大语言模型做语音识别时,词表太大导致CTC训练内存爆炸。本文提出Pruned CTC,数学等价地压缩计算量,并基于此打造LLM-CTC,实现快速非自回归语音识别及流式识别,兼顾精度与效率。
论文提出DISCO框架,将长文本处理拆分为分布式证据检索与集中式推理两阶段,通过Driver-Worker架构和强化学习训练,在百万token场景下准确率达78.4%,成本降低超80%,有效解决大模型长文本推理质量下降问...
小米团队提出Gagar框架,用智能评分体对代码AI生成的多个方案进行横向排名,把奖励从低质量方案转移给高质量方案,解决了传统强化学习只看测试通过、不看代码质量的问题,训练更稳定,效果超越部分顶级模型。
大模型强化学习训练时GPU分配计划常常一成不变,但序列长度会暴涨16倍导致方案失效。Nereus提出成本感知调度和弹性模型单元,实现训练中动态调整,吞吐量提升最高7.27倍。
多智能体协作常因规则遗忘而失效,Relic让AI团队把协作教训固化为可执行组织规则,跨成员持续生效,在360次实验和外部基准测试中显著提升交付成功率与协作稳定性。
本文提出G?PTQ,一种融合一阶梯度与二阶Hessian信息的大模型后训练量化方法,通过块级全局监督目标和信任域缩放机制,在多种模型家族和比特位宽下实现比现有方法更接近全精度模型的量化效果。
FlowTool用流匹配技术替代语言模型的自回归生成,直接把噪声转化为图像调色参数,在多个修图基准上超越GPT-5、专用修图智能体,推理速度提升50倍以上,显存占用降低近一半,为工具型图像编辑提供了全新的非语言生成范式。
本文解读了一篇关于机器人操控的最新研究:如何让聪明的AI智能体把操控视觉语言动作模型的实战经验写成操作手册,再传给轻量级智能体使用,从而在真实机械臂和仿真环境中大幅提升任务成功率,同时大幅降低部署成本。
研究团队从强化学习视角重新解读语言模型的在线策略蒸馏,提出LSPD方法,融合乐观探索与历史数据复用机制,在六大数学推理基准上超越现有蒸馏方法,同时给出对数级遗憾的理论收敛保证。
论文提出用一种更省算力的代数乘法规则替换Transformer前馈层的标准矩阵乘法,参数量不变但计算量下降,实测生成速度提升6.2%到7.8%,但下游任务分数有所降低,属小规模可行性验证。
开源编码智能体OpenCode正式发布2.0版本,核心改动为引入单一共享后台服务,打通终端、桌面与Web界面,使开发者可跨界面管理同一编程会话。此外新版本重构了API、推出可嵌入SDK、支持子代理与Shell命令后台执行...
Meta发布816B参数(42B激活参数)开放权重模型Muse Spark Open,主打编程与智能体任务,在多项基准测试中领先同类美国开放模型,但在Terminal-Bench等编程基准上仍落后于Kimi K3和GLM...
德国总理默茨与NVIDIA CEO黄仁勋在柏林会面,双方签署意向声明,计划合力推进物理AI模型开发及工业AI生态建设。NVIDIA同步宣布投资四家德国初创企业,并披露西门子与NVIDIA合作推进自主工厂项目,工程工作量可...
西班牙巴塞罗那超算中心(BSC)AI工厂加速计划已全面运营,依托MareNostrum 5超算基础设施为初创企业提供算力、技术支持与培训。NVIDIA Inception成员现可通过NVIDIA平台直接访问部分BSC A...
IBM发布推理引擎插件vLLM-Hook MIA,可在不关闭vLLM图回放模式的前提下,对LLM内部状态进行实时监控与干预。测试显示,该插件比前代快20倍,对8B模型推理延迟仅增加2%,可用于拦截恶意提示、标记幻觉及调整...
NVIDIA在GTC柏林展示RTX Spark、DGX Spark及DGX Station全系本地AI硬件更新,包括DGX Spark 64GB版本开售、支持最多8台集群配置、DGX Station将于12月推出Wind...
Exelon输售电高管Carim Khouzami表示,因数据中心需求激增、PJM容量市场激励不足,公司正积极推动各州重新允许受监管公用事业商参与发电。他预计五年内Exelon将再次拥有发电资产,并同步推进逾410亿美元...
NVIDIA推出Omniverse DSX Blueprint,基于OpenUSD与Omniverse库,为开发者提供参考资产、示例脚本及工作流,支持通过AI智能体构建和编辑AI工厂数字孪生模型,涵盖算力配置、电力分配与...
法国Prix Pascal de Littérature IA文学奖本周启动,面向全球征集人机共创法语小说手稿,字数要求1万至5万词,需注明所用AI模型及提示词,获奖作品将获出版机会,截止日期为11月底,获奖者将于12月...
ASML刚发布了Q3财报并举行电话会议,CEO Christophe Fouquet和CFO Roger Dassen出席。ASML是全球唯一EUV制造商,但Fouquet曾说:EUV是伟大的故事,可很多人视为天上掉馅饼...