根据TechCrunch获得的内部聊天资料,负责改进谷歌Gemini AI的外包人员正将其输出的答案与竞争对手Anthropic的Claude模型输出进行比对。
随着科技企业竞相构建更强大的AI模型,他们往往会将自家模型的性能与竞争对手进行比较。但具体比较标准主要是行业通行的基准性能测试,很少会由外包人员直接用响应结果作为评判依据。
负责评估模型输出准确性的Gemini外包人员需要根据多项标准(例如真实性和冗长性)对他们看到的各项响应打出评分。根据TechCrunch看到的资料,外包人员在每条提示词上最多有30分钟来判断Gemini和Claude哪边生成的答案质量更高。
其中还提到,外包人员最近注意到在他们用于将Gemini同其他未具名AI模型进行比较的谷歌内部平台上,直接提到了Anthropic Claude的字眼。
Gemini外包人员收到的输出中至少有一条明确提到:“我是Claude,由Anthropic创建而成。”
在一段内部聊天中,外包人员发现Claude的回复似乎比Gemini更强调安全性。一位外包人员写道:“Claude的安全设置是所有AI模型中最为严格的。”在某些情况下,Claude不会响应它认为不安全的提示词,例如扮演其他AI助手。在另一案例中,Claude还因结果可能包含“裸体与拘禁”等“严重违反安全规定”的内容而拒绝回应提示词。
在Anthropic的商业服务条款中,明确禁止客户在未经Anthropic批准的情况下出于“构建竞争产品或服务”或者“训练竞争性AI模型”等目的访问Claude模型。但谷歌本身是Anthropic的主要投资者,所以情况又复杂了起来。
负责Gemini项目运营的谷歌DeepMind发言人Shira McNamara拒绝透露谷歌是否获得Anthropic关于访问Claude的授权,Anthropic方面也未做出置评回应。
McNamara表示,DeepMind确实会“比较不同模型的输出”以进行评估,但不会使用Anthropic模型直接训练Gemini。
McNamara强调:“当然,根据行业标准惯例,我们在某些情况下会对模型的输出进行比较以作为评估过程中的一部分。但是,任何声称我们使用Anthropic模型训练Gemini的说法都是不准确的。”
不久前有消息称,目前谷歌正要求参与该公司AI产品项目的外包人员在专业领域之外对Gemini的AI响应打分。外包人员则在内部聊天资料中表达了担忧,提到Gemini可能会在医疗保健等高度敏感的问题上生成不准确信息。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。