AI 资讯聚合

何恺明团队发布了一套名为VISTA的多模态Harness框架，旨在让现有的多模态模型直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练。这种方法保留了原始的视觉信息，模型可以根据眼下的问题，将过去看过的画面重新调入上下文，参与当前的判断与推理。VISTA的研究问题是如何在不额外训练基础模型的情况下，让智能体在推理需要时，重新检查过去看到的视觉信息。

vLLM 语义路由器发布了 Decision 3.0，这是一系列多模态决策模型，可以读取文本、JSON 和图像，并回答有关它们的类型化问题。Decision 3.0 有 5 种大小，从 0.8B 到 27B，都采用 Apache-2.0 许可。对于开发者，这提供了一个快速的方式来分类、路由和控制请求，而无需解析生成的文本。Decision 3.0 返回概率而不是文本，开发者可以传入状态（文本或 JSON）、可选图像和命名问题，每个问题都可以得到一个概率答案。这种模型的性能在基准测试中表现出色，在 Jev Decision Index 0.3.1 中，Decision 3.0 的得分为 64.1，领先于 Perplexity Decider v1.1 和 Jev。

Cloudflare 发布了 Clef-omni 多模态决策模型，这是一种新型的开放权重模型，能够同时处理音频、视频、图像和文本数据。Clef-omni 是 Clef 决策模型家族的最新成员，于 2026 年 10 月 9 日发布。它能够在一次调用中评分文本、图像、音频和视频数据，简化了开发者的工作流程。Clef-omni 的工作原理是通过对 Qwen3-Omni-30B-A3B-Instruct 模型进行后训练，保留理解能力的骨架并去掉文本到语音的输出路径。该模型能够在约 130 毫秒内对文本进行决策，约 150 毫秒内对图像进行决策，约 1.5 秒内对 21 秒的视频进行决策。Clef-omni 在基准测试中表现出色，尤其是在意图分类方面，取得了 94.8 的宏 F1 值。

微软宣布推出新一代的AI芯片Maia 300，这款芯片将成为微软产品和服务的主要AI推理系统。Maia 300相比前一代芯片具有更高的效率和能力，能够处理最新的推理模型和代理任务。据微软云计算集团执行副总裁Scott Guthrie介绍，Maia 300的效率比领先的GPU系统高出40%，在96个加速器的配置下，能够提供最高7倍的机架级别的token吞吐量。这种效率的提高将使微软在未来能够主要依赖自己的AI芯片，而不是Nvidia和AMD的芯片。Maia 300芯片预计将从2027年开始投入生产使用，微软计划在2027年开始大规模部署Azure Maia家族，进一步提高AI推理的效率和能力。