微软推出实验性多模态生物研究系统 Project Quine
微软研究院联合博德研究所推出实验性多模态 AI 研究系统 Project Quine,将覆盖基因组学、蛋白质、化学、细胞状态和生物成像的世界模型与交互式推理框架相结合。该系统旨在通过多领域跨模型计算预筛候选物并排定优先级,以加速药物发现和湿实验验证,目前仅限科研使用并已开放 Quine Fellows 项目申请,未来计划通过 Microsoft Discovery 扩大商业化开放。
微软研究院联合博德研究所推出实验性多模态 AI 研究系统 Project Quine,将覆盖基因组学、蛋白质、化学、细胞状态和生物成像的世界模型与交互式推理框架相结合。该系统旨在通过多领域跨模型计算预筛候选物并排定优先级,以加速药物发现和湿实验验证,目前仅限科研使用并已开放 Quine Fellows 项目申请,未来计划通过 Microsoft Discovery 扩大商业化开放。
研究人员提出 LLM 驱动的自动研究框架 MemEvo,将流式视频记忆设计建模为可执行程序的搜索问题,以自动化生成训练无关的有界记忆机制。该方法在冻结视觉语言模型的前提下,利用预训练 LLM 结合实验反馈迭代优化候选记忆程序。在 StreamingBench 与 OVO-Bench 上的实验表明,该机制在保持强劲视频理解性能的同时大幅提升了推理效率。
研究人员针对多模态强化学习提出持久性感知信用分配方法 PACG,通过削弱异常持久视觉主张的正向信用,解决未受图像支持的主张错误继承奖励的问题。该方法无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将 DAPO 和 VPPO 的 9 项基准平均分分别提升至 59.9% 和 60.9%,并提升了 HallusionBench 准确率。
AVIO 是一种可在视听场景中联合学习发声物体添加与移除的模型,通过源条件特征调制适配预训练文本到视听生成模型。配套构建的 AVIOBench 数据集包含 37.9 小时配对视听样本,覆盖 1,878 个目标物体名称。该模型结合参考帧课程学习,使单个模型即可执行纯指令编辑,并支持通过可选视觉引导控制物体的外观与位置。
研究人员提出协同演化奖励框架 CoRe,通过让奖励模型与生成器动态交互,缓解视频扩散模型在潜在空间对齐时的奖励作弊问题。CoRe 持续在生成器当前样本上重新拟合奖励模型并锚定真实视频偏好,防止生成器因分布逃逸导致感知与运动质量恶化。在 Wan2.1-T2V-1.3B 上的实验表明,该方法生成质量优于预训练模型及先前对齐方法。
研究人员提出多模态智能体框架 MERID,通过基于经验的递归自我改进自主构建并优化重度抑郁症分析流程。该框架整合了目标对齐(GSC)、流程联合探索(CPE)与证据引导演化(EGE)机制,能在小样本抑郁队列中验证并继承有效改进。实验表明 MERID 在多项基准测试中均取得最佳效果,相关代码已开源。
研究人员推出 FigAct 框架与 FigAct-8B 模型,可直接对静态科学图表中的图形元素进行操作,将其转化为问答驱动的动态视觉演示以引导读者注意力。该框架采用分层搜索策略实现高效的元素定位,将 token 消耗降低约 40x,并基于定位精度、搜索效率与渲染质量三项奖励进行训练。团队还构建了人工验证的评测基准。
一项针对视觉-语言-动作(VLA)策略隐式接口的研究表明,在 LIBERO 和 CALVIN 基准下,54 种多层融合配置中有 47 种表现弱于最佳单层策略。研究提出以 InfoNCE 作为层质量代理指标,无需闭环评估即可将平均选择遗憾值从最深层的 17.89 个百分点降至 3.71 个百分点,同时减少 9-33 倍 GPU 算力消耗。
研究人员推出 GeoOutageBench,用于评测大语言模型在多模态电力停电与韧性分析中的地理时空知识图谱问答(KGQA)能力。该基准整合停电记录、遥感与气象等多模态数据,评估大语言模型在歧义条件下的自然语言转 SPARQL 解析、本体效用及多模态检索准确率。目前相关基准、代码与数据已公开提供。
匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 平台上线,展现出较强的长上下文、多模态理解与 Agent 编程能力。实测表明其能直接将手绘草图转化为可交互网页与 3D 场景,并在小型游戏及交互展台搭建中快速产出可用代码。研究人员分析其分词特征与配置发现,该模型可能与 MiniMax 旗下新版本相关,目前两平台均提供免费体验。
研究人员提出 RLHarness 框架,将技能(Skills)、协议与示例整合为版本化 Harness,通过与强化学习策略交替演化解决长链条多模态推理难题。该方法结合 SFT、DAPO I、Post-RL 重构与 DAPO II,使 MetroMap/TravelMap 准确率从 16.25%/27.50% 提升至 62.00%/50.00%。
研究人员构建了一款双语 AI 听力师,在无需微调底层大语言模型的前提下,结合量规引导剧本归纳、多模态听力图解读与 RAG 技术。在包含 58 个模拟病例的双盲对比中,该 AI 在全部 58 个病例及 21 项评估维度的 20 项上均超越 17 位执业听力师,5 分制综合评分平均提升 +1.35 分。
研究团队提出住宅能源管理多模态基准 EVLA,将电池调度建模为结合 RGB 能量场、数值状态与自然语言目标的 16 步动作预测任务。该基准涵盖 3 种隐藏工况与 5 种语言目标,共包含 6,588,045 个多模态样本。MobileNet 测试显示,移除语言使轨迹 MSE 从 0.3856 增至 0.8628,而移除视觉后为 0.3843,表明预测质量高度依赖语言模态。
上海人工智能实验室开源多模态决策模型 Intern-Decision,推出 0.8B、2B 与 4B 三款规格并开放权重与代码。在单张 RTX 4090 上,该模型推理速度较 Jev 提升 2-3 倍,4B 模型时延低于 45ms,0.8B 和 2B 版本达到每秒约 30 次推理。模型支持直接读取画面完成游戏与浏览器操作,并可通过温度校准和置信度机制与大模型协同工作。
中国电信星辰通用人工智能实验室推出并开源约 1.2B 参数的文档解析模型 TeleOCR,相关资源已上线 GitHub 与 Hugging Face。该模型采用形变感知学习与内容-结构解耦设计,通过动态多边形与曲率引导采样算法处理拍摄弯曲与透视,支持复杂表格与 19 种科学图表提取。
可灵 AI 推出 Kling 4.0 视频生成模型及兼顾速度与性价比的 Kling 4.0 Flash,在画面真实感、长镜头叙事与专业控制上实现升级。模型支持 10-bit HDR 及 4K/1080P 输出、单次原生最长 30 秒生成,覆盖 9 种语言口型同步,并支持单次任务组合最多 15 项参考素材与 10 张关键帧。
推荐理由:原文实测了新模型在运镜稳定性、10-bit HDR 输出与多参考控制上的表现,便于创作者评估其接入专业影视流程的实用性。
Anthropic 正式发布 Claude Fable 5.1 大语言模型,主打长周期、异步及跨应用的复杂编码与深度知识工作。模型 API 定价为输入每百万 token 10 美元、输出每百万 token 50 美元,缓存读取费用降至每百万 token 0.25 美元,已面向订阅用户及主要云平台开放。
推荐理由:原文详细说明了新模型的定价变化、降本幅度与安全路由机制,有助于评估复杂长周期任务的迁移成本。
可灵AI宣布最新一代旗舰视频生成模型 Kling 4.0 开启内测并计划于10月上线,同时推出轻量版 Kling 4.0 Flash。Kling 4.0 单次原生生成时长达到30秒,结合续拍最长可达2分钟,支持最多10张关键帧与15个参考素材输入,并新增双通道立体声、21:9超宽画幅与10-bit HDR高规格输出。
推荐理由:新版本将原生生成时长提升至30秒并支持10张关键帧控制,反映出视频生成正从短片段生成转向长镜头与专业叙事流程。
Diffusion Controller 框架将文生图去噪过程重构为连续控制问题,通过统一的数学表征平衡图像质量与用户偏好对齐。该方法引入轻量附加网络动态校准生成轨迹,无需修改基础模型权重即可超越行业标准,其完全解锁微调版本对比基线模型取得 90% 胜率。实验在 Stable Diffusion v1.4 上验证了其在灰盒及闭源模型中的控制能力。
Microsoft Research 推出生物学 AI 研究系统 Quine,由多模态生物学世界模型以及连接科研工具、文献与湿实验的交互框架组成。系统联合学习基因组、蛋白质、细胞状态及生物成像等跨尺度数据,以预测干预后的生物状态演变;在与 Broad Institute 合作的胰腺癌研究中,Quine 快速完成化合物筛选并在湿实验中验证了候选分子。
推荐理由:原文展示了生物学世界模型与湿实验结合的闭环流程,读者可据此了解 AI 辅助跨模态生物学推理与药物筛选的具体范式。
匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 上线,凭借快速响应、草图生成可交互 3D 网页及 Agent 编程能力引发大量调用。实测显示其能直接理解粗糙草图并生成包含动效的前端页面,但在精细视觉质感上与旗舰模型仍有差距。分词特征与代码线索分析显示,该模型可能来自 MiniMax 家族。
推荐理由:实测展现了该模型将简单草图快速转化为可交互 3D 网页的能力,读者可据此了解轻量级 Agent 编程的适用边界。
研究人员提出分层评测基准 DriveHierarchy,将基于 VLM 的自动驾驶能力划分为感知定位、上下文记忆、思维推理与闭环执行四级架构。该基准整合开源数据集构建出包含 84,279 帧和 76,798 个问答对的开环评测,并基于真实路网开发出包含 100 个交互场景的闭环仿真平台。在 15 个 VLM 上的实验表明,该基准能有效关联开环理解与闭环驾驶表现,为模型诊断与优化提供依据。
研究人员提出一种确定性多数据集谓词框架,可从几何、运动学与地图等数据推导驾驶场景语义,并在 nuPlan 与 nuScenes 数据集上构建通用谓词知识图谱(Predicate KG)。
Google Research 推出一套面向长时长叙事视频的多智能体框架体系,涵盖 Co-Director、CANVAS、A²RD 和 VQQA 四项核心研究,旨在解决视频扩散模型在多镜头场景中的语义漂移和级联错误。
推荐理由:Google 将长视频生成解构为多智能体编排与世界状态追踪,提供了解决多镜头叙事中角色与场景漂移的成套系统方案。
Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将实时对话能力与低延迟流式视频生成结合,赋予对话 AI 具备自然口型与表情的动态视觉形象。
推荐理由:原文介绍了原生实时对话结合流式数字人形象的能力与技术细节,读者可以据此了解多模态交互在企业场景中的最新落地形式。
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性投机采样草稿模型 LFM2.5-VL-DSpark。该模型参数量约为 280M(仅占目标模型的 8.9%),在 Apple M5 Max 端侧实现最高 3.13 倍解码加速与 2.62 倍端到端提速,在 H100 上解码加速最高达 2.66 倍。
NVIDIA 推出开源 3D CT 视觉语言模型 NV-Reason-CT,旨在支持放射科医生的思维链(CoT)推理。针对通用前沿大模型在三维容积成像上表现欠佳、多数开源医疗 AI 模型缺乏对高密度 3D CT 扫描支持的痛点,该模型专门针对临床三维影像推理进行优化。
Google DeepMind 正式推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持通过自然语言提示词定制角色声音并逐行掌控对话演绎。
推荐理由:两款模型将语音生成拓展至基于自然语言的精细表演控制与多角色编排,为多语种配音和语音智能体开发提供了高可控性方案。
腾讯正式发布混元图像 3.5 预览版(Hy Image3.5 preview),定位高性价比专业级生图模型,官方盲测对比 Hy Image3.0 综合能力提升约 30%。
推荐理由:新模型在多轮编辑与文字渲染上做了针对性优化,配合较低的单图调用成本,有助于降低批量视觉物料生成的试错门槛。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款近实时对话模型,主打面向企业与开发者的端到端语音智能体构建。
推荐理由:两款模型展示了近实时语音交互与后台复杂推理并行执行的技术路径,为构建低延迟端到端语音智能体提供了参考基准。
阶跃星辰正式发布 StepAudio 3 系列语音大模型,涵盖 Realtime、ASR、TTS、Gen 和 Music 五款模型并上线开放平台。
推荐理由:原文给出了五款音频模型在实时交互与全链路生成上的评测表现,读者可以据此了解原生语音模型在复杂任务中的落地能力。
深度求索正式发布并开源 552B 参数的原生多模态模型 DeepSeek V4.1 Flash。该模型采用 Causal-Encoder-Decoder 非对称 MoE 结构,输入激活 8B、输出激活 16B,大幅减少了 KV Cache 对 HBM 和 SSD 的占用需求。
推荐理由:原文公开了非对称 MoE 架构与大幅压缩 KV Cache 的技术细节,为开发者评估多模态与 Agent 任务落地成本提供了直接参考。
NeoMME 推出 260M 与 800M 原生多语言多模态编码器,采用单塔双向 Transformer 从头预训练,无需独立视觉塔或自回归解码器。微调版 NeoMME-Retriever 在单次前向传播中同时输出稠密与后期交互嵌入,在 ViDoRe v3 达到帕累托最优,并可在单张 NVIDIA L40S 上以每秒 51 页的速度编码 2048×2048 图像。
推荐理由:原文开源了单塔架构的多模态原生编码器与检索微调权重,读者可参考其在视觉文档检索与索引压缩上的落地实践。
Google 联合 NASA JPL 提出基于 Swin-S Vision Transformer 的深度学习框架 MAPL-EMIT,用于自动化检测、量化并定位太空高光谱卫星数据中的甲烷羽流。
推荐理由:研究展示了如何利用物理仿真训练视觉模型解析太空高光谱遥感数据,为大范围环境监测提供了自动化工具。
Google Research 推出实验性系统“行星预测引擎”(PPE),可直接根据自然语言查询自主完成地理空间数据发现、清洗、特征工程、模型训练与评估的全流程。
推荐理由:该研究通过大语言模型编排自动化全流程地理空间建模,将传统需数周的手工数据整理与特征工程压缩至数分钟。
Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者提供更具控制力的视频生成套件并正式接入 Google AI Studio 的 Gemini API。
推荐理由:材料详述了场景延展、首尾关键帧过渡与视频参考等控制特性,开发者可据此评估其在视频工作流中的落地可行性。
NVIDIA Developer Blog 介绍了在 NVIDIA GB300 NVL72 上运行阿里 Qwen3.8-Flash-Next 进行智能体编码的实践。
推荐理由:文章解析了在 GB300 NVL72 上运行 Qwen4 预览版模型的架构参数与长上下文特性,为开发者构建智能体编码工作流提供了参考。
Google 提出研究原型 AgentHands,专为 Android XR 等平台设计,可将大语言模型推理转化为与语音实时同步的三维交互手势。系统通过环境感知构建 3D 边界框,并利用词级时间戳协同 TTS 语音与动画引擎,在物理空间中精准完成指示与动作模拟。在兰花养护和 3D 打印机操作测试中,该技术显著提升了具身智能体的空间交互效果。
DeepSeek 实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp 正式上线 API 平台,支持图文混合输入与各类 Agent 框架集成。
推荐理由:原文给出了纯文本与多模态基准对比以及按 token 计费规则,开发者可以据此评估多模态智能体任务的接入成本。
Sentence Transformers 在 v6.0 更新中引入 MultiVectorEncoder,原生支持 ColBERT 风格的延迟交互(Late Interaction)检索模型。
推荐理由:库更新统一了 ColBERT 与 ColPali 等延迟交互模型的接口,读者可据此在 RAG 中低成本接入多向量检索。