跳到正文
原文
Google Research·· 2026-06-27精选AI 评分60

Google 推出基于冻结权重的端侧多 Token 预测架构,Pixel 上 Gemini Nano 推理加速超 50%

Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

AI 导读

Google Research 提出一种在冻结权重基础上集成多 Token 预测(MTP)头的端侧推理加速架构,已部署于 Pixel 9 与 10 系列设备。

推荐理由

阐述了在不重训基座模型的前提下通过跨注意力复用缓存实现端侧投机解码,为移动设备内存与能耗受限场景提供了可落地的加速方案。

来源:Google Research · research.google