开源快速决策模型 Jeff 发布，基于 Qwen3.5 单次前向推理延迟约 30ms
开源决策模型 Jeff 正式发布，基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调，支持单次前向推理直接输出校准概率，单次决策延迟低至 22 至 28 毫秒。
推荐理由：原文展示了仅需单次前向推理的轻量级决策模型实现路径，为端侧与高并发场景下的极速分类与路由提供了低成本方案。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 1–20 条 · 共 22 条Buzzing HN · 中文精选精选AI 评分6868 爱范儿 · AI 筛选精选AI 评分6767 豆包输入法完成五大平台覆盖并上线跨端协同与 AI 文字整理功能
豆包输入法正式补齐 HarmonyOS NEXT 与 Windows 版本，实现 iOS、Android、HarmonyOS NEXT、macOS 及 Windows 五大平台全覆盖。新版本支持账号多端实时对齐个人词库、跨设备文字与图片超级互传，并升级了气声与方言识别、离线语音以及长语音结构化文字整理功能。此外，键盘端还加入了行内计算、语义续写及手势快捷删除等交互特性。
推荐理由：原文详细梳理了跨端词库同步与 AI 文字整理等实测细节，展示了端侧大模型如何降低日常多设备输入阻力。
Google Developers · AI 筛选精选AI 评分6868 借助 LiteRT 与 Gemma 在树莓派上构建端侧 AI 应用
Google 介绍了如何通过 LiteRT 推理运行时与 Gemma 系列轻量模型，在树莓派 5（Raspberry Pi 5）上实现完全离线、低延迟的端侧 AI 与机器人系统。
推荐理由：原文展示了基于 LiteRT 在树莓派 5 上异构协同 CPU 与 GPU 运行 Gemma 的架构与性能数据，为低功耗端侧离线智能体提供了落地参考。
Google Developers · AI 筛选精选AI 评分7070 Google 正式发布 ADK for Kotlin 1.0
Google 正式推出 Agent Development Kit（ADK）for Kotlin 1.0 正式版，面向 Kotlin、Java 及 Android 开发者提供原生 AI 智能体开发支持。
推荐理由：该框架将多智能体编排与 Android 原生持久化和端侧推理结合，为 Kotlin 及移动端开发者提供了开箱即用的工程方案。
Google Developers · AI 筛选精选AI 评分7272 Google Antigravity SDK 宣布支持本地 AI 模型工作流
Google 宣布 Antigravity SDK 正式支持本地 AI 模型工作流，首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B 模型离线运行。
推荐理由：官方为智能体开发框架引入端侧模型执行能力，通过云端规划与本地执行的混合编排方案，为平衡数据隐私与推理成本提供了具体参考。
Ollama 更新精选AI 评分6969 Ollama v0.40.0 发布：Apple Silicon 设备默认采用 MLX 运行时
Ollama 发布 v0.40.0 预发布版本，在 Apple Silicon 设备上默认通过 MLX 运行时加载并运行受支持的模型架构。团队在预发布期间将持续测试并启用更多模型架构，支持通过标准命令拉取和运行 Qwen3.8 等模型。
推荐理由：Ollama 在苹果芯片上默认启用 MLX 后端，读者可据此了解本地模型在 Mac 上的推理路径变化与适配规划。
腾讯混元 公众号精选AI 评分6161 腾讯上线基于混元 Hy-MT2 的“腾讯Hy翻译” APP
腾讯正式上线“腾讯Hy翻译” APP，同步支持小程序、插件和 PC 端体验。该应用基于腾讯混元 Hy-MT2 翻译模型构建，支持 33 种语言互译及 5 种中国少数民族语言与方言，提供语音翻译、拍照翻译以及通过本地模型实现的离线翻译功能，已在美国、日韩、东南亚多国及中国港澳台等 12 个国家和地区推出。
推荐理由：该应用基于混元翻译模型提供了离线端侧能力，读者可以据此了解其在无网出国场景下的实用表现。
Engineering at Meta精选AI 评分6767 Meta 为 AI 眼镜引入机密计算基础设施 Private Processing
Meta 宣布将机密计算基础设施 Private Processing 扩展至 Meta AI 眼镜，把眼镜端的信任边界延伸至云端机密虚拟机（CVM），确保即使处理高负载 AI 任务，Meta 也无法访问用户数据。
推荐理由：原文给出了 AI 眼镜在端云协同中兼顾长期记忆与机密计算的架构设计，有助于了解端侧智能硬件在云端大模型算力卸载时的隐私安全方案。
Google DeepMind精选AI 评分6262 Google 为 Private AI Compute 引入服务端安全记忆架构
Google 宣布为其 Private AI Compute 平台升级安全服务端记忆能力，使 AI 助手在保持设备端隐私标准的同时具备跨设备的持久上下文。该方案将解密密钥完全保留在用户设备端，云端安全隔离区仅在处理请求时于隔离内存中临时解密数据，完成计算后立即重新加密存储。Google 同步公开了服务端软件的防篡改记录与第三方独立审计结果以供外部验证。
推荐理由：该架构通过设备端掌握密钥与云端安全隔离区结合，解决了跨设备长期记忆与隐私保护难以兼顾的工程矛盾。
Hugging Face精选AI 评分8080 Transformers 原生支持运行 llama.cpp GGUF 量化模型
Hugging Face 在 Transformers 库中新增对 GGUF 量化格式的原生高效推理支持，用户可通过标准 from_pretrained API 直接加载 Hub 上的 GGUF 模型并在本地运行。
推荐理由：原文展示了在 PyTorch 生态中直接加载 GGUF 权重的实现路径，让开发者无需脱离 Transformers 工作流即可兼顾端侧推理性能。
Hugging Face精选AI 评分6666 利用 TRL 进行 100 步 GRPO 微调提升 350M 模型结构化输出能力
Hugging Face 发布实践指南，展示在免费 GPU 上使用 TRL 库对 LFM2.5-350M 模型进行 100 步 GRPO 微调，将其在 IFStruct 基准上的得分从 22.6% 提升至 29.7%。
推荐理由：教程展示了仅用百步轻量强化学习提升端侧模型格式遵循的可行路径，为低成本专用小模型调优提供了落地参考。
Hugging Face精选AI 评分7373 Hugging Face 推出 @huggingface/kernels 与 200+ WebGPU 算子库
Hugging Face 推出 @huggingface/kernels 库及首批 207 个 WebGPU 算子，旨在加速浏览器端本地 AI 推理。每个算子以独立版本化仓库发布在 Hub 上，包含接口契约、WGSL 着色器模板、正确性与基准测试用例，并同步推出了浏览器端基准测试工具 Fleet 以众包真实硬件数据。
推荐理由：Hugging Face 将 WebGPU 算子模块化管理并提供众包基准测试，有助于开发者提升端侧浏览器 AI 推理性能。
腾讯混元 公众号精选AI 评分6565 腾讯混元发布 Hy-MT2-1.8B 极低 bit 翻译模型，将 3.3GB 模型压缩至 440MB 并落地直播弹幕
腾讯混元联合英特尔与哔哩哔哩推出 Hy-MT2-1.8B 极低比特翻译模型方案，提供 2-bit（574MB）与 1.25-bit（440MB）两套量化版本，将原本 3.3GB 的端侧模型压缩至几百兆且保持翻译质量几乎无损。
推荐理由：原文展示了从量化算法、芯片指令优化到直播弹幕落地的完整链路，为端侧小模型的极致压缩与低资源部署提供了可复用实践。
Engineering at Meta精选AI 评分6666 Meta 解读 WhatsApp 如何在端到端加密下构建防诈预警功能 Scam Alert
Meta 详细介绍了 WhatsApp 正在测试的防诈预警功能 Scam Alert 的技术架构。该功能完全在端侧运行轻量机器学习模型以识别潜在诈骗消息，所有消息内容均不出设备且不进行自动上报。系统通过基于 TEE 的机密联邦分析管道收集带差分隐私噪声的聚合指标，并借助第三方透明账本与 OHTTP 中继确保模型下发与分析流程公开可验证且无法针对特定用户定向投递。
推荐理由：文章详细公开了如何在端到端加密场景下结合端侧模型与机密计算构建兼顾隐私与可验证性的系统方案。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini Robotics 2 系列模型，支持全身控制与多机协作
Google DeepMind 推出 Gemini Robotics 2 机器人模型系列，支持人形机器人全身运动协同控制、高灵巧度手部操作与多机器人协作。
推荐理由：该系列将视觉语言动作模型扩展至全身控制与端侧适配，使硬件团队能用极少样本迁移到不同形态的机器人。
阶跃 StepFun 公众号精选AI 评分6666 阶跃星辰发布 Step Edge 端侧模型家族
阶跃星辰发布面向手机与汽车等终端场景的 Step Edge 端侧模型家族，涵盖基础模型、Audio、GUI 及 Gen 四类模型。该系列支持低至 0.1 秒的本地 toolcall 执行与全模态隐私保护，并在 29 项核心评测指标中取得领先；官方同时推出了配套的 Step Inference NPU 自研推理引擎以优化终端延迟。
推荐理由：阶跃星辰面向手机和汽车等场景推出端侧模型家族并配套自研推理引擎，展示了端云协同与本地执行的技术路径。
Google Research精选AI 评分6060 Google 推出基于冻结权重的端侧多 Token 预测架构，Pixel 上 Gemini Nano 推理加速超 50%
Google Research 提出一种在冻结权重基础上集成多 Token 预测（MTP）头的端侧推理加速架构，已部署于 Pixel 9 与 10 系列设备。
推荐理由：阐述了在不重训基座模型的前提下通过跨注意力复用缓存实现端侧投机解码，为移动设备内存与能耗受限场景提供了可落地的加速方案。
通义实验室 公众号精选AI 评分6666 通义实验室详解 MNN 适配 Arm SME2：Qwen3-VL-4B 端侧 Prefill 提速 81%
通义实验室发布基于 MNN 推理引擎适配 Arm SME2 指令集的端侧大模型部署教程，提供了 Qwen3-VL-4B-Instruct 在 Android 旗舰手机上的完整落地流程。
推荐理由：文章给出了从 MNN 编译到 APK 构建的完整端侧落地流程，读者可据此复现 SME2 指令集对视觉语言模型的加速效果。
Google DeepMind精选AI 评分8383 Google DeepMind 推出统一无编码器多模态模型 Gemma 4 12B
Google DeepMind 推出统一且无独立编码器的多模态模型 Gemma 4 12B，支持原生音频与视觉输入，采用 Apache 2.0 协议开源。该模型移除了传统的图像和音频编码器，直接将多模态信号投影至 LLM 主干，性能接近 26B MoE 模型而内存占用减少超过一半，仅需 16GB 显存或统一内存即可在笔记本电脑本地运行。
推荐理由：模型移除了传统独立的模态编码器并直接接入语言主干，展示了在消费级硬件上兼顾原生音画输入与推理效率的轻量化方案。
Google Research精选AI 评分7070 Google 提出 PHRM 系统：利用手机前置摄像头实现日常被动心率监测
Google Research 在 Nature 发表论文推出 PHRM 研究系统，利用智能手机前置摄像头在人脸解锁后自动采集面部视频，通过端侧深度学习算法被动估算心率与每日静息心率。
推荐理由：该研究展示了利用手机前置摄像头实现全肤色被动心率监测的技术方案，为无穿戴设备的日常健康追踪提供了实用参考。