Skip to content

On-device AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

206selectedRelated topics部署工程开源生态模型发布

Latest selected

181–200 of 206
Oct 2Fri
  1. IT之家 · AI 筛选77

    马斯克宣布削减特斯拉 AI5 与 AI6 芯片内存用量以推进 Optimus 量产Chinese

    马斯克宣布为了储备充足内存满足 Optimus 机器人量产需求,特斯拉决定下调 AI5 与 AI6 芯片的内存用量。具体规划中,AI5 的 RAM 从原计划 144GB 降至 72GB LP5(减少 50%),AI6 从 216GB 降至 144GB LP6(减少约 33%)。马斯克指出内存带宽比总容量更易成为性能瓶颈,因带宽保持不变,预计该调整对 Optimus 性能的影响可以忽略。

    Why it matters: 特斯拉通过削减芯片内存容量缓解量产供应链压力,同时依靠保持带宽不变来降低对端侧推理性能的影响。

  2. Hacker News · AI68

    索尼面向 PS5 推出 AI 超分辨率技术 QSSRChinese

    索尼宣布推出面向 PS5 主机的 AI 超分辨率技术 Quick Spectral Super Resolution (QSSR),通过精简神经网络架构与专属性能优化提升画质细节与时间稳定性。该技术源自与 AMD 合作的 Project Amethyst 项目,《漫威金刚狼》与《羊蹄山之魂》已作为首批游戏通过补丁新增 QSSR 画面选项,未来将向所有 PlayStation 开发者开放。

    Why it matters: 索尼通过精简架构将 PS5 Pro 的 AI 超分技术下放至基础款主机,为算力受限设备提供了画质升级的可行路径。

Oct 1Thu
  1. Hacker News · AI70

    开源 macOS 原生 AI 创作套件 Clipx 发布Chinese

    Clipx 是一款面向 macOS 的开源 AI 原生创作套件,集成了多轨视频时间线、图层照片编辑、PDF 编辑以及实时编译的文本与 LaTeX 编辑器。该工具支持通过 Ollama 或 LM Studio 接入本地模型,让 AI 助手通过工具调用直接在统一撤销栈上执行具体编辑操作,完全无需订阅、账号或数据上传。

    Why it matters: 原文给出了四类本地编辑器的集成架构与模型驱动机制,读者可以据此了解如何通过工具调用构建端侧创作套件。

  2. Hacker News · AI79

    Strata 开源:支持在普通消费级游戏 PC 上本地运行 125B 参数 AI 模型Chinese

    开源推理工具 Strata 支持在配备 12–24 GB 显存 NVIDIA 显卡与 64 GB 内存的普通消费级 PC 上本地运行 125B 参数的 Qwen3.8-Flash-Next 模型。

    Why it matters: 项目给出了将 125B 稀疏模型拆解到显存、内存与 SSD 协同推理的落地方案,为消费级硬件端侧运行超大参数模型提供了参考。

Sep 30Wed
  1. Buzzing HN · 中文精选68

    开源快速决策模型 Jeff 发布,基于 Qwen3.5 单次前向推理延迟约 30msChinese

    开源决策模型 Jeff 正式发布,基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调,支持单次前向推理直接输出校准概率,单次决策延迟低至 22 至 28 毫秒。

    Why it matters: 原文展示了仅需单次前向推理的轻量级决策模型实现路径,为端侧与高并发场景下的极速分类与路由提供了低成本方案。

  2. 爱范儿 · AI 筛选67

    豆包输入法完成五大平台覆盖并上线跨端协同与 AI 文字整理功能Chinese

    豆包输入法正式补齐 HarmonyOS NEXT 与 Windows 版本,实现 iOS、Android、HarmonyOS NEXT、macOS 及 Windows 五大平台全覆盖。新版本支持账号多端实时对齐个人词库、跨设备文字与图片超级互传,并升级了气声与方言识别、离线语音以及长语音结构化文字整理功能。此外,键盘端还加入了行内计算、语义续写及手势快捷删除等交互特性。

    Why it matters: 原文详细梳理了跨端词库同步与 AI 文字整理等实测细节,展示了端侧大模型如何降低日常多设备输入阻力。

  3. Google Developers · AI 筛选68

    借助 LiteRT 与 Gemma 在树莓派上构建端侧 AI 应用Chinese

    Google 介绍了如何通过 LiteRT 推理运行时与 Gemma 系列轻量模型,在树莓派 5(Raspberry Pi 5)上实现完全离线、低延迟的端侧 AI 与机器人系统。

    Why it matters: 原文展示了基于 LiteRT 在树莓派 5 上异构协同 CPU 与 GPU 运行 Gemma 的架构与性能数据,为低功耗端侧离线智能体提供了落地参考。

  4. Google Developers · AI 筛选70

    Google 正式发布 ADK for Kotlin 1.0Chinese

    Google 正式推出 Agent Development Kit(ADK)for Kotlin 1.0 正式版,面向 Kotlin、Java 及 Android 开发者提供原生 AI 智能体开发支持。

    Why it matters: 该框架将多智能体编排与 Android 原生持久化和端侧推理结合,为 Kotlin 及移动端开发者提供了开箱即用的工程方案。

  5. Google Developers · AI 筛选72

    Google Antigravity SDK 宣布支持本地 AI 模型工作流Chinese

    Google 宣布 Antigravity SDK 正式支持本地 AI 模型工作流,首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B 模型离线运行。

    Why it matters: 官方为智能体开发框架引入端侧模型执行能力,通过云端规划与本地执行的混合编排方案,为平衡数据隐私与推理成本提供了具体参考。

Sep 26Sat
  1. SemiAnalysis · 算力产业73

    SemiAnalysis 拆解英特尔 Panther Lake:首发 18A 制程与背面供电技术Chinese

    SemiAnalysis 对英特尔 Panther Lake 处理器进行了深度拆解,实测其 18A 计算逻辑密度与台积电 N3E 相当,但在峰值密度上未超越台积电 N3P、N2 或三星 SF2。

    Why it matters: 实测对比了 18A 工艺与台积电 N3E 的逻辑密度,为评估英特尔背面供电与全环绕栅极的制造进展提供了实物数据。

Sep 24Thu
  1. 腾讯混元 公众号61

    腾讯上线基于混元 Hy-MT2 的“腾讯Hy翻译” APPChinese

    腾讯正式上线“腾讯Hy翻译” APP,同步支持小程序、插件和 PC 端体验。该应用基于腾讯混元 Hy-MT2 翻译模型构建,支持 33 种语言互译及 5 种中国少数民族语言与方言,提供语音翻译、拍照翻译以及通过本地模型实现的离线翻译功能,已在美国、日韩、东南亚多国及中国港澳台等 12 个国家和地区推出。

    Why it matters: 该应用基于混元翻译模型提供了离线端侧能力,读者可以据此了解其在无网出国场景下的实用表现。

  2. Engineering at Meta67

    Meta 为 AI 眼镜引入机密计算基础设施 Private ProcessingChinese

    Meta 宣布将机密计算基础设施 Private Processing 扩展至 Meta AI 眼镜,把眼镜端的信任边界延伸至云端机密虚拟机(CVM),确保即使处理高负载 AI 任务,Meta 也无法访问用户数据。

    Why it matters: 原文给出了 AI 眼镜在端云协同中兼顾长期记忆与机密计算的架构设计,有助于了解端侧智能硬件在云端大模型算力卸载时的隐私安全方案。

  3. Google DeepMind62

    Google 为 Private AI Compute 引入服务端安全记忆架构Chinese

    Google 宣布为其 Private AI Compute 平台升级安全服务端记忆能力,使 AI 助手在保持设备端隐私标准的同时具备跨设备的持久上下文。该方案将解密密钥完全保留在用户设备端,云端安全隔离区仅在处理请求时于隔离内存中临时解密数据,完成计算后立即重新加密存储。Google 同步公开了服务端软件的防篡改记录与第三方独立审计结果以供外部验证。

    Why it matters: 该架构通过设备端掌握密钥与云端安全隔离区结合,解决了跨设备长期记忆与隐私保护难以兼顾的工程矛盾。

Sep 22Tue
  1. Hugging Face80

    Transformers 原生支持运行 llama.cpp GGUF 量化模型Chinese

    Hugging Face 在 Transformers 库中新增对 GGUF 量化格式的原生高效推理支持,用户可通过标准 from_pretrained API 直接加载 Hub 上的 GGUF 模型并在本地运行。

    Why it matters: 原文展示了在 PyTorch 生态中直接加载 GGUF 权重的实现路径,让开发者无需脱离 Transformers 工作流即可兼顾端侧推理性能。

Sep 3Thu
  1. Hugging Face66

    利用 TRL 进行 100 步 GRPO 微调提升 350M 模型结构化输出能力Chinese

    Hugging Face 发布实践指南,展示在免费 GPU 上使用 TRL 库对 LFM2.5-350M 模型进行 100 步 GRPO 微调,将其在 IFStruct 基准上的得分从 22.6% 提升至 29.7%。

    Why it matters: 教程展示了仅用百步轻量强化学习提升端侧模型格式遵循的可行路径,为低成本专用小模型调优提供了落地参考。

Sep 1Tue
  1. Hugging Face73

    Hugging Face 推出 @huggingface/kernels 与 200+ WebGPU 算子库Chinese

    Hugging Face 推出 @huggingface/kernels 库及首批 207 个 WebGPU 算子,旨在加速浏览器端本地 AI 推理。每个算子以独立版本化仓库发布在 Hub 上,包含接口契约、WGSL 着色器模板、正确性与基准测试用例,并同步推出了浏览器端基准测试工具 Fleet 以众包真实硬件数据。

    Why it matters: Hugging Face 将 WebGPU 算子模块化管理并提供众包基准测试,有助于开发者提升端侧浏览器 AI 推理性能。

Aug 26Wed
  1. 腾讯混元 公众号65

    腾讯混元发布 Hy-MT2-1.8B 极低 bit 翻译模型,将 3.3GB 模型压缩至 440MB 并落地直播弹幕Chinese

    腾讯混元联合英特尔与哔哩哔哩推出 Hy-MT2-1.8B 极低比特翻译模型方案,提供 2-bit(574MB)与 1.25-bit(440MB)两套量化版本,将原本 3.3GB 的端侧模型压缩至几百兆且保持翻译质量几乎无损。

    Why it matters: 原文展示了从量化算法、芯片指令优化到直播弹幕落地的完整链路,为端侧小模型的极致压缩与低资源部署提供了可复用实践。

Aug 12Wed
  1. Engineering at Meta66

    Meta 解读 WhatsApp 如何在端到端加密下构建防诈预警功能 Scam AlertChinese

    Meta 详细介绍了 WhatsApp 正在测试的防诈预警功能 Scam Alert 的技术架构。该功能完全在端侧运行轻量机器学习模型以识别潜在诈骗消息,所有消息内容均不出设备且不进行自动上报。系统通过基于 TEE 的机密联邦分析管道收集带差分隐私噪声的聚合指标,并借助第三方透明账本与 OHTTP 中继确保模型下发与分析流程公开可验证且无法针对特定用户定向投递。

    Why it matters: 文章详细公开了如何在端到端加密场景下结合端侧模型与机密计算构建兼顾隐私与可验证性的系统方案。

Jul 28Tue
  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2 系列模型,支持全身控制与多机协作Chinese

    Google DeepMind 推出 Gemini Robotics 2 机器人模型系列,支持人形机器人全身运动协同控制、高灵巧度手部操作与多机器人协作。

    Why it matters: 该系列将视觉语言动作模型扩展至全身控制与端侧适配,使硬件团队能用极少样本迁移到不同形态的机器人。

Jul 12Sun
  1. 阶跃 StepFun 公众号66

    阶跃星辰发布 Step Edge 端侧模型家族Chinese

    阶跃星辰发布面向手机与汽车等终端场景的 Step Edge 端侧模型家族,涵盖基础模型、Audio、GUI 及 Gen 四类模型。该系列支持低至 0.1 秒的本地 toolcall 执行与全模态隐私保护,并在 29 项核心评测指标中取得领先;官方同时推出了配套的 Step Inference NPU 自研推理引擎以优化终端延迟。

    Why it matters: 阶跃星辰面向手机和汽车等场景推出端侧模型家族并配套自研推理引擎,展示了端云协同与本地执行的技术路径。