Skip to content

On-device AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

212selectedRelated topics部署工程开源生态模型发布

Latest selected

101–120 of 212
Oct 15Thu
  1. 爱范儿 · AI 筛选70

    库克确认 Apple 智能国行版 10 月底上线测试版,首批不包含 Siri AIChinese

    库克在上海受访时确认,Apple 智能首批功能将于 10 月底在中国大陆推出测试版,涵盖实时翻译、照片消除与写作工具,但全新 Siri AI 暂不在测试范围内。此外,阿里千问将作为 AI 能力集成至 iOS、iPadOS、macOS 和 visionOS,双方还将围绕中国市场需求共同训练专属模型。

    Why it matters: 报道明确了 Apple 智能国行版的首批测试功能与上线排期,并披露了与阿里千问在能力集成及模型共训层面的合作细节。

  2. Buzzing HN · 中文精选74

    Liquid AI 发布端侧推理模型 LFM2.5-24B-A2BChinese

    Liquid AI 推出 24B 参数的开源权重推理模型 LFM2.5-24B-A2B,每 token 仅激活 2B 参数,专为端侧高速智能体设计。模型将上下文窗口扩至 131,072 tokens,在 Apple M5 Max 设备上推理速度达 184 tokens/s,在多项工具调用基准中优于更大参数的 MoE 模型。

    Why it matters: 该模型展示了小激活参数量MoE在端侧运行工具调用与智能体任务的效率优势,为本地部署提供了参考。

  3. Hacker News · AI61

    Minisforum MS-S1 本地运行大模型编码评测:本地与云端模型对比及调优实践Chinese

    开发者在配备 AMD Ryzen AI Max+ 395 与 128GB 统一内存的 Minisforum MS-S1 MAX 上,测试了本地大模型与主流云端模型在真实 C# 及 C++ 代码库中的评审、规划与修改能力。

    Why it matters: 评测给出了在 128GB 统一内存迷你主机上本地运行编码智能体的调优细节,为评估端侧大模型替代云端开发工作流提供了实测参考。

  4. Hacker News · AI73

    Apple 推出 299 美元智能显示屏 HomeView,推动 Siri AI 落地家庭场景Chinese

    Apple 正式发布智能家居显示屏 HomeView,配备 7 英寸屏幕与扬声器底座,售价 299 美元,旨在将全新升级的 Siri AI 引入家庭日常场景。设备支持通过面部识别区分最多 6 位家庭成员并切换专属小组件与日程信息,音频与视觉数据独立处理以保障隐私。该硬件将于 11 月 13 日发售,让没有升级到 iPhone 15 Pro 及以上机型的家庭成员也能使用新版 Siri AI。

    Why it matters: 该设备降低了体验升级版 Siri 的硬件门槛,并展示了基于面部识别切换多用户界面的端侧智能家居形态。

  5. Hacker News · AI75

    BitRun 开源发布:跨平台 CPU 免编译运行 1-bit LLM 工具Chinese

    开发者 ishekofficial 开源了 BitRun,一款面向 macOS、Windows 和 Linux 的免编译 CPU 独立运行器与模型管理器,专门运行微软 BitNet b1.58 等 1.58-bit 三值大语言模型。

    Why it matters: 原文通过预编译分发降低了 1.58-bit 模型的 CPU 部署门槛,为轻量端侧推理提供了类似 Ollama 的极简工作流参考。

  6. Hacker News · AI63

    开源本地语音助手 Sonia 发布:无需独立 GPU 且内存低于 15GB,支持全双工打断与外部技能Chinese

    开发者开源了全本地语音助手 Sonia,无需独立 GPU 即可在 15 GB 内存内运行,具备全双工拾音和实时打断能力。系统基于 TypeScript 与 Bun 构建核心事件循环,结合 audio.cpp 运行语音识别、TTS 与轮次检测模型,并通过兼容 OpenAI 接口的 llama-server 挂载 Qwen3.5-4B 等大语言模型。

    Why it matters: 项目展示了基于纯本地 CPU 与核显搭建全双工语音助手的完整工程链路,为低算力端侧交互开发提供了可参考架构。

Oct 14Wed
  1. 量子位67

    阶跃终端发布首款智能体手机 STEPX NeoChinese

    阶跃终端正式发布首款大模型原生智能体手机 STEPX Neo,先行版售价 3999 元,包含 12 个月每月百亿 Token 使用额度。该机搭载 Step AOS 操作系统,内置个人智能体阶跃 Amoo,支持系统级自主工具调用、MCP 协议与 Skill 生态,并配备背面工作状态小屏与侧边 AI 键。

    Why it matters: 原文梳理了端侧操作系统直接承载智能体调用的系统设计与安全架构,读者可据此了解软硬件一体化智能体的工程落地路径。

  2. 量子位68

    STEPX发布首款大模型原生智能体手机STEPX Neo,售价3999元Chinese

    大模型原生AI终端品牌STEPX(阶跃终端)正式发布首款大模型原生智能体手机STEPX Neo先行版,全栈定价3,999元。该机搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,采用端云协同计算和独立MiniLED点阵背屏设计。官方同步推出自然语言开发工具Step Studio,并接入了支付宝、腾讯、剪映等生态服务。

    Why it matters: 展现了模型厂商从底层系统、开发工具到硬件终端的全栈打法,可供评估大模型原生硬件的软硬整合形态。

  3. 量子位77

    面壁智能与OpenBMB开源MiniCPM-V 4.7端侧多模态模型Chinese

    面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B与1.3B两个版本。其中35B-A3B为激活3B参数的MoE架构,借助前瞻专家调度与逐层混合精度量化,可在iPhone断网环境下仅占用约3G内存运行,解码速度超过每秒13个token。该系列模型支持iOS、安卓等多平台部署,并配套自回放微调技术以减少模型定制时的能力遗忘。

    Why it matters: 该模型通过前瞻专家调度将35B MoE的内存需求压至3G,为端侧设备离线部署大参数多模态模型提供了具体的工程实现参考。

  4. IT之家 · AI 筛选84

    苹果 iPhone 15 Pro 及后续机型国行版增加大模型备案,包含 Apple 智能与阿里通义系列Chinese

    苹果 iPhone 15 Pro 及后续机型于 9 月 29 日完成国行备案换证,增加了 Apple 智能、通义万相与通义千问三项大模型备案编号。苹果技术开发(上海)有限公司的 Apple 智能端侧大模型已于 7 月备案,适用场景为苹果手机。

    Why it matters: 备案信息展现了国行设备引入大模型的合规进展,读者可据此追踪苹果与本土模型合作落地的具体范围。

  5. IT之家 · AI 筛选85

    苹果 iPhone Duo 国行备案新增 Apple 智能与通义系列大模型编号Chinese

    苹果折叠屏手机 iPhone Duo 国行版在工信部换证备案中新增三款大模型编号,涵盖 Apple 智能、通义万相与通义千问。阿里巴巴表示千问将作为 AI 能力集成至 Apple 智能,为中国市场的 iOS、iPadOS、macOS 和 visionOS 用户提供文本与图像理解及生成等功能。该设备将于 10 月 16 日开启预购,10 月 23 日正式发售,定价 15999 元起。

    Why it matters: 备案信息明确了国行 Apple 智能接入阿里大模型的合规进展,读者可以据此判断端侧 AI 在国内设备落地的落地方式。

  6. AITNT · AI头条(网页)80

    面壁智能与OpenBMB开源MiniCPM-V 4.7:35B MoE模型仅占3G内存即可端侧运行Chinese

    面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B(激活3B)和1.3B两个版本。35B-A3B版本仅需约3G内存即可在iOS与安卓设备离线运行,在iPhone 17 Pro Max优化后解码速度达每秒13个token以上。该模型结合前瞻专家调度、混合精度量化及ViT内早期视觉压缩技术,并引入自回放微调以解决业务微调带来的能力遗忘问题。

    Why it matters: 端侧MoE通过前瞻调度与混合精度量化在低内存下保障速度,为移动设备离线运行大参数视觉模型提供了工程参考。

  7. Google DeepMind61

    Google DeepMind 与新加坡政府合作推出端侧防诈骗 AI 模型Chinese

    Google DeepMind 与新加坡政府科技局(GovTech)合作推出一款端侧防诈骗 AI 模型,基于轻量级 Gemma 模型微调并在普通智能手机上本地运行。

    Why it matters: 该方案展示了如何在端侧结合轻量模型识别复杂社工诈骗,为加密通信场景提供了兼顾隐私与风控的落地参考。

  8. Ars Technica · AI 筛选70

    Apple 开启首款智能屏 HomeView 预购,配备 7 英寸屏幕售价 299 美元Chinese

    Apple 开启首款智能家居中枢设备 HomeView 预购,配备 7 英寸屏幕与扬声器,售价 299 美元,支持最多 6 位家庭成员共享访问。设备可通过 Siri 控制智能家居并同时展示最多 9 路视频流,配合 iCloud+ 支持人脸、包裹等识别及视频内容摘要。

    Why it matters: 原文给出了硬件规格、家庭多用户支持以及与个人终端联动的机制,便于读者评估其生态入口价值。

  9. TechCrunch AI71

    Google Play 允许用户在 Android 设备上直接运行私有 AI 生成应用Chinese

    Google 宣布 Google Play 支持用户直接在 Android 设备上运行私有的 AI 生成应用,无需公开发布到应用商店。用户可通过 Google AI Studio 编写应用并绑定个人 Google 账号使用,应用不会出现在搜索或公开列表中,初期面向美国 18 岁及以上用户开放。

    Why it matters: 该功能降低了个人通过 AI 构建 Android 原生应用的测试与使用门槛,无需公开发布即可在设备端运行专属工具。

  10. Hugging Face71

    Liquid AI 推出端侧推理模型 LFM2.5-24B-A2BChinese

    Liquid AI 开源发布推理模型 LFM2.5-24B-A2B,拥有 24B 总参数与 2B 激活参数,专为端侧高速、私密的智能体任务设计。模型上下文窗口扩展至 131K tokens,在 M5 Max 上解码速度达 184 tokens/s,在单张 B300 上高并发输出达 21K tokens/s。

    Why it matters: 原文提供了端侧高吞吐和工具调用的实测对比,读者可以据此评估在本地硬件上部署连续运行智能体的可行性。

Oct 13Tue
  1. 爱范儿 · AI 筛选67

    阶跃终端发布首款大模型原生智能体手机 STEPX NeoChinese

    阶跃终端正式发布大模型原生智能体手机 STEPX Neo 及内置个人智能体 Amoo,先行版售价 3999 元。该机搭载 Step AOS 系统与端云协同架构,配备专属 AI 实体键与状态背屏,支持跨应用操作、Skill 扩展及通过 Step Studio 开发专属 Agent。

    Why it matters: 文章详细实测了智能体手机在记忆、多步骤跨应用执行与专属Agent开发上的实际表现与软硬结合设计。

  2. Buzzing HN · 中文精选75

    基于 EmbeddingGemma 2 的 Mac 本地语音转录工具发布,基础款 MacBook Air 约 13 秒转录 1 小时音频Chinese

    开发者基于 Google 的 EmbeddingGemma 2 推出端侧语音转文本工具并开放 Mac 免费版 v1.6,在基础款 M3 MacBook Air 上利用 Apple Neural Engine 可在 12.6 秒内转录 1 小时音频。

    Why it matters: 该项目展示了直接复用多模态嵌入空间实现极速语音识别的可行性,为轻量端侧音频转录提供了极低训练成本的工程方案。

  3. NVIDIA · AI 筛选71

    NVIDIA 公布 RTX Spark 本地 AI 软件生态就绪进展Chinese

    NVIDIA 宣布全球 PC 应用生态已全面适配 RTX Spark 笔记本平台,针对本地 AI 智能体、创意设计及开发工具推出多项软件更新与模型支持。

    Why it matters: 原文展现了本地智能体与硬件平台的完整适配方案,读者可以据此了解端侧多模型混合路由与安全沙箱在实际 PC 生态中的落地细节。