本地 AI 搜索工具 Instant 发布：完全离线运行且命中率达 95%Chinese
本地 AI 搜索工具 Instant 正式发布，专为 macOS 15+ 与 Apple Silicon 优化，支持完全离线检索个人文档与图片。该工具采用约 1GB 的本地模型，可解析文本、扫描件 PDF 与照片语义并高亮关键内容，所有索引和搜索均在本地完成且不消耗云端 token。
Why it matters: 原文给出了本地语义搜索的机制与离线特性，读者可以据此评估小模型在个人文件管理中的实用度。
On-device AI
All topics跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
Latest selected
41–60 of 204Hacker News · AISelectedAI score6262 量子位SelectedAI score6060 科大讯飞发布星辰TaaS平台与星火X2.6端云协同架构Chinese
科大讯飞在2026全球1024开发者节上发布星辰TaaS平台、端云一体星火X2.6及智能体协同平台Agent OS。星火X2.6将上下文窗口扩容至百万tokens并开源4B端侧模型，引入端云路由协同训练机制将路由准确率提升至96.1%；基于全国产算力的SparkAudio 1.0语音基座大模型调用成本下降60%。
Why it matters: 发布覆盖了从端侧模型、语音底座到协同调度的完整产品链，展现了国内大厂将模型消耗接入实际业务流程的工程化落地路径。
Hacker News · AISelectedAI score7272 开源 Android 智能体应用 Buddy 发布：基于本地 MCP 实现手机端自动化操作Chinese
开源 Android 应用 Buddy 正式上线，允许 Claude Code、Codex 和 OpenCode 等智能体通过悬浮窗直接控制 Android 手机。
Why it matters: 原文展示了无需电脑调试与 Root 的端侧 MCP 架构设计，为移动端智能体直接操控手机提供了具体落地方案。
Hacker News · AISelectedAI score6969 Local AI 报告：机器速度攻击激增背景下本地 AI 的安全价值与边界Chinese
最新行业安全报告指出，当前网络威胁已进入以 AI 为驱动的机器速度攻击阶段，入侵者横向移动时间已压缩至数分钟内，本地部署 AI 本质是数据流向控制手段而非全能安全护盾。
Why it matters: 文章系统复盘了机器速度攻击下的真实入侵链条，清晰厘清了本地 AI 在阻断影子 AI 数据外泄与承担开源供应链风险之间的权衡边界。
AITNT · AI头条（网页）SelectedAI score7676 田渊栋参与创立的新公司 Recursive 发布本地编程模型 Flint-40B-A2BChinese
田渊栋参与创立的 Recursive_SI 正式发布专为本地运行打造的开源编程模型 Flint-40B-A2B，总参数量为 400 亿且每个 token 仅激活 25 亿参数。
Why it matters: 展示了自动化研发系统辅助小团队构建端侧模型的完整工程路径，为离线低延迟编程工具提供了可落地的稀疏架构参考。
AITNT · AI头条（网页）SelectedAI score7777 田渊栋创立的Recursive开源首个本地编程模型FlintChinese
田渊栋联合创立的Recursive开源首个本地编程MoE模型Flint，总参数40B且单token仅激活2.5B，从零训练历时4个月。模型支持512k上下文，在配套开源推理引擎rec优化下可在MacBook Pro实现至少125 tokens/s生成，并在SWE-bench Verified取得74.2%得分。运行环境目前支持M4 Pro等芯片，需至少48GB统一内存和30GB空闲存储空间。
Why it matters: 原文给出了模型参数结构与推理引擎适配细节，有助于开发者评估在端侧硬件上离线运行代码智能体的可行性。
The DecoderSelectedAI score7676 Recursive 发布端侧编码 MoE 模型 FlintChinese
AI 初创公司 Recursive 发布首个语言模型 Flint，该模型由名为 Eureka Machine 的自主 AI 系统历时 4 个月研发完成。
Why it matters: 材料呈现了由自主AI研发系统主导架构选型与定制算子产出的端侧MoE模型，提供了本地编码推理的性能与部署参考。
Hacker News · AISelectedAI score6868 Hugging Face 联合多方发布 14B 开源生物模型 Carbon-XChinese
Hugging Face 联合中关村学院及那不勒斯腓特烈二世大学推出开源生物模型 Carbon-X，允许用户通过自然语言对话分析 DNA 变异对基因活性与健康的影响。
Why it matters: 该模型将基因序列与自然语言对齐并压缩至14B参数，使研究人员无需上传敏感基因数据即可在本地完成对话分析。
Buzzing HN · 中文精选SelectedAI score7171 WorldTUI 发布：基于 3.6 亿参数模型纯通过预测模拟终端与应用交互Chinese
开发者基于 Qwen2.5-Coder-0.5B 微调出 3.6 亿参数的终端世界模型 WorldTUI，在没有底层 shell 和文件系统的情况下，纯靠预测键盘输入后的字符网格变化模拟终端运行。
Why it matters: 该项目通过裁剪词表、并行行解码与投机验证将终端世界模型压缩至浏览器本地运行，为交互界面仿真提供了可复用的工程方案。
TechCrunch AISelectedAI score7575 Recursive 发布端侧编码模型 Flint：40B MoE 架构且主要由 AI 辅助构建Chinese
AI 初创公司 Recursive 发布首个开源端侧编码模型 Flint，由其自动化研究系统 Eureka Machine 协助在 4 个月内构建完成。该模型采用 MoE 架构，总参数 40B 且每次仅激活 2.5B，基于 Apache 2.0 协议在 Hugging Face 开放免费下载。
Why it matters: 该模型展示了通过自动化研究系统辅助训练轻量端侧编码模型的路径，为本地隐私开发提供了低门槛选择。
Hugging FaceSelectedAI score6363 IBM 发布 Granite Speech 5.0 语音模型系列：涵盖 2B 旗舰、470M 高速端侧与会议增强版Chinese
IBM 发布 Granite Speech 系列语音模型更新，包括全新的 2B 语音语言模型 granite-speech-5.0-2b，以及更新版的 470M 端侧模型 granite-speech-5.0-470m-turboctc 和针对多说话人的 granite-speech-4.1-2b-plus。
Why it matters: 原文对比了三款模型在端侧吞吐、多说话人归因及高精度转录上的性能指标，读者可依此匹配具体业务场景。
Hacker News · AISelectedAI score6060 基于迷你主机与 eGPU 搭建本地大语言模型推理环境实践Chinese
作者利用零刻 GTR7 迷你主机通过 USB4 转接卡外接 NVIDIA RTX 3090 显卡，在 Arch Linux 上成功搭建了本地大语言模型推理节点。
Why it matters: 文章给出了迷你主机外接显卡运行本地模型的内核调优与配置参数，为低成本搭建私有化推理环境提供了可迁移方法。
ServeTheHomeSelectedAI score6262 HPE 推出 Spaceborne Computer-4 计算模块，将搭载 Astrolab 月球车登月运行 AI 与 HPC 工作负载Chinese
HPE 宣布其 Spaceborne Computer-4 计算模块将搭载 Astrolab 的 FLIP 月球车前往月球南极，作为首个在月球表面运行的 HPC 与 AI 基准测试平台。
Why it matters: 该系统展示了商用级硬件在月球真空及高辐射环境下运行端侧大模型的可行性，为极端边缘计算提供了硬件参考架构。
Hugging FaceSelectedAI score6363 Hugging Face 发布 AnyLanguageModel 1.0，统一苹果平台本地与托管模型接入Chinese
Hugging Face 正式推出 AnyLanguageModel 1.0 以及配套的 swift-huggingface 1.0 和 swift-xet 1.0，作为苹果 Foundation Models 框架的直接替代方案。
Why it matters: 该版本让苹果平台开发者只需替换导入语句，就能以统一接口自由切换端侧推理与云端托管模型。
Google Developers · AI 筛选SelectedAI score6565 Google 发布 Coral NPU 完整 32 位开源架构与 v1.0 编译器Chinese
Google 宣布完成 32 位 Coral NPU 开源硬件架构并发布 Coral Compiler v1.0。该架构新增矩阵执行单元，支持最高 1 TOPS 算力且平均功耗目标为 10mW，完整 32 位 RTL 已在 GitHub 开源；基于 IREE/MLIR 的编译器可直接将 JAX、PyTorch 和 TensorFlow 模型编译到硬件。
Why it matters: 原文给出了开源端侧 NPU 架构与基于 IREE 的统一编译栈，开发者可据此评估跨算力平台部署端侧模型的迁移成本。
Hugging FaceSelectedAI score7777 PyTorch 2.15 升级 Mac MPS 后端：支持 FP8 并大幅优化 MoE 解码与视频生成Chinese
PyTorch 2.15 对苹果芯片的 MPS 后端进行重构，新增 FP8 数据类型支持，并通过专用 Metal 算子替代 MPSGraph 大幅优化大语言模型解码与多模态负载。
Why it matters: 原文详细展示了通过专用 Metal 算子替代图编译器来解决苹果芯片显存暴涨与算力瓶颈的具体路径，可供端侧优化参考。
arXiv 自然语言处理SelectedAI score7676 Muse Glimmer 30B 开源：面向消费级硬件的端侧多模态智能体模型Chinese
研究团队开源了端侧多模态智能体模型 Muse Glimmer 30B，采用 Apache 2.0 协议发布，专为消费级硬件的自主任务设计。该模型集成感知编码器，支持图文输入和文本输出，具备多步推理、工具调用与故障恢复能力，经约 4-bit 量化后可在单张消费级 GPU 上本地运行。评测显示其在工具调用、多步规划和智能体任务完成度上均优于同尺寸的 Gemma4-31B 和 Qwen3.6-27B。
Why it matters: 研究开源了面向消费级单卡运行的 30B 多模态智能体模型，在多步规划与工具调用上为本地端侧部署提供了参考基线。
Google Developers · AI 筛选SelectedAI score6666 Google 发布 LiteRT Tensor API 支持原生 C++ 构建端侧模型计算图Chinese
Google 宣布推出 LiteRT Tensor API，为端侧模型开发提供轻量级原生 C++ 计算图构建层，支持在 CPU、GPU 与 NPU 间跨平台运行。
Why it matters: 原文给出了原生构建计算图与零拷贝缓冲区的实现细节，开发者可据此评估跨硬件部署与端侧全流水线优化的工程可行性。
TechCrunch AISelectedAI score7676 Nvidia 发布 Nemotron 3.5 系列开源模型，面向企业 Agent 与本地 PC 端侧部署Chinese
Nvidia 推出 Nemotron 3.5 Super VL 及两款轻量级 Bolt 开源权重模型，主要用于企业端常驻 Agent 与本地 AI PC 的边缘计算。
Why it matters: Nvidia 通过推出覆盖云端与本地 PC 的开源权重模型组合，展现了企业绕过闭源 API 在本地运行 Agent 的可行路径。
LlamaIndex 官方博客（网页）SelectedAI score7070 LlamaIndex 发布 LiteParse v2.0：采用 Rust 重写并支持 WASM 与边缘端运行Chinese
LlamaIndex 发布文档解析工具 LiteParse v2.0，使用 Rust 完全重写了底层核心，并提供原生 Rust、Python、Node 以及支持浏览器与边缘运行时的 WASM 包。
Why it matters: 原文提供了 Rust 重构后的跨语言与 WASM 支持细节及实测解析耗时，适合为本地文档解析与智能体工具选型提供参考。