本文へスキップ

オンデバイス AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

204件の厳選関連トピック部署工程开源生态模型发布

最新の厳選

161〜180 件目 · 全 204 件
10月7日水
  1. Ollama 更新70

    Ollama 发布 v0.40.0 版本并在 Apple Silicon 上默认启用 MLX中国語

    Ollama 发布 v0.40.0 版本,在 Apple Silicon 设备上默认使用 MLX 运行时加载受支持的模型架构。新版本支持在 MLX 上运行 qwen3.8、gemma4、qwen3.6、qwen3.5,以及 Nimble、tev1、clef、clef-flash 等决策模型,并新增对嵌入向量模型 embeddinggemma-2 的支持。

    推薦理由:介绍了在 Apple Silicon 设备上默认切换至 MLX 运行架构的具体模型支持范围,有助于 Mac 本地大模型用户评估部署变化。

  2. Google Developers · AI 筛选76

    EmbeddingGemma 2 开发者指南中国語

    Google 发布 EmbeddingGemma 2 开发者指南,详解该开源多模态向量模型从 270M 到 740M 参数的模块化加载与部署方法。该模型基于 Gemma 4 并采用 Apache 2.0 协议开源,支持将文本、代码、图像、视频和音频统一映射至 768 维空间,并可通过 MRL 动态截断至 128 维以减少 6 倍向量存储开销。

    推薦理由:指南详细演示了如何按需加载不同模态编码器并进行动态降维,便于开发者以较低显存和存储成本搭建跨模态检索系统。

  3. Google Developers · AI 筛选76

    Google 发布端侧多模态嵌入模型 EmbeddingGemma 2中国語

    Google DeepMind 正式推出开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频帧和音频原生映射至统一向量空间。该模型参数量为 740M,纯文本权重仅需约 191MB 活跃内存,全多模态在 Pixel 设备上仅占用约 567MB,支持零样本意图路由与端侧毫秒级决策。

    推薦理由:该模型将文本、视觉与音频统一映射至单一向量空间,为端侧离线语义检索与零样本决策提供了轻量化实现方案。

10月6日火
  1. Ollama 更新61

    Ollama v0.40.0-rc6 发布:Apple Silicon 默认启用 MLX 运行时并支持多模态嵌入中国語

    Ollama 发布 v0.40.0-rc6 预发布版本,在 Apple Silicon 设备上默认通过 MLX 运行时运行受支持的模型架构,并新增多模态嵌入支持。该版本支持 qwen3.8、gemma4、qwen3.6、qwen3.5 等模型,并在 MLX 上引入了 Nimble、tev1、clef、clef-flash 等决策模型。

    推薦理由:原文给出了在 Apple Silicon 设备上默认采用 MLX 运行时的变化,本地部署开发者可以了解适配的模型范围。

  2. Hacker News · AI66

    Mac 本地大模型运行模拟器 Simulkit 上线中国語

    Simulkit 推出 Mac 本地大语言模型运行模拟器,支持检测不同 Apple Mac 机型运行各类开源大模型的显存适配情况,并估算读写生成速度。该工具基于公开基准数据校准,可根据指定的上下文长度、量化方式和运行时,细分展示模型权重、KV 缓存与运行缓冲区的内存占用,并给出满足运行速度的最低硬件推荐与价格参考。

    推薦理由:该工具量化模拟了不同 Mac 配置下开源模型的显存占用与推理速度,读者可据此快速评估本地大模型部署的硬件选型与成本。

10月5日月
  1. Ars Technica · AI 筛选65

    多国政府拟对 AI 智能眼镜实施公共场所限制与立法监管中国語

    澳大利亚、挪威等多国政府正考虑或起草法律,拟在法庭及部分公共场所限制或禁止佩戴智能眼镜,以遏制未经同意的隐蔽录音与拍摄。挪威政府表示已将相关法案列为高度优先事项并准备提交议会,强调需防范公众在无监控预期的场所受到窥探。尽管 Meta、Google 和 OpenAI 将智能眼镜视为未来替代手机的核心 AI 交互入口,且分析机构预测相关市场规模巨大,但隐私问题已引发严厉的监管反弹。

    推薦理由:多国政府针对可穿戴 AI 设备的隐蔽拍摄推进立法限制,读者可了解智能眼镜在隐私安全层面临的合规阻力。

  2. Hacker News · AI68

    开发者开源 EasyCommand:将 1.5B Qwen 微调至接近 GPT-4o 的 Bash 命令生成水平中国語

    开发者开源了专用于 Bash 命令生成的微调模型项目 EasyCommand,发布了基于 Qwen2.5-Coder-1.5B 与 Qwen3-0.6B 训练的 GGUF 权重、CLI 工具及包含 401,975 条请求-命令对的数据集。

    推薦理由:原文开源了 40 万条 Bash 合成训练集与量化模型,读者可以据此参考小模型在特定语法生成任务上的微调与评测方法。

  3. Hacker News · AI60

    开源上下文剪枝中间件 OntoPrune:减少 85% 输入 Token 并提升 CPU 推理速度 6.7 倍中国語

    OntoPrune 是一款面向本地小语言模型(SLM)的神经符号上下文剪枝中间件,利用 RDF/SPARQL 本体表示将源代码转换为最小上下文契约。

    推薦理由:原文展示了基于本体表示的上下文剪枝方法,读者可以据此评估其在端侧小模型与编码工作流中的加速与降本效果。

  4. Ollama 更新71

    Ollama 发布 v0.40.0-rc3:Apple Silicon 默认采用 MLX 运行时中国語

    Ollama 发布 v0.40.0-rc3 预发布版本,在 Apple Silicon 设备上支持 MLX 运行时的模型架构将默认自动通过 MLX 运行。该版本新增支持 qwen3.8、gemma4、qwen3.6 和 qwen3.5 等模型,并在 MLX 上适配了 Nimble、tev1、clef 及 clef-flash 等决策模型,同时优化了 RC 版本的拉取策略。

    推薦理由:原文明确了在 Apple Silicon 上默认启用 MLX 后端支持的模型列表,读者可以据此了解本地推理运行时的优化变化。

  5. IT之家 · AI 筛选82

    华为麒麟 9050 Pro 芯片裸片显微照曝光:双裸片垂直堆叠与逻辑折叠架构中国語

    半导体分析机构 Kurnal Insights 发布华为麒麟 9050 Pro 裸片显微照,展示其由两颗约 120.65mm² 的裸片垂直堆叠而成,分别负责核心计算与 SRAM 缓存。

    推薦理由:原文展示了双裸片垂直堆叠的物理结构与实测能耗,读者可借此了解后摩尔时代通过架构创新提升芯片密度的实际路径。

  6. Ollama 更新67

    Ollama v0.40.0-rc2 发布,在 Apple Silicon 上默认启用 MLX中国語

    Ollama 发布 v0.40.0-rc2 版本,在 Apple Silicon 设备上凡受 MLX 运行时支持的模型架构将默认自动在 MLX 上运行。目前支持的模型包括 qwen3.8、gemma4、qwen3.6 与 qwen3.5,官方表示后续将继续测试并支持更多模型架构。

    推薦理由:Apple Silicon 设备上默认切换至 MLX 运行时,可为本地部署相关架构模型的用户带来直接的推理执行适配。

10月4日日
  1. Hacker News · AI65

    SCM 发布:面向 macOS 的本地多模态图文与视频分镜 AI 搜索引擎中国語

    开源工具 SCM(Screen Memories)面向 macOS 推出本地优先的 AI 媒体搜索引擎,支持对本地照片及视频分镜进行语义检索。工具提供视觉嵌入搜索、视频镜头时间戳定位、Tesseract 离线 OCR 文字匹配以及 Whisper 语音台词检索,并支持接入 llama.cpp 进行本地问答。

    推薦理由:原文给出了端侧视频切片嵌入与离线检索架构,读者可以据此了解本地多模态媒体库的具体工程落地方式。

10月3日土
  1. Hacker News · AI68

    GeaStack 开源 Spark 与 Amuse:在 ESP32 手表板上运行实时语音 Agent 与数字人中国語

    GeaStack 开源了两款运行在 Waveshare ESP32-S3 AMOLED 触摸手表开发板上的端侧 AI 应用 Spark 与 Amuse。

    推薦理由:展示了在低成本微控制器上通过原生编译跑通实时全双工语音与数字人交互的完整方案,为端侧硬件交互开发提供了参考范例。

  2. Buzzing HN · 中文精选67

    Muse 开源智能硬件套件 Muse Gadgets中国語

    Muse 正式开源了智能硬件项目 Muse Gadgets 的设备 SDK 与固件代码,支持开发者基于 ESP32 和树莓派等 Linux 设备自制智能硬件。该套件采用 Apache 2.0 协议开源,提供 ESP32 Device SDK 与 Linux Device SDK,可连接显示屏、传感器、按键及 Home Assistant 等系统并支持多种市售开发板。

    推薦理由:项目开源了面向开发者的端侧硬件接入套件,为结合树莓派与微控制器的实体智能交互提供了可直接上手的软硬件参考。

  3. Hacker News · AI60

    开源 Mac 应用 Transcripted 发布:可将会议与听写本地转为 Markdown 文件供 AI 使用中国語

    免费开源 Mac 应用 Transcripted 发布,可将会议录音与语音听写直接在本地转录为纯 Markdown 文件,供各类 AI 工具作为上下文使用。转录过程完全在本地运行且不上传音频数据,无需会议机器人加入即可同时捕获 Zoom、Meet、Teams 等软件的双方声音,支持说话人识别并在 Apple silicon 芯片的 Mac 上运行。

    推薦理由:该工具通过本地转录且无需会议机器人加入的方式,为用户提供了把日常对话转化为 AI 上下文文档的轻量方案。

10月2日金
  1. Hacker News · AI69

    开源 macOS 应用 ImageGen 支持本地运行 Qwen-Image 2.1 并内置 MCP 服务中国語

    开发者开源了面向 Apple Silicon 的 macOS 原生图像生成工具 ImageGen,支持在本地完全离线运行 Qwen-Image 2.1 模型,并内置 MCP 服务供 Claude Code 和 Cursor 等智能体直接调用生成与编辑图像。

    推薦理由:原文给出了在 Mac 本地运行图像大模型并接入 MCP 编码智能体的完整配置与内存保护方案,读者可据此评估端侧多模态工作流的落地可行性。

  2. Hacker News · AI72

    开源 Mac AI 智能体应用 Noodle 发布中国語

    Noodle 推出了一款面向 Mac 的免费开源 AI 智能体桌面应用套件,基于 Apache 2.0 协议开源。该套件支持用户配置具备独立工作区和角色的多个智能体进行团队协作,并包含虚拟桌面 Noodle Computer、自动化浏览器 Noodle Browser、即时工具生成器 Noodle Applet 以及共享中心 Noodle Hub。

    推薦理由:原文介绍了该套件如何通过独立虚拟桌面与权限隔离让多个本地智能体协同操作应用和浏览器。

  3. IT之家 · AI 筛选77

    马斯克宣布削减特斯拉 AI5 与 AI6 芯片内存用量以推进 Optimus 量产中国語

    马斯克宣布为了储备充足内存满足 Optimus 机器人量产需求,特斯拉决定下调 AI5 与 AI6 芯片的内存用量。具体规划中,AI5 的 RAM 从原计划 144GB 降至 72GB LP5(减少 50%),AI6 从 216GB 降至 144GB LP6(减少约 33%)。马斯克指出内存带宽比总容量更易成为性能瓶颈,因带宽保持不变,预计该调整对 Optimus 性能的影响可以忽略。

    推薦理由:特斯拉通过削减芯片内存容量缓解量产供应链压力,同时依靠保持带宽不变来降低对端侧推理性能的影响。

  4. Hacker News · AI68

    索尼面向 PS5 推出 AI 超分辨率技术 QSSR中国語

    索尼宣布推出面向 PS5 主机的 AI 超分辨率技术 Quick Spectral Super Resolution (QSSR),通过精简神经网络架构与专属性能优化提升画质细节与时间稳定性。该技术源自与 AMD 合作的 Project Amethyst 项目,《漫威金刚狼》与《羊蹄山之魂》已作为首批游戏通过补丁新增 QSSR 画面选项,未来将向所有 PlayStation 开发者开放。

    推薦理由:索尼通过精简架构将 PS5 Pro 的 AI 超分技术下放至基础款主机,为算力受限设备提供了画质升级的可行路径。