本文へスキップ

デプロイ技術

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

606件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

261〜280 件目 · 全 606 件
10月15日木
  1. IT之家 · AI 筛选76

    阶跃星辰开源 Step 5 Preview 权重,华为昇腾及多家国产 GPU 提供 Day 0 适配中国語

    阶跃星辰正式开放 Step 5 Preview 模型权重,提供 BF16 与 FP8 两个版本,已上线 Hugging Face 与 ModelScope,支持通过 vLLM、SGLang 或 Transformers 部署。

    推薦理由:阶跃星辰开源新模型权重,国产算力芯片厂商同步公布适配方案与算力指标,可用于评估国产软硬件协同生态。

  2. Cloudflare Blog · 网络基础设施69

    Cloudflare 与 VoidZero 开源全栈部署框架 Void中国語

    Cloudflare 与 VoidZero 开源全栈开发与部署套件 Void,包含 Void Platform、Void SDK 和 Void CLI 三款产品,整合为单一 npm 包及 Vite 插件。

    推薦理由:材料说明了如何在统一 Vite 工作流中通过 SDK 与 CLI 自动开箱配置云端资源,便于工程团队评估全栈托管落地成本。

  3. Hacker News · AI71

    开源大语言模型分类器 SCM 训练中 48 项失败实验复盘中国語

    开源分类模型项目 SCM 公开记录了基于 Qwen3 训练分类器时的 48 项失败实验数据,发现盲目扩充通用数据、先验去偏、保形预测保证以及模型蒸馏在未知工作流中普遍失效,仅增大模型参数规模能稳定提升跨任务泛化能力。实验表明未知任务的基线噪声约在 0.05 准确率,团队建议在调优前预先设定硬性准入规则并测量系统固有噪声,避免无效迭代。

    推薦理由:文章详细公开了分类器调优中被量化证伪的数十种路线,为避免同类工程试错提供了具体参考。

  4. Hacker News · AI61

    如何为大语言模型应用选择分块策略:基于决策树的 RAG 实践指南中国語

    构建 RAG 系统时需要根据文档结构和检索任务选择匹配的分块方式,以避免检索缺失或上下文断裂。文章提出了一套包含六个递进问题的决策树,系统对比了不分块、基于文档结构、Late chunking、自适应、分层、基于大语言模型、语义分块、Agent 分块、递归分块和固定大小分块等策略的适用前提与成本权衡。同时,文中梳理了分块跨度过大、切分截断表格等常见异常表现及对应的修复策略。

    推薦理由:文章提供了一套清晰的六步决策树和分块失败排查表,读者可以按文档结构和预算直接对应到合适方案。

  5. 阶跃 StepFun 公众号82

    阶跃星辰开放 Step 5 Preview 模型权重并上线技术博客中国語

    阶跃星辰正式开放 Step 5 Preview 的 BF16 与 FP8 模型权重并上线技术博客。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活 27B,支持 100 万 token 上下文与文本视觉多模态输入。

    推薦理由:原文详细给出了600B稀疏MoE的架构细节与长程Agent训练方案,有助于了解深层网络与百万上下文的工程落地。

  6. Hacker News · AI65

    Logical Clocks 开源 NVIDIA Run:ai 部署 Helm Chart中国語

    Logical Clocks 开源了针对 NVIDIA Run:ai 3.x 开源版本的 Helm Chart 部署套件,集成了控制平面、集群组件及配套的 KAI Scheduler 调度器。

    推薦理由:该项目为开源版 Run:ai 与 KAI Scheduler 提供了自动化安装编排,便于开发者快速在 Kubernetes 上搭建 GPU 调度集群。

  7. Hacker News · AI80

    NVIDIA Run:ai 宣布开源中国語

    NVIDIA Run:ai 正式作为开源项目发布,代码基于 Apache 2.0 协议在 GitHub 开源。该平台定位于基于 Kubernetes 的 AI 工作负载与 GPU 编排系统,涵盖控制平面、集群服务、安装器、CLI、本地开发环境以及 MCP 服务器等核心组件,支持动态 GPU 分配、拓扑感知调度、配额管理及多集群监控。

    推薦理由:平台开源了控制平面与调度组件,帮助团队在现有Kubernetes集群上实现细粒度GPU共享与多租户配额治理。

  8. 量子位76

    Skywork AI 开源游戏世界模型 Matrix-Game 4.0,支持单张 RTX 5090 实时运行中国語

    昆仑万维旗下 Skywork AI 开源发布游戏世界模型 Matrix-Game 4.0,可在单张 RTX 5090 显卡上实现 60 FPS 实时运行与规则交互。该方案采用游戏引擎维护世界逻辑与结构草图、视频模型渲染画面的分工架构,按键响应延迟约 112ms,显存峰值约 18.5GiB。相关模型权重与推理代码已在 GitHub 和 Hugging Face 正式开源。

    推薦理由:通过游戏引擎维护逻辑加视频模型实时渲染的分工路线,为降低交互式世界模型的算力门槛提供了工程参考。

  9. Hacker News · AI69

    Capsem 发布:基于 Rust 在物理隔离 Linux 虚拟机中沙箱化运行 AI 编码智能体中国語

    Capsem 推出基于 Rust 开发的轻量级虚拟化工具,可将 AI 编码智能体运行在物理隔离的 Linux 虚拟机沙箱中,10 秒内即可完成启动。

    推薦理由:该项目展示了如何通过轻量虚拟机隔离和透明代理审查来管控编码智能体的网络与系统权限,为本地安全执行提供了实践参考。

  10. vLLM 官方博客(网页)60

    vLLM 推出无置信度头自适应验证机制中国語

    vLLM 在投机解码中推出无置信度头自适应验证机制,通过在线拟合估计器直接从草稿模型的 logits 预测目标模型接受率,使 EAGLE、MTP、DFlash 等存量模型无需重训即可启用验证裁剪。

    推薦理由:该方案通过在线拟合接受率避免了重新训练草稿模型的成本,让各类存量投机解码检查点无需置信度头即可接入自适应验证。

  11. AWS News · 云基础设施70

    Amazon S3 正式上线 Vercel Marketplace 与 v0中国語

    Amazon S3 及其 S3 Tables、S3 Vectors 正式原生接入 Vercel Marketplace 和 v0,开发者可在 Vercel 工作流内直接配置日常存储、分析与 AI 向量资源。

    推薦理由:原生集成消除了手动配置凭据的摩擦,使前端与全栈开发者能够在统一工作流中直接调度对象与向量存储。

  12. Hacker News · AI62

    大语言模型与决策模型对比实测及应用场景解析中国語

    实测对比显示,专用决策模型通过单次前向推理可实现 176 ms 的分类响应,在准确率上打平 4B 对话大模型,且速度比关闭思考的对话模型快 5.9 倍、比开启思考快 152 倍。决策模型无生成循环且自带校准概率头,适合路由编排、高频分类、安全护栏及智能体循环中的微决策,但在知识推理和多跳生成任务上仍逊于通用大模型。

    推薦理由:作者实测对比了专用决策模型与对话大模型的分流表现,拆解了单次前向推理与自回归生成的延迟差异与边界。

  13. Hacker News · AI63

    Stof 发布:在应用内沙盒安全运行大模型生成逻辑的文档语言中国語

    Stof 推出一种将数据与函数封装在单个文档中的新型文档格式,支持在应用内以进程级沙盒安全运行大模型生成的代码与规则。它完全兼容 JSON,支持在 Rust、JavaScript/TypeScript 和 Python 中以毫秒级速度执行,避免了微虚拟机或容器的高启动开销与 eval 的安全风险。

    推薦理由:该项目把数据与执行逻辑统一在沙盒化文档中,为应用内安全运行大模型生成的规则与转换代码提供了轻量方案。

  14. vLLM 官方博客(网页)70

    vLLM 引入推模式 NIXL 连接器以降低分离式推理的 TTFT 与 TPOT中国語

    vLLM 推出基于推模式的 NIXL 连接器,用于 Prefill-Decode 分离式推理架构。该方案让解码节点提前注册目标块,并在预填充完成后通过 RDMA 直接写入解码显存,将传输协调与描述符准备移出关键路径。在 AWS EC2 P5en 实例与 Qwen3-32B 的基准测试中,推模式相比拉模式将 TTFT 降低最高 3 倍,TPOT 改善最高达 30%。

    推薦理由:文章详细拆解了分离式推理将传输协调移出首字关键路径的机制,为高负载推理系统的网络与显存编排提供了工程参考。

  15. Hacker News · AI75

    BitRun 开源发布:跨平台 CPU 免编译运行 1-bit LLM 工具中国語

    开发者 ishekofficial 开源了 BitRun,一款面向 macOS、Windows 和 Linux 的免编译 CPU 独立运行器与模型管理器,专门运行微软 BitNet b1.58 等 1.58-bit 三值大语言模型。

    推薦理由:原文通过预编译分发降低了 1.58-bit 模型的 CPU 部署门槛,为轻量端侧推理提供了类似 Ollama 的极简工作流参考。

  16. ServeTheHome77

    走进 AWS 保密网络实验室:揭秘 102.4Tbps 自研交换机与专有时钟系统中国語

    ServeTheHome 受邀探访 AWS 保密网络研发实验室,披露了其从 3.2Tbps 到即将推出的 102.4Tbps OSFP 1.6T 自研交换机全貌。AWS 现场展示了配备专属 I2C 遥测板的交换架构、集成 16 颗 FPGA 实现线速加密的 12.8Tbps 交换机,以及一套精度在 20 微秒以内、独立于数据网络的专有时钟同步基础设施。

    推薦理由:文章第一手拆解了超大规模云厂商全栈自研网络硬件的工程细节,展现了其在高速交换机与时钟网络上的定制思路。

  17. Hacker News · AI60

    Celestial AI 推出 Photonic Fabric 光互连模块与芯片方案中国語

    Celestial AI 推出 Photonic Fabric Module(PFM),将光互连技术直接集成至硅片晶粒内部以突破传统芯片边缘引出限制。该模块采用台积电 5nm ASIC 并结合光子中介层与 2.5D 封装,提供 7.2 Tbps 光学互连,通过机架式设备最多可汇聚 16 个模块形成 32TB 统一内存池,用于大模型 KV cache 卸载等场景。

    推薦理由:该方案将光互连直接集成于芯片晶粒内部以突破边缘带宽瓶颈,为超大规模集群的内存池化与互连设计提供了硬件参考。

10月14日水
  1. Buzzing HN · 中文精选65

    Timescale 开源 pg_vectorsearch,推出高性能 PRISM 向量索引中国語

    Timescale 开源 PostgreSQL 扩展 pg_vectorsearch,引入基于分层路由和 RaBitQ 量化的 PRISM 索引以加速近邻搜索。

    推薦理由:该项目结合分层质心树路由与二值量化误差界,在降低内存占用的同时提升高维向量检索速度,为数据库内向量检索提供了更低开销的索引路径。