跳到正文

教程实践

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

最新精选

第 1–20 条 · 共 71 条
今天9月30日周三
  1. Hacker News · AI63

    基于 Jev 模型实现 AI 编码智能体会话压缩实践

    作者介绍了在 AI DevKit 中利用 TypeSafe 的 Jev 模型实现编码智能体会话压缩的方法,以解决多 Agent 协作中的状态交接难题。该方案将长会话事件分类为用户指令、决策、代码变更和验证证据等固定类型并剔除冗余噪音,实测将 21.6K token 的会话压缩至约 5.9K token,体积缩减约 73%。

    推荐理由:原文给出了基于类型化决策模型压缩多 Agent 会话状态的具体流程与实测数据,读者可以据此优化智能体协作中的上下文交接效率。

  2. vLLM 官方博客(网页)77

    vLLM 分离式推理实践指南:Prefill/Decode 分离与纯 CPU 前端架构

    vLLM 官方发布分离式推理(Disaggregated Serving)实战指南,详细拆解如何将 Prefill 与 Decode 阶段解耦并将分词与解析剥离至纯 CPU 前端。

    推荐理由:原文系统阐述了 vLLM 分离式推理架构的实现细节与部署代码,读者可以据此评估长上下文高并发场景下的性能收益与运维权衡。

  3. Cerebras 官方博客(网页)72

    Cerebras 发布 Codex Spark 编码实践指南

    Cerebras 介绍了在 WSE 硬件上以超过 1,200 tokens/s 运行的 GPT-5.3-Codex-Spark 最佳编程实践。指南建议将 Spark 作为高频交互的结对编程者而非异步委托代理,通过高频测试验证、多方案快速探索以及保持单会话专注来避免代码质量退化。同时推荐将 Git 和 Markdown 文件作为持久化外部记忆,配合权限沙箱与文档自动化维护机制以降低长上下文漂移。

    推荐理由:文章系统梳理了高吞吐推理下的实时结对编程方法,为开发者提供了从单任务循环到上下文管理的完整实践模式。

  4. Cerebras 官方博客(网页)77

    Cerebras 实测 Karpathy 的 autoresearch:如何防止 AI 自主研究闭环失控与偏离目标

    Cerebras 针对 Karpathy 提出的 autoresearch 框架开展了 71 次实测,开源了 codex-autoresearch-harness 和 reap-expert-swap 工具,并总结了防止智能体自主实验偏离目标的工程实践。

    推荐理由:原文通过两组真实任务实测了自主研究智能体的边界,给出了约束环境漂移和控制算力开销的具体方案。

  5. Cerebras 官方博客(网页)76

    Cerebras 分享多智能体工作流构建经验与 5 种实用设计模式

    Cerebras 官方博客总结了构建多智能体工作流的实战经验,提出将单智能体拆解为“主厨(调度器)与配菜工(子智能体)”协作架构,以解决单智能体容易触碰的上下文膨胀和失败率过高问题。

    推荐理由:原文通过厨房主厨与配菜工的比喻系统梳理了 5 种多智能体设计模式,读者可以据此将复杂 AI 编码任务拆解为轻量上下文并行与验证工作流。

  6. Cerebras 官方博客(网页)66

    Cerebras 发布 AI 生成美观 UI 的实用方法指南

    Cerebras 总结了利用 AI 生成高质量 UI 的 8 种实践方法,以解决通用提示词容易产出千篇一律 SaaS 仪表盘与卡片嵌套的问题。核心方案包括接入 shadcn/ui 的 MCP 服务器以读取真实组件源码、在编码前通过 Design Tokens 与 Tailwind 配置固化视觉规范,以及结合视觉模型截图进行小步精准迭代。

    推荐理由:原文总结了 AI 生成 UI 的典型缺陷与 8 种实用改进方法,读者可据此建立更具约束力的高效前端开发工作流。

  7. LlamaIndex 官方博客(网页)69

    LlamaIndex 解读大模型 OCR:错误为何变得更隐蔽与工程应对方案

    大语言模型用于 OCR 虽提升了复杂文档的识别流畅度,但由于生成时依赖语言先验,常导致数值静默替换、表格漏行且缺乏字符级置信度,让传统错误捕获机制失效。文章将大模型 OCR 划分为后处理修正、原生视觉模型转录和智能体编排三类架构,指出传统字符错误率难以反映高熵字段的真实准确率。针对这一缺陷,工程落地需通过版面预分割、按元素路由模型、多轮验证闭环以及绑定像素包围盒溯源来构建可证伪的解析流程。

    推荐理由:解析了大模型处理文档时出现隐蔽错误的生成机制,并给出了通过系统编排与证据溯源降低静默失效风险的工程方案。

  8. LlamaIndex 官方博客(网页)67

    LlamaIndex 提出即时智能体 OCR 模式:两阶段处理兼顾文档检索效率与精度

    LlamaIndex 提出了面向 10 至 100 份文档临时数据室场景的即时智能体 OCR(Just-in-Time Agentic OCR)模式,通过两阶段处理降低 VLM 全量解析的高昂成本与延迟。

    推荐理由:文章拆解了即时智能体 OCR 的两阶段处理机制,为百篇内临时文档集的低成本精准解析提供了清晰的落地参考。

  9. LlamaIndex 官方博客(网页)66

    LlamaIndex 详解 AI 文档抽取难题:为何 Schema 才是导致流水线失效的关键

    LlamaIndex 发布文章指出,生产级 AI 文档抽取流水线的准确率瓶颈已从 OCR 与解析能力转向 Schema 定义层,未受审计的 Schema 会导致模型在必填字段上生造数据或错误合并重复项。

    推荐理由:文章拆解了文档抽取中 Schema 设计不当导致的隐性错误,提供了字段审计与 Agentic 架构的具体实践路径。

  10. vLLM 官方博客(网页)60

    NVIDIA DGX Spark 运行 vLLM 的架构配置与本地评测指南

    vLLM 官方博客解析了在基于 GB10 芯片的 NVIDIA DGX Spark 上进行本地大模型推理的架构适配与配置方案。针对 128 GB 统一内存特性,系统需要通过限制并发与预留内存来平衡系统运行,并借助 Paged KV cache 与连续批处理保证交互响应。

    推荐理由:文章给出了统一内存架构下本地大模型推理的关键参数与实测数据,为桌面端算力硬件部署提供了可复现的调优参考。

  11. LlamaIndex 官方博客(网页)60

    视觉语言模型为何难以解析表单:LlamaIndex 剖析核心痛点与结构化方案

    LlamaIndex 发文分析了通用视觉语言模型(VLM)在解析表单时的核心局限,指出表单包含复杂的嵌套层级与控件关联,通用模型极易在复选框状态识别、边界框定位及字段归因中出错。团队介绍了 LlamaParse 采用的树形 JSON 数据结构,并结合专用的复选框状态分类器与边界框检测模型来保证审计追溯能力。目前该表单解析增强功能已在 LlamaCloud 的相关服务档位中开放配置调用。

    推荐理由:文章详细剖析了通用视觉模型在表单识别中的多类隐蔽失效模式,为复杂文档与数据抽取提供了针对性的结构化处理方案。

  12. vLLM 官方博客(网页)64

    vLLM 联合 DeepLearning.AI 推出大语言模型高效推理实战课程

    vLLM 联合 Red Hat 与吴恩达创办的 DeepLearning.AI 推出免费实战课程《Fast & Efficient LLM Inference with vLLM》,讲解大语言模型推理优化、部署及基准评测全流程。

    推荐理由:课程系统串联了模型量化、vLLM 服务部署与压测评估的全流程,适合需要掌握大语言模型推理优化与工程落地的开发者参考。

  13. vLLM 官方博客(网页)70

    vLLM-Omni 语音合成推理工程优化实践

    vLLM 团队发布了 vLLM-Omni 针对语音合成(TTS)模型的全套推理优化方案,支持 Qwen3-TTS、VoxCPM2、Higgs Audio V3 和 Fish Speech S2 Pro。

    推荐理由:文章详细拆解了四种不同架构 TTS 模型的推理瓶颈与定制优化方案,为多模态语音服务部署提供了系统的工程参考。

  14. vLLM 官方博客(网页)66

    vLLM-Omni 部署与优化多阶段 Qwen3-Omni 的实践经验

    vLLM-Omni 针对 Qwen3-Omni 提出了涵盖阶段拆分、CUDA Graph、异步分块传输、异步输出与按需副本扩展的全栈在线推理优化方案。该方案将 Thinker(多模态推理)、Talker(Codec 预测)与 Code2Wav(波形重建)流水线解耦,消除了跨阶段全载荷等待与 Python 调度开销。

    推荐理由:文章拆解了语音多模态模型分阶段推理的延迟瓶颈,所提出的异步流水线与阶段级扩展方案可直接迁移至同类实时全模态架构。

  15. vLLM 官方博客(网页)76

    vLLM 揭秘生产级质量保障体系:CI、基准评测与双周发布流程

    vLLM 官方团队发文拆解了其保障生产级质量的三层工程体系,涵盖 CI 自动化、端到端夜间基准评测以及双周发版流程。第一层 CI 依托 Buildkite 管理 58 个异构加速卡队列,通过统一容器镜像与依赖锁定消除环境漂移,并借助 AI 智能体实现故障自动诊断与回滚。

    推荐理由:vLLM 团队拆解了异构算力下的 CI 调度、夜间性能精度评测及双周发版机制,为开源 AI 项目的工程化交付提供了可复用的实践参考。

  16. vLLM 官方博客(网页)73

    vLLM 在 24 张 NVIDIA B300 上部署优化 GLM-5.2:TPOT 从 40ms 降至 17ms

    DaoCloud 团队在 vLLM 官方博客分享了在 24 块 NVIDIA B300 GPU 上部署 GLM-5.2-NVFP4 的生产级优化实践,采用 4P1D 的 P/D 分离拓扑将平均 TPOT 从 40ms 降至 17ms,达成 TTFT ≤ 2.5s 与 TPOT ≤ 20ms 的 SLA 目标。

    推荐理由:文章详细拆解了超大 MoE 模型在长上下文与投机解码下的端到端调优路径,给出了完整的部署配置与长周期排障经验。

  17. Google Developers · AI 筛选68

    借助 LiteRT 与 Gemma 在树莓派上构建端侧 AI 应用

    Google 介绍了如何通过 LiteRT 推理运行时与 Gemma 系列轻量模型,在树莓派 5(Raspberry Pi 5)上实现完全离线、低延迟的端侧 AI 与机器人系统。

    推荐理由:原文展示了基于 LiteRT 在树莓派 5 上异构协同 CPU 与 GPU 运行 Gemma 的架构与性能数据,为低功耗端侧离线智能体提供了落地参考。

  18. Google Developers · AI 筛选66

    Google Cloud 携手 HeyGen 将 Avatar IV 迁移至 Trillium TPU 并提速 1.86 倍

    HeyGen 联合 Google Cloud 将 18B 参数的数字人视频模型 Avatar IV 迁移至 8 芯片 Trillium(v6e)TPU 主机,端到端推理速度相比初始版本提升 1.86 倍。

    推荐理由:文章详细拆解了将大模型从 GPU 迁移至 TPU 的通信流水线与算子重构细节,为大吞吐流式生成提供了实测参考。

  19. Google Developers · AI 筛选71

    Google 发布零信任 AI 智能体安全架构实践

    Google 开发者博客发布基于 Agent Development Kit(ADK)与 Gemini 构建零信任 AI 智能体的工程实践方案,并开源了 zero-trust-agents 示例仓库。

    推荐理由:文章给出了密码学写入签名、gVisor 沙箱与确定性语义网关的三层防御方案,展示了如何用硬性工程约束替代脆弱的提示词防护。