Skip to content

Tutorials

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

371selectedRelated topicsAI 编码Agent 智能体产品更新

Latest selected

361–371 of 371
May 16Sat
  1. Sebastian Raschka65

    大语言模型架构最新进展:KV 共享、mHC 与压缩注意力Chinese

    Sebastian Raschka 梳理了解读近期开源大语言模型在长上下文效率上的核心架构演进。文章重点分析了 Gemma 4 的跨层 KV 共享与分层嵌入(PLE)、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力(CCA),以及 DeepSeek V4 采用的流形约束超连接(mHC)与 CSA/HCA 混合压缩注意力。

    Why it matters: 原文系统梳理了主流开源大模型在长上下文下的架构改进,读者可据此理解降低 KV 缓存与计算开销的设计取舍。

  2. Google DeepMind72

    WeatherNext 如何协助美国国家飓风中心预测飓风梅丽莎在牙买加的登陆Chinese

    Google DeepMind 披露了气象 AI 模型 WeatherNext 协助美国国家飓风中心(NHC)预测 2025 年 10 月飓风梅丽莎(Hurricane Melissa)的细节,该模型提前 5 天预测出该风暴将从弱热带低压急剧增强为 5 级飓风并在牙买加登陆。

    Why it matters: 原文结合实战案例展示了气象大模型如何同时兼顾路径与强度预测,读者可据此了解 AI 在极端天气预警中的落地范式。

Apr 4Sat
Mar 22Sun
  1. Sebastian Raschka67

    现代大模型注意力机制变体全景图解:从 GQA、MLA 到混合架构Chinese

    Sebastian Raschka 系统梳理了现代主流开源大模型中应用的注意力机制变体与设计权衡。文章重点解析了标准多头注意力(MHA)、分组查询注意力(GQA)、多头潜在注意力(MLA)、滑动窗口注意力(SWA)以及 DeepSeek 稀疏注意力(DSA),展示了各机制在模型表现与 KV Cache 占用上的对比。

    Why it matters: 梳理了主流开源大模型中各类注意力变体的机制差异与权衡,便于读者系统理解长上下文下的 KV Cache 优化与混合架构演进。

Feb 25Wed
  1. Sebastian Raschka73

    2026 年初开源大模型架构横向对比:从注意力混合机制到长上下文推理优化Chinese

    Sebastian Raschka 梳理并对比了 2026 年 1 至 2 月发布的 10 余款代表性开源大模型的网络架构与基准表现。分析指出近期开源模型普遍强化了推理计算效率设计,包括广泛采用 MLA、DeepSeek 稀疏注意力、Gated DeltaNet 等线性注意力混合机制、多 Token 预测以及滑动窗口注意力。

    Why it matters: 原文横向对比了多款开源大模型的注意力机制与混合专家结构演进,读者可据此理清长上下文与推理效率优化的关键设计差异。

Jan 24Sat
Dec 3Wed
  1. Sebastian Raschka75

    从 DeepSeek V3 到 V3.2:架构、稀疏注意力与强化学习演进解析Chinese

    Sebastian Raschka 深入剖析了 DeepSeek 从 V3 到 V3.2 的技术演进,涵盖模型架构、稀疏注意力机制与强化学习优化。DeepSeek V3.2 引入了由 Lightning Indexer 驱动的 DeepSeek 稀疏注意力机制(DSA),将注意力计算复杂度从二次方降低至线性 O(Lk)。

    Why it matters: 梳理了稀疏注意力 DSA 与 GRPO 算法调优的技术演进脉络,有助于理解开源大模型在长上下文效率与强化学习稳定性上的工程实现细节。

Nov 4Tue
  1. Sebastian Raschka67

    超越标准 LLM:盘点混合注意力、文本扩散与递归等新兴模型架构Chinese

    文章盘点了超越传统自回归 Transformer 的四类新兴模型架构及其实践权衡。线性注意力混合架构(如 Qwen3-Next 与 Kimi Linear 的 Gated DeltaNet)通过结合全局注意力与线性层大幅缩减 KV cache 并支持超长上下文。

    Why it matters: 系统梳理了线性注意力混合、文本扩散及代码世界模型等非传统架构,为评估长文本效率与并行生成提供了清晰的权衡参照。

Oct 5Sun
  1. Sebastian Raschka66

    从零理解大模型评测的 4 种主流方法Chinese

    Sebastian Raschka 撰文详解并用代码实操了大模型评测的 4 大主流方法,将其归纳为基准测试与裁判评估两大类。内容涵盖 MMLU 多选题准确率评测、面向数学和代码领域的确定性验证器(Verifier)、LM Arena 风格的 Elo 偏好排行榜,以及通过 Ollama 调用大模型充当裁判(LLM-as-a-judge)的具体实现与优缺点权衡。

    Why it matters: 原文从零代码拆解了多选题、验证器、排行榜和 LLM 裁判四类评测机制,有助于读者厘清基准测试的局限与组合评估策略。

Sep 6Sat
  1. Sebastian Raschka69

    从零理解与用 PyTorch 实现千问(Qwen3)架构Chinese

    Sebastian Raschka 发布教程讲解如何使用纯 PyTorch 从零实现千问(Qwen3)的 Dense 与 MoE 架构,拆解底层核心构建模块。文中梳理了 Qwen3 采用 Apache 2.0 开源协议、提供从 0.6B 到 480B MoE 等多尺寸规格的优势,其 235B-Instruct 版本在 LMArena 排行榜上排在第 8 位并追平 Claude Opus 4。

    Why it matters: 提供了用纯 PyTorch 从零实现 Qwen3 架构的完整代码与模块拆解,便于开发者理解现代开源大语言模型的底层设计。

Aug 9Sat