Hacker News · AI· gmays·· 3 小时前精选AI 评分76
OpenAI 硬件副总裁 Richard Ho 详解自研推理芯片 Jalapeño 设计细节
An Interview with OpenAI's Richard Ho on Groundbreaking Jalapeño AI Chip
AI 导读
OpenAI 硬件副总裁 Richard Ho 在专访中详解了自研 AI 推理芯片 Jalapeño 的架构设计与工程细节。该芯片由约 100 人的小团队借助 AI 智能体优化并在 9 个月内完成流片,采用 64 个专用核心分别直连独立 HBM 内存池的切片架构,摒弃共享内存开销以最大化能效与芯片整体利用率。
推荐理由
访谈拆解了自研推理芯片如何通过单核心直连HBM切片降低数据搬运,为大模型推理硬件架构设计提供了直接参考。
来源:Hacker News · AI · taekim.substack.com