Hacker News · AI· jacquesm·· 9 小时前AI 评分47
全 FPGA 架构 VHDL 大语言模型推理引擎：支持 Qwen3.5 级模型推理
Full-fabric VHDL LLM inference engine. Runs Qwen3.5-class transformer inference
AI 导读
一款纯 FPGA 架构的 VHDL 大语言模型推理引擎实现 Qwen3.5 级模型推理，计算与权重完全在 FPGA 硬件和板载 8 GiB HBM 中运行。该引擎支持单张 SQRL FK33 板卡部署 INT4 量化的 9B 模型，双卡目标支持 27B 模型。其逐层激活与分词输出均与运行 BF16 GGUF 的 llama.cpp 完成严格对齐验证。
来源：Hacker News · AI · github.com