arXiv 自然语言处理· Jakub Prejzner·· 2 天前AI 评分36
波兰语智能体工具调用量化研究:8-bit 至 2-bit 下崩溃阈值一致但失败模式不同
Quantization Thresholds Replicate, Failure Modes Do Not: A Three-Model Study of Agentic Tool Use in Polish from 8-bit to 2-bit
AI 导读
一项针对波兰语智能体工具调用的三模型研究表明,GGUF 量化在 3-bit 降至 2-bit 时均会出现断崖式能力崩溃,但各模型的失败模式并不一致。
来源:arXiv 自然语言处理 · arxiv.org