arXiv 人工智能· Baha Rababah, Shahzeb Qamar, Lorenz Sparrenberg, Rafet Sifa, Murat Kantarcioglu, Carson K. Leung, Cuneyt Gurcan Akcora·· 22 時間前AI スコア34
TopoQuant：表征量化大语言模型行为漂移的拓扑框架
TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models
未翻訳のため中国語で表示しています。
AI ガイド
TopoQuant 框架利用拓扑数据分析（TDA）量化自注意力权重结构漂移，以表征量化大语言模型（LLM）的行为变化。跨 4 个 LLM 家族的测试显示，拓扑漂移在低于 4 bit 精度时急剧上升，与注意力一致性下降高度相关。结合轻量机器学习模型预测注意力一致性可实现高达 0.85 的 R2 分数，无需运行下游任务即可预警性能退化。
出典：arXiv 人工智能 · arxiv.org