研究团队提出TopoQuant拓扑框架评估量化LLM行为漂移
Start here
2026年11月3日，相关研究发布TopoQuant框架。该框架利用拓扑数据分析（TDA）量化自注意力权重结构漂移，用以表征量化大语言模型（LLM）的行为变化。跨4个LLM家族的测试表明，拓扑漂移在精度低于4 bit时急剧上升，与注意力一致性下降高度相关。此外，结合轻量机器学习模型预测注意力一致性可达到最高0.85的R²分数，使模型无需运行下游任务即可提前预警性能退化。
AI-generated from reports · Updated 14 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能TopoQuant：表征量化大语言模型行为漂移的拓扑框架
TopoQuant 框架利用拓扑数据分析（TDA）量化自注意力权重结构漂移，以表征量化大语言模型（LLM）的行为变化。跨 4 个 LLM 家族的测试显示，拓扑漂移在低于 4 bit 精度时急剧上升，与注意力一致性下降高度相关。结合轻量机器学习模型预测注意力一致性可实现高达 0.85 的 R2 分数，无需运行下游任务即可预警性能退化。
Story heat trend
Current heat 6·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.