arXiv 机器学习· Sourabh Kasliwal, Shubhranshu Singh·· 6 小时前AI 评分35
基于大语言模型知识蒸馏的多标签主题分配：生成式与判别式学生模型对比分析
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
AI 导读
一项研究系统对比了经 LLM 知识蒸馏的生成式与判别式学生模型（涵盖 1B、4B、8B 规模）在电商多标签主题分配中的表现。判别式模型在结构化商品评论中表现更佳，但 1B 生成式模型在多轮对话任务上即可超越 DeBERTa-V3 与 ModernBERT 基线。当标签扩展至 112 个主题时，判别式基线 Macro-F1 下降 35%，而生成式模型仍保持稳健，相关模型已在生产环境部署。
来源：arXiv 机器学习 · arxiv.org