arXiv 机器学习· Jian Sheng, Sriram Vasudevan, Sundara Raman Ramachandran, Yang Hu, Junyu Zhou, Xiaojing Ma, Haolan Qin, Tiffany Zhou, Vedant Vipul Jhaveri, Ashwini Bhingare, Chinmay Kini, Qing Lan, Xiaoqing Wang, Suleyman Cetintas, Fedor Borisyuk·· 5 小时前AI 评分44
从生成到评分：扩展 LinkedIn 基于大语言模型的语义标注
From Generation to Scoring: Scaling LLM-Based Semantic Labeling at LinkedIn
AI 导读
LinkedIn 提出将大语言模型标注从生成重构为语义评分，通过 prefill 通道打分并结合多项评分（MIS）并行处理数百个候选。候选重排时该方法仅改变至多 0.01% 的决策，达到打包生成需约 4.7x 训练数据对才能匹配的一致率。在 1 秒 p99 延迟下，该架构使离线与服务吞吐量分别提升 1.24x 和 1.9x，实现已贡献至 Ray Data 与 SGLang。
来源：arXiv 机器学习 · arxiv.org