arXiv 机器学习· Rui Liu·· 1 天前AI 评分35
CTR 重校准需要多少新鲜数据?事后校准的时间评估
How Much Fresh Data Should CTR Recalibration Use? A Temporal Evaluation of Post-hoc Calibration
AI 导读
研究显示 CTR 模型离线评估的随机划分会严重低估预期校准误差(ECE),而在 Avazu 数据集(40.4M 展示)的事后重校准中,12 小时拟合切片表现优于极短期数据。该 12 小时切片即便下采样至 1 小时样本量(拟合速度提升 20-25x),仍能保留 88% 的增益,但在模拟竞价中对利润的影响仅为 -0.21% 至 +0.26%。
来源:arXiv 机器学习 · arxiv.org