率约束下的最优多任务表征：信息瓶颈分析

新研究通过多任务信息瓶颈框架分析了信息预算下的最优表征，指出压缩率会直接改变最优预训练目标。理论分析表明弱任务对齐专用模型在低率下优于重构通用模型但在高率下落后，而平均任务信息矩阵目标具有由最大任务 SNR 控制的一致相对遗憾界。CelebA 与 dSprites 实验证实，压缩率变化会反转预训练目标表现及下游任务保留优先级。