arXiv 机器学习· Andre Guarnier De Mitri, Giovani Decico Lucafo, Miller Matheus Lima Anacleto Rocha, Diego Furtado Silva·· 4 小时前AI 评分32
CAMEL：面向超轻量视网膜基础模型的跨架构掩蔽嵌入学习
CAMEL: Cross-Architecture Masked Embedding Learning for Ultra-Lightweight Retinal Foundation Models
AI 导读
研究人员提出跨架构知识蒸馏框架 CAMEL，用于构建超轻量视网膜基础模型。该框架在嵌入学习中采用非对称掩蔽策略，可将 RETFound 等庞大教师模型的知识有效迁移至紧凑轻量的学生模型。在 4 个数据集上的评估表明，CAMEL 在大幅降低计算复杂度的同时保留了准确率，适合资源受限的临床环境部署。
来源：arXiv 机器学习 · arxiv.org