基于教师引导排序近似的TinyML神经架构搜索框架TGL-NSGA-II
针对微型机器学习（TinyML）神经架构搜索计算开销巨大的难题，论文提出低保真度评估框架TGL-NSGA-II。该方法基于进化搜索仅需可靠比较候选模型优劣而非精确适应度值的洞察，利用预训练教师模型根据样本难度与类别进行分层抽样，再通过短周期的轻量知识蒸馏（KD-Lite）在压缩数据集上快速训练候选网络并排序评估，大幅降低了端侧资源受限环境下的搜索成本。
推荐理由提出利用相对排序替代绝对精度评估的TinyML架构搜索方案，为高算力消耗的进化优化算法提供了实用的降本思路。
原标题：Rank-Reliable Teacher-Guided Fitness Approximation for Expensive Evolutionary Optimization: A TinyML Architecture Search Study
阅读 arXiv 人工智能 原文 ↗