与主流的feature蒸馏方法不同，本研究将重心放回到logits蒸馏上，提出了一种新的方法「解耦知识蒸馏」，重新达到了SOTA结果，为保证复现该研究还提供了开源的蒸馏代码库：MDistiller。 近年来顶会的 SOTA 蒸馏方法多基于 CNN 的中间层特征，而基于输出 logits 的 ...