Notes: RETHINKING ARCHITECTURE SELECTION IN DIFFERENTIABLE NAS

简介

提出DARTS中的并不能很好的反应operator的strength。因此设计了基于扰动的评价指标来选择operator，在实现上只需要修改DARTS的operator选择阶段（即离散化阶段）。实验证明这个方法不仅能一致提升DARTS类方法的表现，而且能解决DARTS的鲁棒性差的问题。

方法

在darts的supernet训练好之后，进行perturbation-based architecture selection
(PT)，包括两点：

1. 去掉一个operator，用accuracy下降的大小来作为operator选择的依据
2. 逐步离散化edge，每确定一个edge上的operator就fintune一次
   具体如下
   

实验与结论

进行了如下实验：

1. Comparison with state-of-the-art image classifiers on CIFAR-10. 在现有的DARTS类方法上加上了PT，分数都得到了提升。
2. Robustness issue of DARTS can be explained by the failure of
   magnitude-based architecture selection. 实验验证了DARTS在某些搜索空间中失效的现象可以通过PT避免
3. test a baseline by combining progressive tuning with magnitude-based operation selection instead of our selection criterion。证明论文提出的评价指标确实更好体现了operator的strength。
4. 实验证明了在supernet的训练过程中可以固定为0（即去掉），使用PT后性能没有下降