如何评价亚马逊AI新开源自动机器学习项目AutoGluon? 第1页

看到灵魂调参师 @Justin ho 的朋友圈顺手转了下，结果被报道了 https://mp.weixin.qq.com/s/ChYLuxGxsQK0g6MImimSDQ

不过我们确实观察到了相似的结论。AutoML使用大概15倍于单次训练的代价，得到的结果可能比手调的要好。这个主要是对于CV而言，尤其是detection模型，预计GluonCV里面模型很快赢来一大波提升。

但更一般的AutoML还是比较难。例如Tabular数据的，很多时候手工设计的特征还是挺好。

AutoGluon取了一个巧，我们目前只支持GluonCV和GluonNLP里面的任务，和额外的Tabular数据（因为一个小哥之前有过经验）。所以我们可以把以前的很有经验东西放进去来减小搜参空间，从而提升速度。

当然AutoGluon还是早期项目，我本来想是让团队再开发一些时间再公开。还有太多有意思的应用、算法、硬件加速可以做的。非常欢迎小伙伴能一起贡献。

AutoGluon特点总结如下。

• 三大应用领域
• image（image classification、object detection）
• text（text classification）
• tabular data（tabular prediction）
• 两大功能
• 自动调参
• 不仅支持mxnet，还支持PyTorch
• 支持的搜索策略包括random search、grid search、RL、Bayesian optimization等
• NAS（仅支持image classification，目前只有ENAS）

与AutoGluon类似的AutoML工具还有下图所示项目。

其中最值得一提的是微软的NNI。支持多种框架；包括四大功能：feature engineering、architecture search、hyperparameter tuning、model compression。其中architucture search包括5种算法（AutoGluon当前包括ENAS），hyperparameter tuning包括12种算法（AutoGluon当前是4种）。

相比NNI，AutoGluon当前还比较单薄，不过AutoGluon有一个优势——GluonCV和GluonNLP，基于这两个非常棒的工具箱，AutoGluon可以在CV和NLP两个领域做出自己的特色。但是这个优势同时又不算优势，因为GluonCV和GluonNLP是基于mxnet的，mxnet的用户量不够大。

题外话

Justin Ho的回答不太严谨，Justin Ho想对比手工调参与NAS谁更优，“手工调参”一方用的是GluonCV的Faster R-CNN，“NAS”一方用的是AutoGluon的检测demo（基于YOLOv3），但是AutoGluon的检测demo并没有使用NAS，搜索空间只针对LR（5e-4和1e-4）。Justin Ho的结论“被NAS打爆了”，“还爆了5个点”值得商榷。