看到灵魂调参师 @Justin ho 的朋友圈顺手转了下,结果被报道了 https://mp.weixin.qq.com/s/ChYLuxGxsQK0g6MImimSDQ
不过我们确实观察到了相似的结论。AutoML使用大概15倍于单次训练的代价,得到的结果可能比手调的要好。这个主要是对于CV而言,尤其是detection模型,预计GluonCV里面模型很快赢来一大波提升。
但更一般的AutoML还是比较难。例如Tabular数据的,很多时候手工设计的特征还是挺好。
AutoGluon取了一个巧,我们目前只支持GluonCV和GluonNLP里面的任务,和额外的Tabular数据(因为一个小哥之前有过经验)。所以我们可以把以前的很有经验东西放进去来减小搜参空间,从而提升速度。
当然AutoGluon还是早期项目,我本来想是让团队再开发一些时间再公开。还有太多有意思的应用、算法、硬件加速可以做的。非常欢迎小伙伴能一起贡献。
AutoGluon特点总结如下。
与AutoGluon类似的AutoML工具还有下图所示项目。
其中最值得一提的是微软的NNI。支持多种框架;包括四大功能:feature engineering、architecture search、hyperparameter tuning、model compression。其中architucture search包括5种算法(AutoGluon当前包括ENAS),hyperparameter tuning包括12种算法(AutoGluon当前是4种)。
相比NNI,AutoGluon当前还比较单薄,不过AutoGluon有一个优势——GluonCV和GluonNLP,基于这两个非常棒的工具箱,AutoGluon可以在CV和NLP两个领域做出自己的特色。但是这个优势同时又不算优势,因为GluonCV和GluonNLP是基于mxnet的,mxnet的用户量不够大。
Justin Ho的回答不太严谨,Justin Ho想对比手工调参与NAS谁更优,“手工调参”一方用的是GluonCV的Faster R-CNN,“NAS”一方用的是AutoGluon的检测demo(基于YOLOv3),但是AutoGluon的检测demo并没有使用NAS,搜索空间只针对LR(5e-4和1e-4)。Justin Ho的结论“被NAS打爆了”,“还爆了5个点”值得商榷。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有