你好。我叫张拳石,是朱老师的博士后,长期带队研究interpretable representations of neural networks。关于问题"朱教授不少学生也是做深度学习的,不知道是否规避了文中的批评",我来回答一下。
其实我已经在早前的知乎文章《可解释性与deep learning的发展》zhuanlan.zhihu.com/p/30074544中回答了这个问题。
虽然基于目前的深度神经网路框架,完全清晰地拆分开模型(表达)、算法、和实现的三层结构有一定的困难,但是我们一直在朝着构建一个清晰表达的方向上努力,而且已经沿着这个方向做了一些工作。
试想,未来神经网络的结构和loss的复杂度极度复杂,如何才能保证有效的训练,保证网络学到了正确的表达,而不是建模了一种dataset bias (黑箱测试的高正确率无法保证网络建模了正确的知识,见论文arXiv:1710.10577)?如何才能建模一个universal net?需要在哪个层面上对网络知识进行整合?这些看似不着边际的问题,其实本质上都与今天讨论的网络模型的表达方式息息相关。
学者需要提高现有技术的精度,更需要找到瓶颈性的问题,更需要为多年后的发展找到新的方向。走新路的代价可能是经历更多的失败,或者文章数量减半。这就像生物进化,(如果仅仅从短期来看)最保险的策略就是“不要变异”,因为传统的往往是最work的最受欢迎的,变异出来的多是怪胎。不过还好,沿着构建清晰表达的方向,经过大量的尝试,还可以做出一些新东西。
比如在"Interpreting CNN knowledge via an Explanatory Graph" in AAAI 2018一文主要介绍了如何把一个CNN(pre-trained for object classification)的conv-layer内部知识转化成一个graphical model。在另一篇文章"Interpretable Convolutional Neural Networks"中,我介绍了如何端对端的学习一个CNN,使得其内部高层conv-layer的每个filter自动的表示某个object part。算法并不需要人为的标注object parts或texture作为额外的supervision,而是为这些filters添加一个prior constraint,使得在训练过程中自动回归的某种object part。
当然,这些方法只是一些初步的技术,还谈不上是什么解决方案,今后还会提出更多更好的方法。路漫漫其修远兮。
目前black-box end-to-end learning有很多问题,deep learning如何进一步提升模型复杂度,在更加复杂的系统里如何有效的优化学习,这些都是摆在我们面前的切实的问题。如何跳出comfortable zone of research topics,如何解决DL发展道路的问题,是摆在我们这一代学者面前的问题。如何构建一个清晰的表达,是一个很大的问题,不是某个人或某一个技术在短期内就可以解决的,UCLA的团队一直致力于解决这个问题,这也恰恰是研究的魅力。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有