跟颜水成老师同司共事过短暂的时间,他的不少成果是聚焦在神经网络topology领域,比如把DenseNet+ResNet联系到一起的DPN构型,做数学研究的时间可能多于做系统,虽然在短期不易在商业/工程化中发挥质变优势,但随着底层非冯domain specific异构及其电路逻辑的大量流行,颜老师的诸多NiN拓扑便会更加有利于算法创新;
延展一点话题,与之类似的领域上面对同样问题的可能是Hinton?比如用Capsule结构举例,更像是把增加的第3维定义了,2D+1矢量化,第3维是前两维的微分关系,由此降低了2维的运算量;但问题同样是,维度愈多,冯氏结构的Mem访问时序的处理就会愈加繁琐,双通道不够用,I/O设计更复杂,功耗愈难控制;最终受限于冯氏硬件效率,硬件就需要大改,特别是twist这样的操作(这样的3维模型,twist一下... 算法公式看上去减少了计算步骤,实际硬件却可能跑出非常大的运算量),所以Hinton的模型在传统硬件性能前提下难以高效实现,因此同样是要到未来阶段才更有指导意义。
就像如今流行的Convolution和Pooling等方法,也是在摩尔定律的推动下才能堆积出这样的计算效果,通用算力变得容易获得和铺设,但这些old school不是未来…;因此,颜老师和Hinton的研究方向、以及很多致力发掘神经元及其间链接的算法价值的学者们,这些成果有望在未来大规模的非冯算力中发挥巨大价值。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有