百科问答小站 logo
百科问答小站 font logo



如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评? 第1页

  

user avatar   quanshi.zhang 网友的相关建议: 
      

你好。我叫张拳石,是朱老师的博士后,长期带队研究interpretable representations of neural networks。关于问题"朱教授不少学生也是做深度学习的,不知道是否规避了文中的批评",我来回答一下。

其实我已经在早前的知乎文章《可解释性与deep learning的发展zhuanlan.zhihu.com/p/30074544中回答了这个问题。

虽然基于目前的深度神经网路框架,完全清晰地拆分开模型(表达)、算法、和实现的三层结构有一定的困难,但是我们一直在朝着构建一个清晰表达的方向上努力,而且已经沿着这个方向做了一些工作。

试想,未来神经网络的结构和loss的复杂度极度复杂,如何才能保证有效的训练,保证网络学到了正确的表达,而不是建模了一种dataset bias (黑箱测试的高正确率无法保证网络建模了正确的知识,见论文arXiv:1710.10577)?如何才能建模一个universal net?需要在哪个层面上对网络知识进行整合?这些看似不着边际的问题,其实本质上都与今天讨论的网络模型的表达方式息息相关。

学者需要提高现有技术的精度,更需要找到瓶颈性的问题,更需要为多年后的发展找到新的方向。走新路的代价可能是经历更多的失败,或者文章数量减半。这就像生物进化,(如果仅仅从短期来看)最保险的策略就是“不要变异”,因为传统的往往是最work的最受欢迎的,变异出来的多是怪胎。不过还好,沿着构建清晰表达的方向,经过大量的尝试,还可以做出一些新东西。

比如在"Interpreting CNN knowledge via an Explanatory Graph" in AAAI 2018一文主要介绍了如何把一个CNN(pre-trained for object classification)的conv-layer内部知识转化成一个graphical model。在另一篇文章"Interpretable Convolutional Neural Networks"中,我介绍了如何端对端的学习一个CNN,使得其内部高层conv-layer的每个filter自动的表示某个object part。算法并不需要人为的标注object parts或texture作为额外的supervision,而是为这些filters添加一个prior constraint,使得在训练过程中自动回归的某种object part。

当然,这些方法只是一些初步的技术,还谈不上是什么解决方案,今后还会提出更多更好的方法。路漫漫其修远兮。

目前black-box end-to-end learning有很多问题,deep learning如何进一步提升模型复杂度,在更加复杂的系统里如何有效的优化学习,这些都是摆在我们面前的切实的问题。如何跳出comfortable zone of research topics,如何解决DL发展道路的问题,是摆在我们这一代学者面前的问题。如何构建一个清晰的表达,是一个很大的问题,不是某个人或某一个技术在短期内就可以解决的,UCLA的团队一直致力于解决这个问题,这也恰恰是研究的魅力。


user avatar   zhang-xiang-23-87-40 网友的相关建议: 
      

景甜:抱歉,是我选的他。


user avatar    网友的相关建议: 
      

景甜:抱歉,是我选的他。


user avatar   sth4nth 网友的相关建议: 
      

景甜:抱歉,是我选的他。


user avatar   zhi-liang-72 网友的相关建议: 
      

景甜:抱歉,是我选的他。


user avatar   tian-yuan-dong 网友的相关建议: 
      

景甜:抱歉,是我选的他。


user avatar   dan-ma-16 网友的相关建议: 
      

统计局工作人员也不过是公务员,没有受到过经济训练,所以他仅仅是给予统计,但是并没有解释能力。他所说的是“全员劳动生产率”我从来没有听说过,世界普遍通用所说的“劳动生产率”是单位时间内的产出,具体的说是每小时经济产出(output per hour worked)。

我们可以对比下这两个概念,统计局声称的“全员劳动生产生产率”是生产总增加值除以就业人口,意思为单位劳动力平均产出;普遍所用的“劳动生产率”是单位小时产出,所以实际上“全员劳动生产率”应该除以平均工时。由于中国人每年平均工作时间大概是2200小时,美国则为1750小时,所以实际上他的统计数据还要高估了,所以这个值应该为6%左右。由于我国处于后人口红利期,人口赡养比例较低,就业人口比例依旧高于平均水平。我国现在约有7.75亿人就业,而美国只有1.5亿人就业;同时我国就业人口工作时间都更长,分母更大的情况下分子就更小,所以实际上我国的劳动生产率和技术领先国家(美国)要比经济水平相对更低。

这个情况不仅仅出现在中国,在日本和韩国也是如此,普遍估计韩国的劳动生产率仅仅为美国的50.2%,日本则为65.4%。西班牙本身经济水平和韩国相近,但是工作时间远远少于韩国,实际上这意味着西班牙的劳动生产率远高于韩国,而根据OECD的估计西班牙的劳动生产率则为美国的74.5%。


即使如此,这个数据很明显是过分低估了中国的经济水平。理由有两个:

  1. 他使用的是2005年的美元计价,实际上应该调整到更接近现在的美元来计价(接近现价)。例如OECD使用的是2010年的不变价美元,一定程度上低估了韩国等新兴国家的经济水平,这一点 @Orz辉 所提到了。
  2. 汇率价值严重影响了测算,不管是韩国这种已经成为发达国家的新兴国家,还是波兰、土耳其等比较发达的新兴经济体,都面临着汇率被低估的问题。一定程度上来说,如果生产率的增长速度相当长时间保持和技术领先国家(如美国)相近的水平,那么用汇率计算的误差就小;而韩国、波兰、土耳其这些国家生产率快速追赶的国家则被低估。一个事实是波兰和土耳其如果用汇率计算的话,人均GDP则仅仅为10000美元,而实际上用购买力衡量则超过25000美元,所以OCED的统计表明,土耳其和波兰的生产率实际上和韩国相当,都超过了美国的50%,而不是仅仅为20%。所以实际上,统计局并没有考虑到每年76978元/人的实际价值是多少,而OECD的经济学家则使用的是PPPs。


一个可靠的方式是使用尽可能接近现价的不变价计算单位,并且使用购买力计算,例如OECD本身选择的是constant prices 2010 and PPPs。考虑到这两点我们做估算的话,中国的人均GDP按照购买力衡量现在大约美国的25%,中国的劳动生产率的可靠应该略高于美国的20%。所以,普遍的估计为中国的劳动生产率略微高于美国的劳动生产率的20%,一个比较精确的说法应该是21%。

从某种意义上,即使是21%的数字,中国的劳动生产率应该是被低估的。因为中国的经济规模应该大大高于现在已经测算的规模,在过去5年中国就已经更改了3次统计测量方式,每一次都提高了经济规模。即使如此,潜在的经济规模依旧存在,所以经济水平的低估意味着劳动生产率被低估了。

这种情况下,我们可以认为中国官方声称的劳动生产率增速远远高估了,因为中国政府高估了自己经济增长的速度。




  

相关话题

  如何评价Sony新出的深度学习库NNabla? 
  目前 AI 在疾病的诊断和治疗上,有哪些成功的应用? 
  如何看待朱松纯受聘北大人工智能研究院院长? 
  如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper? 
  你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 
  消融实验是什么? 
  成长型企业如何灵活、高效、全方位地实现数字化转型? 
  如何看待 2021 年图灵奖授予美国计算机科学家 Jack J. Dongarra? 
  在迁移学习中,只有fine-tune和基于实例的迁移可用在小样本上吗,还有其他的小样本迁移方法吗? 
  如何评价MXNet发布的1.0版本? 

前一个讨论
深度学习在生物信息领域有什么应用?
下一个讨论
27 寸的 2K 和 4K 显示器对于文字显示的区别有多大?





© 2024-06-25 - tinynew.org. All Rights Reserved.
© 2024-06-25 - tinynew.org. 保留所有权利