百科问答小站 logo
百科问答小站 font logo



GAN 真的创造了新的信息吗? 第1页

  

user avatar   guo-shi-an-96 网友的相关建议: 
      

如果说艺术源于生活

那么

艺术真的创造了新的信息吗?


user avatar   yukio-2 网友的相关建议: 
      

一个多月前在AAAI2019听Goodfellow的invited talk,他当时说的一句话,翻译成中文大意是

很多人认为GAN在数据科学中的一个应用是数据增强,他们认为通过用已有的数据来训练GAN,可以创造出更多的数据,从而解决数据缺乏问题――据我所知这种方法从未奏效过 (As far as I know this never works in practice)

在我印象里ICLR2018就有人质疑过GAN是否能够真正意义上生成新的数据,当时作者罗列出的一系列实验结果表明结论是否定的

补两句我个人的看法,题主的问题是【GAN真的创造了新的信息吗】,仔细考虑下会发现这并不是一个良好定义的问题,因为如何算【创造了新的信息】是定义不清晰的。实际上我认为,在图像任务上通过人类肉眼观察是否出现了一些新的纹理特征一类的定义方式并不能为这个问题本身带来新的insight。这里可以稍微开一些脑洞,如果真实的样本集合是 ,生成的样本集合是 ,那么可以有这么几种定义方式:

  • 思路一:entropy,如果 称之为【创造了新的信息】,然而GAN学习的分布是隐式的,这个entropy压根算不出来
  • 思路二:truly Bayesian,若我们有一个机器学习模型 来对数据进行拟合,其中 ,我们可以用信息增益 (Information Gain) 来衡量【创造了新的信息】这一事件的程度,严格定义的信息增益形式为 ,若算出来 大于一个事先设定的常数,则认为【创造了新的特征】。问题在于,这个严格定义的information gain是没有办法做exact inference的,只能用变分下界之类的办法来算,处理起来也是相当麻烦
  • 思路三:empirical evaluation,找一个baseline模型,分别在 与 两个数据集上进行训练,比较performance,这种做法没有任何理论保障,很难说baseline模型的选取是否对实验的最终结果带来了决定性影响。对于这种思路,我认为如果不在大量的baseline模型上进行测试并报告显著性,得到的结论是没有意义的。

最后谢邀,之后有空回来补references吧


user avatar    网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  有哪些比较好的元学习(meta learning)领域的学习资源? 
  有哪些结合医学、计算机、人工智能的研究领域? 
  有什么算法能对一个长短不一的时间序列进行分类预测? 
  如何看待「特斯拉宣布:全系在产车辆都将能够完全自动驾驶」? 
  如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》? 
  对神经网络某一层做了小改进,效果却提升显著,可以发论文吗? 
  如何看待王垠的2020新年寄语? 
  如何评价 CVPR 2020的论文接收结果?有哪些亮点论文? 
  联邦学习是否有必要学习密码学知识? 
  目前,人工智能语音在说中文时的语气感觉上还比较机械,怎样使人工智能语音的语气更自然一些? 

前一个讨论
如何评价知乎用户@白小鱼?
下一个讨论
如何看待特朗普把警察暴力执法,比作高尔夫球手有时「发挥失常」?





© 2025-04-04 - tinynew.org. All Rights Reserved.
© 2025-04-04 - tinynew.org. 保留所有权利