百科问答小站 logo
百科问答小站 font logo



GAN 真的创造了新的信息吗? 第1页

  

user avatar   guo-shi-an-96 网友的相关建议: 
      

如果说艺术源于生活

那么

艺术真的创造了新的信息吗?


user avatar   yukio-2 网友的相关建议: 
      

一个多月前在AAAI2019听Goodfellow的invited talk,他当时说的一句话,翻译成中文大意是

很多人认为GAN在数据科学中的一个应用是数据增强,他们认为通过用已有的数据来训练GAN,可以创造出更多的数据,从而解决数据缺乏问题――据我所知这种方法从未奏效过 (As far as I know this never works in practice)

在我印象里ICLR2018就有人质疑过GAN是否能够真正意义上生成新的数据,当时作者罗列出的一系列实验结果表明结论是否定的

补两句我个人的看法,题主的问题是【GAN真的创造了新的信息吗】,仔细考虑下会发现这并不是一个良好定义的问题,因为如何算【创造了新的信息】是定义不清晰的。实际上我认为,在图像任务上通过人类肉眼观察是否出现了一些新的纹理特征一类的定义方式并不能为这个问题本身带来新的insight。这里可以稍微开一些脑洞,如果真实的样本集合是 ,生成的样本集合是 ,那么可以有这么几种定义方式:

  • 思路一:entropy,如果 称之为【创造了新的信息】,然而GAN学习的分布是隐式的,这个entropy压根算不出来
  • 思路二:truly Bayesian,若我们有一个机器学习模型 来对数据进行拟合,其中 ,我们可以用信息增益 (Information Gain) 来衡量【创造了新的信息】这一事件的程度,严格定义的信息增益形式为 ,若算出来 大于一个事先设定的常数,则认为【创造了新的特征】。问题在于,这个严格定义的information gain是没有办法做exact inference的,只能用变分下界之类的办法来算,处理起来也是相当麻烦
  • 思路三:empirical evaluation,找一个baseline模型,分别在 与 两个数据集上进行训练,比较performance,这种做法没有任何理论保障,很难说baseline模型的选取是否对实验的最终结果带来了决定性影响。对于这种思路,我认为如果不在大量的baseline模型上进行测试并报告显著性,得到的结论是没有意义的。

最后谢邀,之后有空回来补references吧


user avatar    网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  2019 年你读了哪些觉得比较好的计算机书籍? 
  有什么事情是人工智能永远比不上人类的? 
  人工智能和自动控制能在一起擦出什么样的火花? 
  DeepMind 团队中有哪些厉害的人物和技术积累? 
  基于深度学习的人工智能程序和传统程序的差别在哪里? 
  测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗? 
  AI的发展会成为下一次推动人类实现飞跃发展的工业革命吗? 
  KL散度衡量的是两个概率分布的距离吗? 
  假如未来人工智能近乎完美,那么掌权者能够甘心放下手中的权力吗? 
  如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero? 

前一个讨论
如何评价知乎用户@白小鱼?
下一个讨论
如何看待特朗普把警察暴力执法,比作高尔夫球手有时「发挥失常」?





© 2025-04-25 - tinynew.org. All Rights Reserved.
© 2025-04-25 - tinynew.org. 保留所有权利