百科问答小站 logo
百科问答小站 font logo



deepmind发表的neural processes(神经过程),这个是怎么实现的呢? 第1页

  

user avatar    网友的相关建议: 
      

这个系列算上ICLR2019的attentive neural process一共三篇文章,最早是conditional NP,之后更新了NP,后来又有了attentive NP。今天刚看完前两篇,趁热粗略写一下自己的理解,不一定正确。

conditional NP

深度神经网络的一个局限在于只能学到某一个固定的函数映射,而高斯随机过程可以得到关于函数的分布,这就灵活多了,作者正是将NN和GP结合起来得到了CNP。

问题的描述作者这一段说的很清楚了:

如果把图一的P看成高斯过程的话,一方面很难设计合适的prior process,另一方面计算代价高昂。于是作者提出CNP,直接参数化这个条件随机过程,让模型自己去挖掘先验信息。

上述模型可以描述为: 其中, 都是神经网络。 是随机过程 的参数,即 ,以回归问题为例,,也就是说对于每一个数据 ,找出分布 。

训练过程是这样的:设 是观测值, , 。目标函数为 ,这个目标函数咋一看有点迷,看了代码之后发现就是求得每个数据点分布p之后,取 。

值得注意的是,因为需要学习到函数的分布,所以这里的数据集也是特别加工生成的,首先依据不同的 ,生成多组 后,合起来作为总的数据,再接着分observation和target两个集。

大体过程就是这样了。

neural process

这一篇和CNP主要的区别就是引入了隐变量Z。其他的似乎没什么区别,所以只介绍一下隐变量部分,欢迎评论区补充。

注意到这里较之于CNP,多了一步提取隐变量的过程。对于这个隐变量Z,作者使用amortised variational inference来求解,具体的沿用conditional VAE的方法,变分下届如下:

下届的左半部分是解码器,用到了隐变量和Target集,右半部分是编码器,使用了全部的数据;这里前m个数是观测集,也就是图三中左侧的context部分,m到n的数据是target部分,图三右侧;

公式中context数据的后验又作为了全部数据的先验,并且使用 来近似 ,并且注意到这里的近似后验没有用额外的推断,而是借用了 的网络。图三中的虚线介绍了这一inference过程。

attentive neural process

TODO……




  

相关话题

  CVPR 2018 有什么值得关注的亮点? 
  能否使用神经网络来判断奇偶数? 
  Batch Normalization 训练的时候为什么不使用 moving statistics? 
  究竟什么是损失函数 loss function? 
  CPU和GPU跑深度学习差别有多大? 
  未来几年,医学影像方面会被人工智能代替么? 
  面对飞速发展的人工智能,我们应该如何调整对孩子的教育? 
  弟弟估分能上清北,选人工智能还是网络新媒体(新闻传播类)专业? 
  为什么日本公司总是押错技术方向(人工智能,互联网,电动汽车)? 
  如何评价DALL-E模型的实现? 

前一个讨论
如何看待科研 idea 相撞现象普遍?
下一个讨论
在家里如何免费使用中国知网?





© 2024-11-05 - tinynew.org. All Rights Reserved.
© 2024-11-05 - tinynew.org. 保留所有权利