百科问答小站 logo
百科问答小站 font logo



如何理解Inductive bias? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias)。归纳偏置这个译名可能不能很好地帮助理解,不妨拆解开来看:归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and deduction),指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;偏置(Bias)是指我们对模型的偏好。

因此,归纳偏置可以理解为,从现实生活中观察到的现象中归纳出一定的规则(heuristics),然后对模型做一定的约束,从而可以起到“模型选择”的作用,即从假设空间中选择出更符合现实规则的模型。其实,贝叶斯学习中的“先验(Prior)”这个叫法,可能比“归纳偏置”更直观一些。

归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理,即希望学习到的模型复杂度更低,就是一种归纳偏置。另外,还可以看见一些更强的一些假设:KNN中假设特征空间中相邻的样本倾向于属于同一类;SVM中假设好的分类器应该最大化类别边界距离;等等。

在深度学习方面也是一样。以神经网络为例,各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络中,我们假设特征具有局部性(Locality)的特性,即当我们把相邻的一些特征放在一起,会更容易得到“解”;在循环神经网络中,我们假设每一时刻的计算依赖于历史计算结果;还有注意力机制,也是基于从人的直觉、生活经验归纳得到的规则。

在自然语言处理领域赫赫有名的word2vec,以及一些基于共现窗口的词嵌入方法,都是基于分布式假设:A word’s meaning is given by the words that frequently appear close-by. 这当然也可以看作是一种归纳偏置;一些自然语言理解的模型中加入解析树,也可以类似地理解。都是为了选择“更好”的模型




  

相关话题

  如何看待 Deepmind 宣称最新版 AlphaGo 能让李世乭版本 AlphaGo 三子? 
  机器学习中如何识别图片中的手是手背还是手心? 
  如何评价深度学习之父Hinton发布的Capsule论文? 
  如何系统学习机器学习? 
  联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何? 
  有什么事情是人工智能永远比不上人类的? 
  我怀疑人类真的把人工智能当成傻子了,这才是最可怕的,是变局来临前的预兆,人类有什么资格看扁AI? 
  三维重建怎么入门? 
  人工智能和自动控制能在一起擦出什么样的火花? 
  为何感觉“知识蒸馏”这几年没有什么成果? 

前一个讨论
今天看到“人工智能没有欲望,只有人工智能管理人类社会才能实现大同社会”这句话,想听听大家怎么说?
下一个讨论
为什么CPU主频一般都比FPGA快,但是却说FPGA可以帮助CPU加速?





© 2024-05-20 - tinynew.org. All Rights Reserved.
© 2024-05-20 - tinynew.org. 保留所有权利