百科问答小站 logo
百科问答小站 font logo



如何理解Inductive bias? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias)。归纳偏置这个译名可能不能很好地帮助理解,不妨拆解开来看:归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and deduction),指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;偏置(Bias)是指我们对模型的偏好。

因此,归纳偏置可以理解为,从现实生活中观察到的现象中归纳出一定的规则(heuristics),然后对模型做一定的约束,从而可以起到“模型选择”的作用,即从假设空间中选择出更符合现实规则的模型。其实,贝叶斯学习中的“先验(Prior)”这个叫法,可能比“归纳偏置”更直观一些。

归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理,即希望学习到的模型复杂度更低,就是一种归纳偏置。另外,还可以看见一些更强的一些假设:KNN中假设特征空间中相邻的样本倾向于属于同一类;SVM中假设好的分类器应该最大化类别边界距离;等等。

在深度学习方面也是一样。以神经网络为例,各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络中,我们假设特征具有局部性(Locality)的特性,即当我们把相邻的一些特征放在一起,会更容易得到“解”;在循环神经网络中,我们假设每一时刻的计算依赖于历史计算结果;还有注意力机制,也是基于从人的直觉、生活经验归纳得到的规则。

在自然语言处理领域赫赫有名的word2vec,以及一些基于共现窗口的词嵌入方法,都是基于分布式假设:A word’s meaning is given by the words that frequently appear close-by. 这当然也可以看作是一种归纳偏置;一些自然语言理解的模型中加入解析树,也可以类似地理解。都是为了选择“更好”的模型




  

相关话题

  未来20年,新技术将从哪些方面改变人的消费方式? 
  深度学习到底是「实验科学」还是「理论科学」?能否称为「算法」? 
  有哪些贝叶斯推理入门的书籍? 
  如何理解深度学习中的deconvolution networks? 
  与其让计算机拥有人类的模糊思考,为什么不想办法让人类拥有计算机的高速计算能力? 
  英特尔斥资 20 亿美元收购 AI 芯片公司 Habana Labs,此举会产生哪些影响? 
  如何评价各种关联因素分析算法,尤其是在算法效果对比方面? 
  如何看待华为 4 月 25 日发布的盘古智能大模型?在这个行业处于什么水平? 
  人工智能可以和我的世界之类的游戏结合吗? 
  使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法,两者分别有什么优缺点? 

前一个讨论
今天看到“人工智能没有欲望,只有人工智能管理人类社会才能实现大同社会”这句话,想听听大家怎么说?
下一个讨论
为什么CPU主频一般都比FPGA快,但是却说FPGA可以帮助CPU加速?





© 2024-05-15 - tinynew.org. All Rights Reserved.
© 2024-05-15 - tinynew.org. 保留所有权利