不会过拟合这个说法是不正确的
不信请看
...
....
----并不奇怪的分割线-----
玩笑开够了可以谈谈正事,过拟合这个讨论范围太大,我们不妨缩小范围,看object recognition会不会过拟合
其实人的object recognition是hierarchical的,基本上就是线条逐渐拼接变成各种简单的多线条,然后这些多线条继续拼接成更复杂的东西,这些东西里有人脸,或者其他东西比如汽车什么的。这些“滤镜”,就是你判断是不是看到了张三还是李四还是法拉利还是菊花或者是耶稣的标准。
Hubel & Wiesel, Receptive fields and functional architecture of monkey striate cortex
http://www. ncbi.nlm.nih.gov/pmc/ar ticles/PMC1557912/pdf/jphysiol01104-0228.pdf https://www. youtube.com/watch? v=jw6nBWo21ZkMaximilian Riesenhuber & Tomaso Poggio, Hierarchical models of object recognition in cortex
http:// cbcl.mit.edu/publicatio ns/ps/nn99.pdf这些连接之所以能连接是靠训练得到的,你整天盯着耶稣看到处都是耶稣。整天盯着脸看到处都是脸。这就是过拟合了。
记得高中的时候有一次考试,穿了件新的蓝衬衣,考好了。
下次考试又穿了那件蓝衬衣,考的更好了,印象中是全班第一(在美国考美国文学那是)。
期末考试的时候,蓝衬衣正好洗了,结果考砸!
这类现象反复发生过好几次,我应该攒了得有十来个数据点。记得有一次考化学故意没有穿,想反正我也不在乎,结果果然考砸了。
从此以后,我开始碰到考试,做presentation,paper ddl等『上了规格』的事情,都穿那件蓝衬衣。现在已经穿出补丁了!
请同学们看到我穿那件蓝衬衣讲poster的时候不要笑:)
----------------------------------------
为了证明自己不是逗比,我来仔细说下这背后的思考。
在很多任务上,人是不容易overfit的,比如视觉。一是因为生物进化这么久,视觉的prior已经很发达了,就像
@Xun Huang说的。二是因为我们的视觉样本量大,虽然监督弱。人类unsupervised learning的能力的确是很强的。
然而出了这个范围,人还是很容易的overfit的。比如我考试。这是最近一千年才有的一个新鲜事,虽然事关生存,但我们还没能进化出来好的prior。二是样本量的确小,像我顶多也就考过一百次。另外它的机制复杂,复习的好不好,掌握的扎不扎实,前一天晚上睡得好不好,对出题者摸得准不准,有时候都不如粗心算错一个数重要。所以考分怎样的确是一个超高维空间的复杂函数,是用一百个数据点无论如何都不能拟合的。最后它噪音大,比如阅卷老师心情。。。这种distribution,人会ovefit,机器也会。千百年来,凡是符合以上几个条件的,比如天文占卜,国事战争,婚姻嫁娶,升官买房,我们都形成了很多『迷信』,其实就是overfit的模型,有的还一代一代传了下来:)
抽象出来讲,overfitting的理论关心的都是model class和sample size这两个东西。只要人不能比机器选出更合适的model class(with prior knowledge),获取更大的sample size,人在overfitting面前也同样脆弱。
有啊所有和想象力有关的东西基本都是过拟合,比如那个叫星座的东西,还比如各国的神话。什么玉兔牛郎织女,干旱和发洪水是上天的惩罚,太多了。。。
又比如说空耳也是过拟合
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有