听觉与视觉存在相互干扰吗？ 第1页

毫无疑问，听觉与视觉是存在干扰的。有时主要体现在视觉会干扰听觉。这种干扰并不一定全是有害的。

例如著名的“腹语效应”。腹语效应指的是，无论声源是什么，听音者往往不会注意到声源方向与视觉方向的矛盾。由于房间反射的影响，有些时候一个人说话的听觉感知声源位置并不在这个人的视觉位置上。但人类的大脑的高级感知处理会将会把听觉感知声源位置修正到视觉感知的位置。

再比如在家庭影院或电影院中，大部分人物对话都是从中置音箱所在的中央声道发出的，但荧幕中的人并不总是在屏幕的正中间，很多时候，位于偏离正中心的一定范围内的位置。例如电影中银幕上显示一个位于左前方一定位置的人和一个右前方一定位置的人交谈。但所有这部分交谈的人声都从正前方的中置音箱发出，可是观众还是可能会听到声音从两个位置发出，空间中左右两个人在交谈。（但是对于盲听或者没有画面的HiFi单声道，就不会出现这种现象）这种腹语效应减少了混音师在编辑电影音轨时的工作量。

腹语效应也被称作视觉缩放效应。这是由于视觉感知在整个这一过程中具有更高的优先级。

Tsay（2013）在一个非常不同但相关的话题中测试了一个流行的概念，即“声音是评估音乐表现的最重要信息来源”。他发现，无论是新手还是专业音乐家，在无声观看音乐比赛视频时，都比只听或同时看和听更能识别预先录制的现场音乐比赛的获胜者。也就是说观看无声音的音乐表演视频，最能够区分声音表现的优劣。研究发现，音乐表演的评价主要取决于手势的视觉影响，而不是听觉因素。难怪，音箱的视觉美感决定了我们对它们发出的声音的反应。

过去有实验表明，两个声学上完全相同的音箱，只不过是因为颜色不同，也会有人觉得颜色鲜艳的音箱比颜色暗淡的音箱好听。

这意味着，即便声音一模一样的，在盲听和客观测试中也听起来一模一样的的两个音箱/耳机。在现实世界，外观好看的很可能听起来也更好听。

进而，如果当我们看到产品时，联想到一些关于产品的marketing story或圈子内的言论，例如艺术调音、工匠精神、模拟味等等，并对此深信不疑，就有可能会听到marketing的声音，受到这些信念的影响。

marketing story和坊间传说会干扰很多人对声音的判断。即使主观上没有任何撒谎的意愿。

进而，还有更神秘的线材等器材的一耳朵区别，远超人类极限的耳放推力大、DAC一耳朵提升、声音更细腻更有音乐感等等。

人类行为的一个显著但令人沮丧的特点是，我们在某些事情上能够显示出“心理控制事实”的支配地位。在医学界，信仰的力量可以缓解症状，甚至可以影响治疗。在品酒时，一个著名的标签或者高昂的价格会使人们更偏向于这些产品。而在音频领域中，有许多类似的例子，听音者在声音中听到了和声音特性不相符的声音，或者完全不存在的声音。如果一个人相信声音有差异，那么就有可能听出声音的差异。即便冲击耳膜的声波没有差异，但大脑的感知过程判断存在差异。双盲听测试表明没有差异，但一些人会认为是测试数据错误了，而不是声音真的没有变化，这就是信仰的力量。一些音频测评人提出了这些想法，以及拥有这些神秘力量的产品，从而进化出了一群人所描述的“基于信仰的声音”。——《声音的重现》第三版

人类的听觉可能受到非听觉因素的干扰，例如视觉本身就可能会干扰听觉。而视觉获取产品信息从而由过去接收到的marketing story对“听”到的声音的影响则可能会更严重。

这也是为什么通常音频相关公司都会花大价钱投放在所谓自媒体、测评媒体、论坛水军营销上以及广告宣传中的反复洗脑，甚至很多产品的营销费用已经超过了研发费用。因为这确实会实打实的影响目标消费群体对产品声音的判断。往好了说，这叫做精心设计的心理声学实验。

不过幸运的是，剥离视觉干扰的听觉实验可以以双盲听的方式进行。双盲听也很容易揭示一些人听觉与在视觉因素影响下“听”到的东西的区别。

然而有时对于一些深受marketing story和广告/发烧言论的人来说，可能双盲听会与平时带有视觉干扰的听觉印象产生巨大差异。例如发烧圈的人经常能听出发烧线材、天价DAC、耳放推力等等的一耳朵区别，或者用入耳式耳机听出歌剧院音乐厅的声场、xx耳机适合听古典、一分钱一分货等等。

对于音频回放系统而言，影响声音的主要因素是音箱/房间、耳机。

而一些人陷入的太深了，以至于主观上选择压制住听觉系统本身的判断，不承认盲听或听力测试的结果，继续用视觉因素代替听觉因素。这也就是音频行业内常说的，一些人其实是在用眼睛看声音（品牌logo、价格标签、广告营销等）。而比较讽刺的是，同样是看，也许对于一些人来说，经过双盲测试下心理声学验证具有显著相关性的频响曲线反而更能揭示出声音和听觉感知。。。

撰文 | 东华君
编辑 | 赛先生
“脑人言”版本：感觉之间会相互影响吗？
“赛先生”版本：感觉之间会相互影响吗？

我们人类拥有五种公认的感觉：视觉、听觉、触觉、嗅觉和味觉。这些感觉被分成不同类型，是否意味着它们之间“老死不相往来”？

有人说自己摘下眼镜之后听力下降了，还有人说自己能够听到彩虹的颜色，这些是谣言，还是其中自有科学道理？

神奇的“elephant juice”

首先，我们来做一个有趣的实验。方法很简单，找一个小伙伴，面对面坐好，然后对他/她说句“elephant juice”——说的时候不要发出声音，只做出嘴型便可。

你的小伙伴“听”到了什么？这时，对方的答案多半很有趣。虽然你说的是“elephant juice” ，但是对方大概率会认为你说的是 “I love you” 。

原因很简单，因为当我们说 “elephant juice” 和 “I love you” 的时候，嘴型的变化非常相似。由于后者对于我们而言更为常见（大象汁是什么？脑洞好大哈哈哈），我们的大脑便很容易根据嘴型产生误判。

图1. 电影Elephant Juice（1999）海报 （图片来自网络）

这一实验，可以很直观地向我们传递一个有趣的信息：我们接收到的某些信息不是来自单一感觉，而是多种感觉整合的结果。并且，如果我们将这些感觉信息进行分离的话，可能会对我们大脑的判断产生误导。

多感觉整合能增强已获取的信息

这些现象涉及的原理被称为“多感觉整合”（multisensory integration），是神经科学和心理学领域比较有趣的一类研究。多感觉整合主要研究来自不同感觉方式的信息——例如视觉、听觉、触觉、嗅觉、味觉和自我运动——被神经系统整合的过程。

由于长期生活在包含了各种刺激信息的丰富环境，动物和人类早就进化出了一整套健全又高效的多感觉整合机制。该机制是适应行为的核心，影响着我们生活的方方面面，可以说无所不在。

既然多感觉整合这么普遍，为什么我们平常感觉不到呢？

图2. 单一感觉信息强度越弱，多感觉整合越明显。右侧图片中绿色的有核物体表示神经细胞，周围的竖线则是神经细胞的活动强度。（图片来源：参考资料2）

最主要的原因大概是它太普遍了，我们早已习以为常。

另一个有趣的原因是，多感觉整合的强度大小与单一感觉的强弱有很紧密的关系。简单地说，当单一感觉比较强时，多感觉整合后增加的强度相对较小，不易被察觉；当每个单一感觉都比较微弱时，多感觉整合后增加的强度相对更大，甚至要大于之前两种感觉强度之和。日常生活中的单一刺激信息（视觉）通常比较强，可能会导致多感觉整合不易被察觉。

图2描述的是在大脑中参与多感觉整合的一个关键脑区——上丘（superior colliculus）中的神经细胞对视觉和听觉信息整合的反应情况。当一只狗在远处时，我们同时看到它的移动，听到它的叫声，脑中神经细胞对多感觉整合信息的反应强度要远大于只接收单一感觉信息（看到/听到）的情况。而当它趴在我们窗户上时，因为单一感觉信息都变得特别强烈了，这种多感觉整合虽然也会存在，但是增加的强度会相对降低，不易被察觉。

图3. 听、说、读、写同步发展有助于学习语言（图片来源：Eye primary school）

上面这个例子说明了多感觉整合能增强（和减弱）已获取信息的能力。这也是我们在学习新的事物时一直强调多感觉信息输入的原因之一。比如，学习语言的时候老师就一直强调：听、说、读、写一样都不能落下（图3）。我小时候就不理解为什么要这样做，背单词的时候总有一个疑问：为什么看到单词后还要读出来，在心里默念不就行了么？事实证明，单独看或者听的效果不如双管齐下。可惜的是，我在读了神经生物学博士之后才深刻地体会到这一道理。

多感觉整合能创造新的信息

有趣的是，多感觉整合机制不仅可以强化信息，还能创造新的信息。

一个著名的例子是心理学中被称为“麦格克效应”（McGurk effect）的经典概念。“麦格克效应”说的是语音感知过程中听觉和视觉之间存在相互作用：有时人类的听觉会过多地受到视觉的影响，从而产生错误的认知（视频1）。

视频1. “麦格克效应” （视频来自网络）

在这个视频里，单独的看/听的话，我们会发现这位男士做出的是“ga ga ga”的口型（视觉信息），声音是“ba ba ba” 音节（听觉信息）。但是如果同时接收视觉和听觉信息，我们的大脑就会觉得听到的是“da da da”的音节。

“麦格克效应” 虽然很出名，但是并不常见。大家最熟悉的例子可能是大脑产生味道（taste）的过程。事实上，我们老早就已经有所体会——小时候，妈妈会捏着鼻子给我们喂药，告诉我们这么做能让药变得不那么苦。现在回过头来想想，不少人可能会觉得挺奇怪：鼻子里面又没有味觉感受器，怎么还可以 “闻” 出酸甜苦咸鲜？

图4. 捏着鼻子吃药能降低我们对“苦”的感觉（图片来自网络）

这正是多感觉信息在脑内整合的结果——关于药物的味觉、嗅觉、视觉信息经过舌头、鼻子、眼睛等感觉器官的收集之后，会在脑内汇聚、整合，形成一种全新的、包含了多种感觉信息的味道。这一味道理论上还会受到之前记忆中的信息的影响。

虽然长大后的我们不会再有捏着鼻子吃药的体验，但闻出味道的情况仍然存在。每当我们感冒或者鼻炎发作的时候，胃口就会不好——吃菜时只能感觉到咸淡，完全体会不到饭菜往昔的美味，甚至会产生“味同嚼蜡”的感觉。这正是由于鼻子失灵导致嗅觉信息获取受阻，进而导致我们无法感知饭菜“全方位立体化”的味道。所以说，我们对一道好菜要求色、香、味俱全，一点都没毛病~

如何使用多感觉整合机制欺骗大脑？

既然明白了个中缘由，我们便可以通过一些特殊的手段来操控我们的“信息处理系统”，让大脑“上当受骗”。相比日常生活中的衣食住行，有些特意设计的实验/方法更能够让我们明显地意识到多感觉整合信息的存在。

比如，我们小时候看的少儿节目中，主持人经常拿着一个可以套在手上的小玩偶，通过操控这些玩偶的嘴巴，再加上自言自语，便能制造出和它们对话的感觉。长大之后我们可能会觉得这很幼稚，但在当时，这的确丰富了我们对童话故事的憧憬和想象。

这个做法便是对多感觉整合机制的运用。心理学上将这种声音线索的错误定位称为“口技效应” （ventriloquist effect）：我们大脑所感知到的声音线索的位置，会被明显的视觉线索引导到其所在的地方。小玩偶的话虽然是从主持人的嘴里说出来的，但是玩偶们一张一合的嘴巴却是一个强烈的视觉信息， “欺骗” 了大脑，使我们认为话是从玩偶的嘴里说出来的。

图5. 为什么大脑会认为这些玩具会说话？（图片来源：Muppet Wiki）

这一效应另一个常见的应用是在电影院。电影院的音响来自于放置在不同方位的音箱，可能在大厅两侧、观众的身旁或者座位下面。但是当我们看到银幕上的演员说话时，会不由自主地相信声音出自演员之口。这正是因为强烈的视觉刺激导致我们的大脑误认为声音来自银幕。

这些有趣的现象被统称为“交叉模式错觉（cross-modal illusions）”，指的是不同感觉的整合会导致大脑对真实刺激信息的认知产生偏差。现实生活中任何两种，或者多种感觉信息在特定的情况下都可能发生整合现象。

我们可以通过一个简单的实验来亲身体验更不易察觉的，触觉和听觉的相互作用。具体的做法是先在黑板上写一些字，然后擦掉，带上耳机隔绝写字时的声音，再在同样的地方写上完全相同的字。当你无法听到粉笔在黑板表面上发出吱吱声响时，即使用的是相同的黑板和粉笔，书写的时候也会明显地感觉更顺畅。很显然，书写时发出的声响（听觉）会影响我们对书写过程中手感（触觉）的感知。

除了上面举的这些例子，多感觉整合机制其实早已以各种各样的形式进入了我们的生活，只是很多都还没有被我们意识到。比如，一些有趣的研究表明，我们的大脑会认为装在白色杯子里的咖啡显得味道更淡，吃的时候发出嘎嘎声响更大的薯条味道更新鲜等等。

正似如此，还有许多有趣的神经科学和心理学知识普遍存在于我们的日常生活中，相信我们能通过明亮的眼睛去发现更多。智慧地运用这些知识还可以便利我们的生活，毕竟，说“elephant juice”容易多了〜

主要参考资料：

1.B. Bonath et al., Neural basis of the ventriloquist illusion. Curr Biol 17, 1697-1703 (2007).

2.B. E. Stein, T. R. Stanford, Multisensory integration: current issues from the perspective of the single neuron. Nat. Rev. Neurosci. 9, 255-266 (2008).

3.H. McGurk, J. MacDonald, Hearing lips and seeing voices. Nature 264, 746-748 (1976).