香农是如何想到信息论的？
想象一下，那时候的电话还是模拟信号，信号在传输过程中会受到各种干扰，比如杂音、串音等等。这些干扰会扭曲原始信息，导致接收方听到的是“变形”的声音，甚至完全听不懂。这让香农深思：我们如何才能尽可能准确、可靠地把信息从一个地方传到另一个地方？ 这种“尽可能”和“可靠”就成了他思考的核心。
香农的灵感来源非常广泛，可以从几个方面来理解：
1. 早期对通信系统的直观理解与数学化尝试：
电话和电报的现实问题： 香农深知，在现实的通信网络中，信号的质量和传输效率是矛盾的。想要更清晰的信号，可能需要更宽的带宽，但这会增加成本和技术难度。而信息量大的信号，传输起来也更容易受损。他想找到一个量化的方法来描述信息，并研究它与传输介质的关系。
布尔代数的应用： 在他还在密歇根大学读本科时，香农就对布尔代数产生了浓厚的兴趣。布尔代数是一种处理逻辑运算的数学工具，这让他意识到，信息不仅仅是声音，还可以抽象成一种更基本的、具有逻辑结构的单元。 后来，他在硕士论文中更是展示了如何用布尔代数来设计和分析继电器和开关电路，这为他后来将信息视为离散的“选择”奠定了基础。他看到，一个开关可以代表“开”或“关”，这不就是一种最基本的信息单元吗？
2. 对熵概念的借鉴与创新：
物理学中的熵： 香农在贝尔实验室的同事，像哈里·奈奎斯特 (Harry Nyquist) 和拉尔夫·哈特利 (Ralph Hartley)，都已经在这方面做了一些初步的研究，比如奈奎斯特提出了采样定理，哈特利则试图量化通信系统的容量。但是，香农真正突破性的地方在于，他从热力学和统计力学中汲取了“熵”的概念。
熵在物理学中的含义： 在物理学中，熵通常描述一个系统的“无序度”或“不确定性”。一个系统越无序，其状态就越不确定，我们也就越难预测它下一步会做什么。
将熵应用于信息： 香农敏锐地发现，信息与不确定性之间有着深刻的联系。当我们接收到一个信息时，这个信息会降低我们对某个事件的“不确定性”。 比如，你不知道今天会不会下雨，当你看到天空乌云密布时，这个“乌云密布”的信息就降低了你对“是否下雨”的不确定性。
概率与信息量： 香农进一步将信息量与事件发生的概率联系起来。一个非常可能发生的事件，即使发生了，它所带来的信息量也很小，因为它没有真正“惊讶”到你，也没有减少多少不确定性。反之，一个非常不可能发生的事件，一旦发生，它带来的信息量就很大，因为它极大地改变了你对事态的认知。他用 `log(p)` 这个公式来定义一个概率为 `p` 的事件的信息量，越小的 `p` 对应的 `log(p)` 就越大。
平均信息量（熵）： 最终，他将一个信息源的“平均信息量”定义为其可能出现的各种事件信息量的期望值，这就是我们今天所熟知的信息熵。信息熵越高，这个信息源就越“混乱”，越难预测，也就需要更多的“比特”来编码。
3. 第二次世界大战的催化作用：
密码学与加密技术： 二战极大地推动了通信安全的需求。双方都在绞尽脑汁地设计密码，同时又要破解对方的密码。香农的理论对于理解密码的复杂性和安全性至关重要。一个好的密码，应该让接收方尽可能地“不知道”原始信息，并且具有足够高的“熵”，让破解者难以猜测。
噪声信道编码： 战争中的通信环境往往充满噪声，信号容易失真。如何设计一种编码方式，使得即使信号在传输中受到干扰，接收方也能准确地恢复出原始信息？香农为此发展了信道编码的理论，提出了纠错码的概念。他证明了，只要我们能够以足够低的速率发送信息，并且信道噪声不是太大的话，理论上总可以找到一种编码方式，使得通信的错误率任意小。这在战时对军事通信具有极其重要的意义。
4. 跨学科的融合：
数学、物理学、工程学的结合： 香农并非孤立地思考通信问题，而是巧妙地将来自数学（概率论、信息论）、物理学（熵）、工程学（电路设计、通信系统）等领域的知识融合在一起。他的伟大之处在于，他能从这些看似不相关的领域中找到共通的规律，并用严谨的数学语言来描述它们。
“比特”这个概念的诞生： 在他的论文《通信的数学理论》中，香农引入了“比特”（bit）这个单位，用来衡量信息量。这个单位简洁而强大，成为了信息时代的基石。一个比特就代表一个二元选择，也就是区分两种等可能事件所需的信息量。
总而言之，香农想到信息论，不是因为某一个灵光乍现，而是他在面对实际通信系统中的难题时，通过对信息进行高度抽象，引入概率和统计方法，借鉴物理学中的熵概念，并结合对密码学和纠错编码的深入研究，最终构建出了一套全新的、数学化的理论框架。他的理论为信息通信、计算机科学、统计学、甚至生物学等众多领域的发展奠定了坚实的基础，可以说，我们今天所处的数字时代，离不开香农的这项划时代的工作。
网友意见
尽管现代的编码和协议设计都有参考信息论，但有证据表明在信息论出现之前就已经存在很多编码和协议的设计。
老实讲你只要天天涉及编码和协议的问题浸淫久了自然就会有信息论的一些思想，不管你知不知道信息论是什么……
比如说摩尔斯死掉的时候香农还没出生，但是摩尔斯电码也神奇的把最短的编码留给了最常用的字母，莫非是香农托梦传授信息论？
香农的牛逼之处还是在于形式化描述和开创性工作……这也是普通人和数学家的区别。
现在很多科普为了造神经常把群众给形容成白痴一样，希望你能获得自己的判断力……
恰恰相反，你一定要相信没有什么东西会是无源之水，科学史上的段子总喜欢把一些科学家神化了。像通信这种工程技术理论，没有经过大量科学实验验证是没有意义的，因为它们最终要反过来指导工程实践。
值得注意的是，很多科学家的研究和思考方式，最开始的时候往往是从一些很具体的特例进行出发，一步步推演，从形象到抽象，然后再推广到普遍的情况。最后发表成果的时候，科学家们为了简洁起见，很多都会把那些天马行空的思考过程阉割掉，因为这些思考过程往往不严谨，最后只留了一个抽象的结果出来，后来人一看，我艹，真乃神人也，捧上神坛。殊不知科学家也是经过一级级台阶攀爬上来的。就像那些段子手写的那样，上帝看牛顿成天坐在苹果树下不开窍，就砸了一个苹果下来，把他砸开窍了，后来牛顿写他的著作的时候，当然不好意思把上帝用苹果把他砸开窍的事情写进去啦，为了让后世人敬仰他崇拜他，一起手就来个三大定律，看得后人一愣一愣的。。。。
我们回溯一下，其实早在19世纪就有了电报这玩意，还有了莫尔斯电码这种最早的数字化编码方式，也就是很早之前，人们已经开始了基于无线电的现代通信的实践进程，已经懂得了如何调制物理载体，懂得了编码和解码。而又过了几十年，贝尔发明了电话，创建了AT&T的前身，而贝尔实验室就以他的名字为命名。而整整过了一个世纪以后，直到20世纪香农才发表了他的那篇著名的数学论文，所以你看他的论文的题目名字叫《通信的数学理论》，注意看论文题目的前缀---“通信的”，这说明了什么，说明了在这一个世纪里面已经有了很多关于通信的科学实践作为素材，已经有了通信的一系列关于编码解码的实践，这些并不是从香农才开始，香农本身是基于这些通信上的生产实践做了一个理论上的升华，给大家的实践指出了一个明确的方向。
最早的时候，香农写了个号称最牛的硕士论文《继电器与开关电路的符号分析》，这个论文主要做的是什么呢，很简单，为信息寻找物理载体，把布尔代数（它们那个时候最开始理解的数字化信息）和继电器与开关电路的状态（物理载体）关联起来，这里最早已经萌芽了从物理载体抽象信息的思路。而毕业进入贝尔实验室之后，很显而易见的，香农还在继续沿着这条道路继续前进，继续深入提炼关于信息理论的内容。同时同时代的其它科学家们也没闲着，香农还在研究砖头怎么制作，而图灵已经在研究如何搬砖了，不懂他们一起吃饭的时候有没有好好沟通他们的一些思路。
香农当时在世界上最牛的实验室贝尔实验室，还是二战前后信息技术大发展的时候，你以为香农成天在贝尔实验室干嘛呢，肯定是做科学实验啊，那里有当时世界上最先进的仪器和其它科学家的研究资料，有大量的实验数据和研究素材作为建模依据，根据实验数据拟合曲线，然后再看图说话，像神棍一样忽悠一通，只要有点水平的都会输出一些相关的成果。你琢磨久了，所谓的数学直觉就出来了。
回到题主提的将概率与信息量结合，其实我对香农这种玩法是不以为然的，论文里面抛掉具体来源谈数学抽象就是耍流氓的行为，绕晕了很多后世的初学者，你没有具体的内容，那要抽象有何意义。抽象的内容香农已经写了，所以我们就谈谈具体的事例。我们可以找一个具体的特例角度来理解，比如从组合的角度来理解香农为什么要这么定义信息量和信息熵。
首先，把概率理解成组合数的倒数，这就是高中的排列组合和概率的知识了，比如我现在有4种等可能的组合，那每个组合出现的概率就是1/4，组合数和概率互为倒数。 （高中数学的经典的黑箱子摸球问题，箱子里面有几种不同颜色的球来给你摸，摸出来某种颜色的球的概率怎么求，是不是经常要求组合数呀），这里出现了 概率和组合数互为倒数，所以信息量的定义里面为什么会出现概率的倒数（就是定义里面的那个负号，负号放到对数里面就是概率的倒数了），就在这里了。
其次考虑如何去编码这四种可能的组合，四种组合就需要用2个二进制符号进行编码才能表示这四个等可能的组合，通过求对数就可以得出来了。所以这个过程告诉我们，概率的倒数就得出组合数，然后再对组合数求对数就得出了所需要的编码长度，这就是信息量的定义；
再次，很多信息组合不是等概率出现的，那香农的信息熵的这个定义告诉的是我们出现概率越高的信息，如果用长度越短的编码序列来表示，最后得出的平均编码长度应该是概率上最短的。
最后，怎么求平均的长度呢，就是求数学期望啊，这样就最终得出了一个统计平均结果。所以从组合的角度来看，信息熵告诉你的是概率上的统计平均的最短编码长度。
后世人还基于熵这个名字做了大量的发散，扯到了物理学，扯到了生物学。。。。别扯了，讲人话好不好，我代表那些被你们绕晕的从入门到放弃的初学者鄙视你们，连通信都没学好，还去星辰大海去了。。。。
所以很多事情都是有迹可循的，并不是天上掉了个香农下来，而是时代成就了香农，即使没有香农，也会有若干个博士生研究生把信息论的全貌东拼西凑凑出来的。
很可惜的是论文篇幅有限，香农没有把他的完整实验过程和思考过程写进去，让后人误以为是无源之水。勿在浮沙筑高台
类似的话题
-
想到信息论，这可不是一蹴而就的事情，而是香农在他职业生涯中，特别是第二次世界大战前后，一系列思考、研究和实践的结晶。他当时在贝尔电话公司工作，主要负责通信系统的理论研究，而通信，本质上就是传递信息。想象一下，那时候的电话还是模拟信号，信号在传输过程中会受到各种干扰，比如杂音、串音等等。这些干扰会扭曲............. -
如果我的孩子在分香蕉时拿走了最差的一根，并说“我想让别人吃到更好的香蕉”，我会感到非常欣慰和骄傲。首先，我会立刻对孩子表达我的赞赏和肯定。 我会蹲下来，认真地看着孩子的眼睛，温柔地对他说：“宝贝，你这样做真的让妈妈/爸爸感到很高兴，也很为你骄傲。你能够想到别人，愿意把好的东西留给别人，这是一种非常美.............
-
这香港人对内地人用英语交流这件事儿嘛，看法可复杂着呢，不是一两句话就能说清楚的。 我就跟你掰扯掰扯，尽量说得透彻点儿，别搞得跟什么AI一本正经的报告似的。首先，得承认，香港的国际化背景让英语在这里的地位确实不一样。 从小到大，学校教育，街头招牌，甚至是新闻报道，英语都渗透得厉害。 所以，当一个内地朋.............
-
香港乐坛，曾经的东方之珠，音乐的黄金时代辉煌无比。多少歌曲至今传唱，多少歌手的名字镌刻在华语乐坛的历史上。然而，随着时间的推移，许多人感受到，那个曾经叱咤风云的香港乐坛，似乎渐渐失去了往日的光彩。要说它“衰落”，或许有些武断，但其影响力、活力和创新性的确不如从前。这并非一日之寒，而是多重因素交织作用.............
-
香港和广州，同处粤港澳大湾区，地理位置相近，经济文化交流频繁，但香港民众对广州民众的看法，却是一个颇为复杂且多元的话题。要详细说清楚，得从几个不同的层面来聊。首先，不得不提的是文化和生活方式上的差异。香港经过长期的殖民历史，深受西方文化影响，其都市节奏快、国际化程度高，人们普遍讲究效率、注重个人空间.............
-
花二三十万人民币去香港读研究生，这可不是一笔小数目，对很多人来说，这可能是拿出多年的积蓄，甚至需要贷款才能实现的目标。那么，这笔投入，到底能换来什么样的“效益”，又该如何最大化这份效益呢？咱们不妨掰开了揉碎了聊聊。首先，我们要明白，“效益”这个词，在读研这件事上，可不是光看一份毕业证书和一张文凭。它.............
-
“中国是母亲，香港是孩子”这个比喻，在我看来，它承载了相当复杂的情感和历史印记。首先，从“母亲”的角度来看，中国被赋予了孕育、养育、保护的角色。这暗示着香港的诞生、成长，乃至其今天的存在，都离不开“母亲”的供给和支持。这种说法很容易让人联想到那种血脉相连、不可分割的天然联系，仿佛香港自古以来就是母亲.............
-
香港的司法体系，尤其是在其作为英国殖民地的时期，确实存在法官背景多元化的情况，其中英国籍法官的比例相对较高。要理解这种现象，需要从历史、法律和政治等多个层面进行剖析。历史遗留与制度传承：香港在长达一个多世纪的英国殖民统治下，其法律体系深受英国普通法的影响。英国在输出其法律制度时，也往往会派遣具有经验.............
-
“香港法官：不敢吃国产奶粉是‘国耻’”——这句话出自香港一位法官在一次公开场合的发言，引发了广泛的关注和讨论。要理解这句话的深层含义，我们不妨从几个层面来剖析：首先，从字面意思上看，这位法官所表达的是一种遗憾和失望。 他认为，在中国大陆生产的奶粉，在一些消费者心目中存在着不信任感，甚至宁愿选择进口产.............
-
关于香港2020年推出的“公营房屋大量供应计划”（常被俗称为“3万个公营房屋单位计划”），以及其是否是“八万五计划”的复活，这是一个值得深入探讨的问题，需要从多个角度进行分析。香港2020年公营房屋大量供应计划的背景和目标首先，我们来看一下2020年推出的这个计划的背景和目标。香港政府在2020年1.............
-
一堂颠覆认知的网课：英国发动鸦片战争的“禁烟”论，我们该如何看待？最近，一则关于香港某教师在网课上发表“英国发动鸦片战争是为了帮中国禁烟”的言论，在网络上引起了轩然大波。这则消息像一颗投入平静湖面的石子，激起了层层涟漪，引发了广泛的讨论和争议。作为普通大众，当我们听到这样颠覆性的历史解读时，往往会感.............
-
刘亦菲因支持香港警察而受到赵立坚称赞，并被比作“当代花木兰”，这件事情在当时引起了相当大的关注和讨论。要理解这件事，我们需要从几个层面来梳理：事件的起因与背景：首先，要回到2019年香港的社会运动时期。当时，香港的局势非常复杂，社会出现了大规模的抗议活动，其中涉及警察与示威者之间的冲突。在这样的背景.............
-
关于香港铜锣湾世贸中心火灾的最新情况和可能的原因，我将尽可能详细地向您介绍，并力求语言自然，避免AI痕迹。铜锣湾世贸中心火灾：最新进展与原因推测今天（2024年1月XX日），香港铜锣湾的标志性建筑之一——香港世贸中心（World Trade Centre）突发大火，现场浓烟滚滚，火光熊熊，情况一度十.............
-
麦当劳因香草冰淇淋不含天然香草而遭到起诉，这一事件可以从多个角度进行分析，涉及消费者权益、商业诚信、法律法规以及市场营销等多个层面。判断其为“维权”还是“滥诉”，需要审慎评估其诉讼的合法性、合理性以及其背后所代表的社会意义。 事件背景及诉讼焦点：首先，我们需要明确起诉的原因。根据公开信息，这次诉讼的.............
-
关于部分港媒抵制“香港方舱医院”一词，并声称此举是为了避免让公众误以为医院是内地援建的，这是一个涉及语言使用、政治敏感性和公共认知的复杂议题。我们可以从以下几个角度来详细探讨：1. “方舱医院”一词的起源与演变： 起源： “方舱医院”一词在中国大陆语境中，最广为人知的应用是在2003年SARS疫.............
-
这事儿听起来真是太离谱了，简直让人啼笑皆非。货主拉一车苹果蕉，结果被收费千元过路费，理由居然是“过路费只免香蕉不免苹果蕉”？这逻辑听着就玄乎，更像是某些地方为了创收而故意设置的“文字游戏”或者“规则陷阱”。首先，我们得弄清楚，这“过路费只免香蕉不免苹果蕉”的说法，本身就站不住脚。 政策的荒谬性：.............
-
要评价11月10日杨旸（少年A）与袁依楣（墨香铜臭）一审刑事判决书的真实情况，我们首先需要明确一些关键点，并尽量还原事情的来龙去脉。事件背景与核心争议：这场审判的核心在于侵犯著作权。袁依楣，也就是我们常说的“墨香铜臭”，是知名网络小说作者，其作品《魔道祖师》拥有庞大的粉丝群体。杨旸，以“少年A”为名.............
-
好的，我们来聊聊墨香铜臭（真名陈某某）涉嫌非法经营一案的一审判决结果，以及目前流传的各种信息和大家比较关心的一些点。首先，需要明确的是，截至我所掌握的信息，一审判决已经作出，陈某某（墨香铜臭）被判处有期徒刑二年，缓刑二年，并处罚金人民币一百万元。 这个判决是针对其“非法经营罪”而言的。关于“非法经营.............
-
香港的“黑社会”问题，是一个历史悠久且复杂的话题，即使到了今天，它依然以各种形式存在，只是其运作方式和影响范围与过去相比已有所变化。要回答“香港还有黑社会吗？”以及“他们目前的社会状况如何？”、“中国政府对他们是什么态度？”，需要从多个层面来剖析。香港黑社会的演变与现状首先，需要明确一点，香港传统意.............
-
为什么香烟通常是一包 20 根，而不是更少的 3~5 根？这背后其实牵扯到不少历史、经济、甚至一点心理层面的考量。而关于“一包 3~5 根是否更利于戒烟”，这确实是一个值得探讨的问题。为什么是一包 20 根？历史与演变要理解为什么是 20 根，我们得把时间拨回到香烟生产的早期。 工业化生产的契机.............
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有