有人说前三章难懂，读过4、5、6章的人笑了，
有人说4、5、6章烧脑，读过7、8、9章的人笑了，
有人说，读《信息简史》简直上贼船了，领读人笑了……
马上就要登顶了，第9章是脑力挑战的顶峰，我们喘口气，这次只读7&8。
第7章 信息论（我想要的不过只是一颗寻常的大脑）
这两章的线索，就藏在括号中的这句话里，这两章所描绘的就是人类为了建造“寻常大脑”而付出的努力。人类真的很不让上帝省心，圣经旧约加新约，就是说的上帝与人立的七次契约，最终人都违背了，你瞧，现在人又要自己建造自己的大脑了。
由于我们至今并不彻底了解大脑的具体运作机制，所以要想建造大脑，只能从外部模拟其功能，也就是要用我们天然的大脑，想出一套方案，用机器实现这套方案，那么这样的机器就能干一部分我们大脑能干的事。
之所以说一部分，也就是说，对于诸如谈恋爱和写导读这样的事，一开始人们是压根没有想让人工大脑来完成的。但是正如我们今天一提到机器人或人工智能，大众、媒体或者说外行人，总是抱有一些孩子般的幻想，只有业内人士才真正知道当前所面临的限制。所以，当图灵设计出看似比人还厉害的恩格尼码密码破解机时，普罗大众似乎看到了制造“超级智慧大脑”的曙光，所以图灵才不得不热情洋溢地泼下一桶冷水：我想要的不过只是一颗寻常大脑。寻常大脑已经不简单了，它应该能够做什么呢：想想所有那些我们不喜欢做的事情吧——死记硬背、数学计算、逻辑推理，可以概括为：非创造性的、有确定性的前提和结果的、重复性的工作。
能做这些，其实真的已经很不简单了，今天的阿尔法狗也没有超越这些，只是提升了运算速度，真正意义上的创造性，仍然是上帝特许给人类的专利。
在第7章，人类主要实现了大脑的死记硬背、数学计算和基本的逻辑推理。
在第8章，随着控制论的介入，人工大脑具备了自适应（根据外部环境及行为结果自主调节内部操作或状态）的能力，因而具备了自学习的能力，而学习能力正是人类心智的一大特征，所以这是一个飞跃，但距离真正的创造性，仍然不知道有多远。
第7章 导读
开篇引用乔恩·巴怀斯的话，其实道出了信息论的主要研究问题：一是如何定义信息，二是如何处理信息。要理解香农的信息论，首先要接受香农的告诫：忘掉意义。在香农看来，一串随机数和一首十四行诗没有任何区别，所以，香农的信息论是数学意义上的。
从数学意义上讨论机器能否思考的问题，其实就是所谓的判定性问题，说白了，就是机器能否像人一样进行逻辑推理。但数学家都是偏执狂，必须要严格证明，对于任意的情况，能否找到一个严格的、分步的算法，通过它，给定一种演绎推理的形式语言，机器就可以自动化地进行证明。
如果这个命题被证明成立的话，那么机器将可以代替人的全部逻辑思维，不幸的是，这个命题被图灵推翻了。P207页给出了图灵的证明过程，一般都看不懂，但我可以举两个简单的事例，大家可以体验一下：
第一个事例：
对于图灵所说的“不可计算数”，大家可以联想一下无理数，所谓无理数就是无限不循环小数，关键特征是它不能表示为分数，这个我们中学都学过，但课本从来没有告诉我们这个发现在数学史上是如同日心说一样的一场地震和一场流血事件。这是我昨晚读吴国盛的《科学是什么》才知道的。最早发现的无理数是根2，即等腰直角三角形的斜边，发现者是毕达哥拉斯学派的希帕索斯，据说因为这一发现，他被小伙伴儿们扔到了海里。Why？！这是因为毕达哥拉斯学派信奉“万物皆数，数即万物”，当然，当时人们对数的理解还仅限于有理数的范畴，所以对于根2这样的怪物，简直是离经叛道、天理不容。其实，对于计算机而言，无理数至今也是无法表示的，甚至对于二进制而言，1/3这样的有理数，也是没有办法精确表示的。
第二个事例：
有没有办法让计算机判断一个程序是死循环，答案也是否定的。想想吧，连1/3都没法表示，连人很容易发现的死循环都没法判定，计算机是不是很傻很天真？这个判断死循环的例子其实对应的就是图灵所研究的“停机问题”。下面是我从知乎上看到的一个证明，其实就是P207页证明的通俗化版本，当然，熟悉C语言的同学，可以看这个帖子的楼上，你会笑喷的……
假设存在这样的停机判定程序A。
那么我们首先写出一个验证哥德巴赫猜想的程序B。此程序对每一个大于等于4的偶数验证是否符合哥德巴赫猜想。如果碰到不符合的偶数就退出，否则继续迭代。
用A判定B是否停机，如果停机，则说明哥德巴赫猜想为假，否则为真。
类似，可以写出任意个程序验证某一数学猜想/命题（例如黎曼猜想，费马大定理 etc）的正确性，再用A去证明/证伪该命题（也就是我们发现了这个世界的bug），根据常识可知A不存在。
作者：匿名用户
链接：https://www.zhihu.com/question/33617297/answer/57019250
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
至此，不管看懂看不懂，至少你不会对人工智能盲目乐观了（我承认我是一个人工智能悲观主义者），但是我们说计算机连1/3都没法精确表示、连死循环都不能判断，这是严格的数学意义上的结论。在现实中，这些都可以妥协：通过足够的小数位数来提升精度、通过设置一个监视变量，一旦发现执行某个程序段的次数超过常规值，就将其终止……等等，所以数学家与工程师总是生活在不同的世界里的。
但是，当战争来临时，纯粹的数学家也会被邀请去解决现实问题，于是就有了图灵的“炸弹”——专门破译恩格尼码密码的机器——Bombe，现在人们普遍认为，图灵的“炸弹”，对于二战结局的影响，要胜过有史以来最具威力的物理炸弹——原子弹。当然，这是不能严格地去验证的，但这也许是一个很好的隐喻：数学的（纯粹理论的）力量是多么强大。
这一章中很多内容都是围绕加密解密展开的，核心思想是，正式因为从数学层面上对信息及其传输过程进行了理论建模，才使得加密解密从专属于语言学家、填字游戏冠军们的游戏，变成了数学家向世人证明“数学有用”的舞台（其实真正的数学家从来不热衷于向公众证明数学多么有用，据说欧几里德还把问他的学问有什么用的学生赶跑了）
这一部分我能帮助大家对付的拦路虎，有两只：
第一只：模拟信号到数字信号的转换，就是本章开头就提及、后面又不断提到的香农所进行的代号为X系统的研究工作，即用于加密罗斯福和丘吉尔语音通话的方法。所谓模拟信号，我们都知道声音是一种振动波，以x轴为时间，以y轴为幅度值（代表振动的强弱）可以绘制一条曲线，这就是声音的波形，如果用电压或电流的强弱“模拟”声波的强弱，就可以得到同样的一条曲线，只不过y轴是电压或电流的大小，用这样变化的电路驱动扬声器，即把变化的电信号还原为振动的空气，我们便听到了声音。这就是模拟信号，一句话概括，它是连续变化的，划下来，考试必考（对不起，职业病又犯了）。
传统的广播、留声机、录音机，都是模拟信号。模拟信号有很多缺点，易受干扰，因为电压哪怕升高或降低一丁点，还原出来的声音就变了，你想想，收音机、录音机都有噪音吧，听MP3你听到过噪音吗？
为啥MP3没有噪音捏？因为它是数字信号！（严格地讲，它在处理过程中是数字信号，但进入你耳机之前必须还原为模拟信号，因为你的耳朵太落后时代了，它不是阿凡达的辫子，不支持二进制啊）。声音天然是连续变化的（模拟信号），要想转换为数字信号，必须经过处理，这个处理就是“采样”和“量化”，你可以想象有一个人，每隔一段时间就看一眼声音的波形，然后记录下来声音的幅度，但是他只是十分“粗略”地记录，他不是记录现在的幅度是几点几几伏特，他只记录现在的幅度约为几个格，可以想象他事先在坐标纸上画满了方格。
有图有真相，红色平滑曲线是模拟信号（可以认为是声音的电信号波形），因为它是连续变化的，所以是平滑的。阴影部分就是经过“采样”和“量化”后的信号，是不是粗糙了很多？但为啥MP3木有噪声捏？ 你想啊，假如现在因为外界干扰，电压变了那么一丁点，如果这一丁点没有超过y轴的一格，那个“粗略”记录的人，根本不care，还会“维持原判”的！也许你会说，这么粗糙的波形，声音能好听吗？ 这个不用担心，采样频率（每秒钟“看”的次数）以及量化位数（纵向格子密度）越高，不就越精细吗？而且数学家还给我们吃了一颗定心丸：当采样频率大于信号中最高频率的2倍时，采样之后的数字信号完整地保留了原始信号中的信息。所以，我们现在听的CD，其采样频率为44KHz，这是因为人耳能听到的最高频率范围是20KHz。
其实，模拟信号数字化的最重要目的决不仅仅是抗干扰，关键是它能把连续变化的信号转化为离散的数，因为完全连续的数（有理数+无理数）计算机是无法处理的，这就是前面图灵费了那么大劲证明了的。一旦转化为数，数学家就有了用武之地，所以这是当时解决语音加密的必由之路。现在什么都要让计算机处理，那前提当然是，要把各种信号都转化为离散的数，这其实就是“数字化”——模拟信号到数字信号的转化（简称模数转换A/D），这是任何数据进入计算机的前提，但是有些数据最终还是要转回模拟信号我们的感官才能识别，如声音，所以在计算机处理完成后，还要再用专门的电路再转换回来，这叫数模转换（D/A）。写到这里，我想毕达哥拉斯学派的在天之灵应该感到无比欣慰了，今天的信息时代，似乎真正实现了他们的信仰：“万物皆数，数即万物”。
第二只老虎：密钥。我们通常所接触的都是设置一个密码，好像从来没有用过什么密钥。其实这里的加密与解密都是对一段信息（你可以想象成一段文字或任何其他符号串）而言的，我们平时的邮箱密码、支付宝密码，都只是一种身份验证，证明你是你本人。当你给一个rar或zip文件设置密码的时候，就是信息论意义上的加密解密了，你此时设置的这个密码，就是密钥。
举个最简单的例子大家体验下，逻辑运算中，除了大家熟悉的与、或、非，还有一个叫做“异或”的运算，其规律是“相同为0、不同为1”，即0异或1=1，1异或0=1,1异或1=0,0异或0=0，这个异或运算就能实现简单的加解密，因为一串二进制（明文），异或上一串二进制（密钥），能产生变化，就可以用作密文，接收方如果知道密钥，再次将密文与密钥进行异或运算，就能还原为明文：
例如，明文为： 11001001，密钥为 01，将明文逐位分别异或上01，得到10011100，这个就是密文了，可以发送给对方，对方收到后，再次逐位异或上01，得到11001001，即明文。
当然，这个算法太容易破解了，图灵和香农追求的是理论上不能破解的加密算法，但基本原理是一样的。目前看来，严格数学意义上的这种不可破解是不存在的，山东大学的王小云教授在这方面有一个重要发现，目前似乎只有借助量子纠缠的量子通信，才是本质安全的。
除了加密解密外，香农还关心这种离散的数字信号在传输过程中的一些数学问题，如信息的度量问题、信道的容量问题、传输的速率与信道容量的关系问题等等，这些其实就是香农信息论的具体内容。
第8章 信息转向（形成心智的基本要素）
这一章的线索就是，信息转向，废话，这是标题。从哪里转向哪里呢？第7章是经典的香农信息论，本质上就是信息传输的问题，加密解密，本质上也是编码解码和传输问题。从第8章开始，转向了对心智的模拟，其实这里的心智并非人类所专属，实质上是一种针对外部环境或行为结果的自我调节能力，是生物体适应环境的基本能力，也可以说是一种最基本的学习能力。
为了让机器也具备这种能力，就必须让机器具备接收外部信息并对收到的信息做出自动化反应的能力，注意这里的自动化，这个很重要，只有自动化地实现这一切，这个机器才是自主的、自适应的，才是会“学习”的。
为了实现这一梦想，上帝说，要有控制论，于是，维纳登场了。
如果上个世纪有微博，维纳一定是大V，与香农这个纯种理工男不同，维纳是个非常高调、甚至有些自负的“公知”。
还是继续延续上一章的风格，我能帮大家解决的拦路虎：
第一只老虎：负反馈、闭环系统。
我知道我的导读让你读得很投入，但是也不要因为不忍释卷养成憋尿的坏习惯，去上个厕所吧，顺便注意一下抽水马桶：
这货就是个典型的“基于负反馈的闭环系统”，所谓反馈，就是系统的输出再回到输入，比如先天聋人自己学不会说话，不是因为不会发出声音，而是因为没有“反馈”，他们发出的声音“一去不复返”，不能回到系统内部，因此就构成不了“闭环系统”，而所有的自适应系统，都是闭环系统，这就要拜“反馈”所赐。反馈有正负，负反馈是个“和事佬”，你兴奋了，他就让你平静点儿，你平静了，他就让你激动点儿，由于外界的影响，你“此起彼伏”，但有了负反馈，它不是不让你波动，而是让你始终在一个限定的范围内波动。而正反馈就是火上浇油了，你越生气，它越激你的火，你越平静，它越让你吃安眠药。这也不是没有用，我们所有的无线电发射设备，包括今天所有的数字电路，都需要一个振荡器，而这个振荡器，就是个典型的正反馈放大器。
你一拉冲水的手柄，出水阀打开，开始放水，松开手柄，出水阀关闭，这时候进水阀打开，而当进水的水位升高到一定程度，浮球带动的杠杆会关闭进水阀，这就实现了自动停止进水。这一自动化过程，是由于外界的条件变化（水位）而引发的，系统首先是能够接收这一变化的信息，然后能够对这一变化做出反应，而做出的反应又是使系统保持稳定，所以是负反馈。
对于一个闭环系统，它始终在有限个状态之间进行转换，从一个状态转换到另一个状态具有明确的外部或内部条件，这也是实现自动化的基础，通常在分析这类系统的时候，使用一种叫做“状态机”的图表，如下图所示是一个手机的状态机，有了状态机的概念，也有助于我们理解图灵机纸带、符号和状态三要素之一的“状态”概念。
第二只老虎：千万别小瞧香农那只会走迷宫的老鼠
第6章开头我们就知道了香农小时候就是个“创客”，这一章又看到了他的会走迷宫的老鼠，这不能不让我们联想到当下如火如荼的创客活动中基于Arduino之类的走迷宫的小车。这种联想有一个很危险的误导，会让我们把注意力放在技术实现而非背后的原理上。香农这只走迷宫的老鼠，其实是对他自己的信息论以及维纳的控制论最好的“演示教具”。它直观地表现了信息的编码、存储、读写以及反馈机制，在香农老鼠的陪伴下，读这一部分会容易很多。
本章的最后涉及到了心理学，其实是讲的信息加工心理学的产生背景，这对于LSC的小伙伴们是不是有一种终于见到亲人的赶脚？学习科学领域的先驱大牛很多都是计算机领域特别是机器学习领域的人，从这里看终于知道为什么了。
信息科学与脑科学像一对恋人，缠绵悱恻。当图灵与香农等人发誓要建造大脑的时候，脑科学还没有成形，而随着人造大脑越来越有模有样，心理学和脑科学领域的人受到启发，人脑是不是就这样啊？ 在心理学和脑科学突飞猛进的今天，人们早已认识到人脑不仅仅是计算机，此时，信息科学又开始朝着创造更像人脑的高级智能机器的目标进发了。
