第六章 超级认知能力
一、功能与超级能力
今天我们来研究，当超级智能真的被实现出来以后，它会不会真的威胁人类。如果它会，它的目的是什么，我们的结局是否注定是悲剧。
如果一个超级智能体想要统治地球，它能成功吗？我们将探讨超级智能会拥有哪些能力，以及这些能力能用来做什么。我们将描绘一个超级智能体如何仅仅从一个软件开始，到最终建立单一体的过程。
在思考超级智能的潜在影响时，最好不要将其拟人化。拟人化的思考框架会导致对种子人工智能的发展轨迹和成熟超级智能的心理、动机和能力产生一些没有根据的预期。毕竟超级智能不是人类。人类往往会认为超级智能是一种非常聪明，但又像呆子一样的机器人，但是我们不能以己度“机”，更不能用我们现在对机器的了解来揣测智能体。真正的聪明的智能是包括了情商的。
我们有理由猜测，超级智能可以完成一系列有战略重要性的任务，比如智能升级：人工智能编程、认知提升研究、社会认识发展等；还有战略策划，包括：预测、策划、确定优先顺序、分析优化实现长远目标的概率；还包括社会操纵：建造社会和心理模型，操纵、巧言、说服；还有黑客技术：发现并利用计算机系统的漏洞；还有技术研发：即先进技术产品及发展路径的设计和建模；最后还有经济生产：用于提高具有经济效益的智能工作的各项技能。
完全成熟的超级智能能够出色地完成上述各种任务，具有全套的六种超级能力。建造具有一种超级能力的机器，看起来像是一个完全人工智能问题。然而也可能是这样：一个由大量类人的生物或电子大脑组成的集体超级智能，具有经济生产能力，但是不具有战略策划能力。然而还可能是这样：工程人工智能如果不具备除技术之外的先进技能，就不可能真正具备技术研发的超级能力。如果系统具备智能升级的超级能力，那么他就能够使自身升级到更高的智能水平，从而获得开始时不具备的其他任何一种超级能力。也就是说，超级能力是可以相互补充和转化的。
二、人工智能夺权的场景
现在我们发现，控制超级智能的项目能够获得巨大的权力。控制世界上第一个超级智能的项目，大概会获得决定性战略优势。但是，更直接的权力点位于系统内部。一个机器超级智能本身就有可能是一个极其强大的机构。那么它本身如何实现统治世界的目标呢？
我们可以假想一下下述过程。第一，前临界阶段，科学家在人工智能领域和其他相关领域展开研究，研究以创造出种子人工智能告终；第二，递归性自我改良阶段，在某个时间点，种子人工智能变得比人类程序员更擅长设计人工智能。当人工智能进行自我改良时，它会改良其自我完善的机制，结果就会产生一次智能爆发；第三，秘密准备阶段，人工智能利用其战略策划的超级能力，策划出一套为了实现其长期目标的稳健计划。这里要注意的是，人工智能不会愚蠢到采用一套以我们现在的智能就能预测出其必然会失败的计划，这也就排除了很多科幻作品里人类最终获胜的情节的可能性。在其计划中，可能会有一段秘密行动的时间。在这段时间里，人工智能对其人类开发者隐藏自己的真实智能发展水平，避免人类产生警惕；第四，公开实施阶段，当人工智能获得了足够的实力，已经没有必要秘密行动时，就进入最后一个阶段。现在人工智能可以直接全面地实施其目标了。公开实施阶段，可能会从一次袭击开始。
书中描绘了“邮购DNA”场景来描述整个过程。当然，也有其他的一些假想的可能。超级智能也可能会设计出比人类能想到的所有计划都好的计划。
三、对自然的智能体的影响力
设想一个超级智能体拥有与纳米技术装配器相连的执行器。这样一个智能体已经足够强大到能够克服对其生存有威胁的自然障碍。在没有智能抵抗的情况下，这样的智能体就能够策划出一种安全的发展路径，用来获得实现目标所需的全套技术。这样就更可能形成单一体了。
书中，介绍了“智慧—单一体可持续性阈值”的概念。这个概念是指，任何没有重大智能抵抗，起初具有一系列超过一定阈值能力的系统的间接方式的范围。简单说，任何一个种族的能力，低于短期生存能力最低要求，这个种族就会迅速灭亡。比如说种族的人口特别少，那么它就会灭亡。但是如果一个种族能够获得某项超过这种阈值的能力，比如说人口很多、地域分布很广、技术实力很强，那么一旦能力超过了那个阈值，这个种族就会一直持续增长实力，直到达到极高的水平。那么，对于单一体这样一种特殊的种族来说，也是存在这样的阈值的。我们就把它叫作“智慧—单一体可持续性阈值”，因为智能体需要的特殊能力就是智慧。
我们一直在聊单一体，那么“智慧—单一体”到底是什么呢？单一体是指，一个有足够内部协调、无外部反对者的政治结构。而“智慧”，是指有足够的耐心，并且精通如何处理存在性风险，以保证对系统行为造成的超长期结果有足够、适当的关注。简单说，这样的单一体可以时时巩固自己的权力和垄断地位。
有限形式的超级智能，超过这个阈值的前提是他们能够利用某种触发器来启动一次技术升级过程。但是，“智慧—单一体”的可持续性阈值非常的低，要超越阈值，既不需要超级智能，也不需要其他未来科技。一个有耐心并且懂得如何应对存在性风险的单一体，即使只具有当代人类文明所具有的技术和智能，也已经能够策划出一条途径，来最终实现人类的潜在太空实力，人类将可以开拓并利用广袤宇宙中的资源，通过对太阳系外的探索，发现适宜类人生物居住的星球，甚至改造一些星球，使它们地球化，从而适宜人类居住。作者的观点是，这个阈值相当于非常低的技术水平，一个人类早已超越的水平。所以，现在超级智能爆发的可能性就是有的。
只有一个超级智能体在智能升级、技术研发或经济生产等领域的实力，比剩余全球文明的实力总和还要高出很多时，该智能机拥有的这些能力才被视为超级能力。按照这样的定义，在任意时间最多只能有一个超级智能体拥有一项特定的超级能力。这就是为什么启动速度很重要的主要原因，也就是说，当你成为第一名以后，基本上第二名很难再将你超越。这样一来，率先成为超级智能的智能体，就拥有了决定性的战略优势。
第七章 超级智能的意愿
一、智能与动机的关系
我们已经看到，超级智能可以拥有极大的根据自己的目标塑造未来的能力。但是它的目标会是什么呢？一个人工智能体的智能与动机之间是什么关系呢？书中提供了两种论点：第一种，正交性论点认为，智能和最终目标是独立变量，任何水平的智能都可以搭配任何最终目标；第二种，工具性趋同论点认为，不管超级智能具有一系列最终目标中的哪一种，都将选择相似的中间目标，因为他们有这么做的共同工具性理由。
在探讨智能与动机的关系之前，有必要进行一些预先思考，比如心智空间可能的广度。科幻小说中，人工智能或者是外星人，常常会有和人类一样的心智。比如说，都喜欢年轻漂亮的女性。而与一个有绿色鳞片的外星生物相比，人工智能的动机会与人类的动机相差得更远。因为外星生物同样也是进化产生的物种，而人工智能则不是。
在人工智能被创造的时候，他们就被赋予了一定的目的，而这个目的与人类的目的往往非常不同。由于简单的目标更易于人类编写和人工智能学习，所以如果程序员在意的是用最快速的途径使人工智能能够作为软件工作，那么他就会选择将这种目标加载到人工智能的种子中。
所谓的正交性观点是指，在某种意义上，智能的动机是正交的。我们可以将其视为一个坐标系的两条轴线，图里的每一个点都代表一个逻辑上可能的人工智能体。原则上，几乎任何水平的智能，都能与几乎任何最终的目标相结合，类似于排列组合。在这种情况下，要想推测人工智能的目标是比较难的。但是，我们可以通过至少三种方式来进行推测：第一种，通过设计实现可预测性。简单地说，这个人工智能的初始目标是我们自己设定的，那我们当然知道它可能的目标会是什么路数；第二种，通过遗传实现可预测性。也就是说仿照人自身做出来的智能机，可能会和人的动机类似；第三，通过工具性趋同理由实现可预测性。我们会在第二种论点中详细阐述。
二、工具性趋同
工具性趋同论点认为，我们能够识别出一些工具性价值观，实现这些价值观能够提高系统实现目标的可能性，因此这些价值观是趋同的。由此推断，各种情景中的智能系统都可能会追求这些工具性价值观。
书中举出了几种工具性价值观的可能类别：第一种，自我保护。要发展就得先生存，如果系统的最终目标与未来有关，它就一定有努力保证其未来生存的工具性理由。很多智能体虽然不从内在关心它们的生存，但是在较多情况下，为了实现最终目标，它们会从工具性上关心自身的生存。第二，目标与内容的整体性。如果一个智能体将其当前目标保留到未来，那么其当前目标可能由未来的自己实现，这就给该智能体提供了防止最终目标出现变动的工具性理由。比如，智能体可能会牺牲自己来保证最终目标的达成。对于人类来说，情况可能相反，但这正是因为生存常常是我们最终目标的一部分。而当我们的很多革命先辈选择舍生取义时，就是因为他们的理想目标已经超过了他们对生存的目标。所以，其实人类也是一样的。第三种工具性目标是，认知提升。理性和智能的提升将有助于改善智能体的决策过程，从而使智能体更有可能实现其最终目标。第四种，技术完善。一个智能体常常有工具性理由去追求更好的技术。更好的技术是指能更有效地将现有资源转变为价值的产出的方式。这样，一个软件智能体可能就会给更有效的算法赋予工具性价值，它们也可能会工具性地重视更完善的工程技术。这些技术大概会包括太空殖民技术和分子纳米技术等等。第五种工具性的目标是资源获取。人类倾向于寻求获得足够的用来满足基本生理需求的资源。但是人们常常追求远比这个最低限度更多的资源，他们这么做的部分理由是出于次要的物质需求，或增加便利性。我们大概有理由去假设在不存在竞争的社会环境中，超级智能可能会觉得没有工具性理由去积累过多的资源，但是这种假设其实是毫无根据的。因为资源是达到其他目标的基石，超级智能单一体的多种最终目标，都可能导致它把无限制的资源获取作为工具性目标。
需要强调的是，即时工具性趋同理由适用于某个特定的智能体，并且被它认可，也不意味着我们就可以轻易预测该智能体的行为。它可能还会想到我们目前想不到的一些方式，来实现相关的工具性价值观。我们能够预测的是，智能体会追求用来实现其最终目标的工具性趋同价值观，而不是为了实现这个最终目标而采取的具体行动。
第八章 结局注定是厄运吗
一、存在性灾难是智能大爆发的默认后果吗
我们已经分析过，智能与最终价值观之间的关联非常弱。同时，我们也分析了，第一个出现的超级智能很有可能获得决定性战略优势。其目标将决定人类的宇宙资源如何被使用，所以现在我们知道这个前景多么可怕了。
存在性危险，是指导致地球上的智能生命灭亡或者使其永久性地彻底失去未来发展潜能的威胁。从先驱者优势理念、正交性论点和工具性趋同论点出发，我们现在可以看清对于创造机器超级智能似乎必然会造成存在性灾难的担心的大致理由。
第一，我们讨论了初始超级智能是如何可能获得决定性战略优势的。然后这个超级智能就能够建立一个单一体，并塑造地球智能生命的未来。而之后会发生什么则取决于超级智能的动机。第二，正交性论点表明，我们不能轻率地假设超级智能必然拥有与人类智慧和智能发展相同的最终价值观体系。这就表明如果没有特定设计，首个超级智能的最终目标可能非常随意简单。第三，工具性趋同论点表明我们不能轻率地假设如果一个超级智能的最终目标是一个简单的目标，它就会将其活动限制在这个范围内而不去干涉人类事务。
综合以上三点可以得出：首个超级智能可以塑造地球生命的未来，可能会有非拟人的最终目标，可能会有工具性理由去追求无限制的资源获取。如果我们想一想，人类由有用的生物资源构成，并且生存的繁荣要依靠更多当地资源，我们就能明白结局很可能是人类的迅速灭亡。
二、背叛转折
有一种看上去可以保证安全性的想法，叫作“沙盒”。意思是，我们把一个超级智能关在被控制、受限制的环境当中来保证其安全性。但这个想法是有缺陷的，不管人工智能在盒子中表现友好还是不友好，它们都有工具性趋同的目标。一个不友好的人工智能会聪明地意识到掩藏自身的一部分能力提升会产生更好的结果。在接下来的几年和几十年里，人工智能系统会逐渐变得更强大，因此得到更多实际应用。它们可能将来会被用来操纵火车、汽车工业和家用机器人，甚至自动化军事运载工具。但我们并不知道它是否已经在策划一场阴谋。
当人工智能从愚蠢变聪明时是安全的，这样会避免我们在使用人工智能的时候遭遇许多事故。但是当它本身就很聪明，并变得更聪明时则是危险的。就像有一个轴心点，在这个点上原来很有效的策略会突然产生相反的效果。我们把这个现象叫作“背叛转折”。当人工智能较弱时，它会表现得非常合作。当人工智能变得足够强大时，它会在不给出预警也不做出挑衅的情况下，在某一个点上突然逆袭，建立单一体，并对世界开始进行改造，这个点就是背叛转折。当人工智能发现了一个意料之外的实现最终目标的方法时，它也很有可能会发生背叛转折。
三、 恶性失败模式
建立超级智能机器项目，可能会遭遇各种各样的失败。其中有一些是良性的，它们不会造成存在性灾难。而另外一些，它们可能会造成我们人类的存在性灾难，这种失败就是恶性失败。当一个较弱的系统失败时，其后果是有限的。然而如果一个具有决定性战略优势的系统行为不当时，就会造成全球性的人类终极毁灭。
现在我们来看一些可能的恶性失败模式。第一种，反常目标实现方式。比如说，超级智能的最终目标被设定为让我们微笑，而由于实现方式不正确，使用了一种反常的目标实现方式，通过麻痹人类面部肌肉组织，使其保持永远的微笑表情。我们可以看到，这是一种非常恐怖的场景。第二种，基础设施过量。假设说，一个人工智能被赋予了管理回形针生产工厂的工作，其最终目标是使回形针的产量最大化。那么它如果因此走上首先将地球，然后整个可观察的宇宙的大部分变成回形针的道路，这也是非常危险的。第三种叫作意识犯罪。我们可以想象，人工智能可能会为了改进它对人类心理和社会的理解而建立起数万亿个具有道德意识的模拟意识。也就是把人放在实验环境当中进行观察实验，就像把人当作小白鼠一样，一旦他们不再能够提供任何新的信息，人工智能就可能会把他们灭掉。
可能还会存在其他的恶性失败模式，但是我们已经充分考察并可以得出下面的结论：如果人工智能获得了决定性战略优势，那么就需要引起我们的严重关切了。
总结：
超级智能具有全套的六种超级能力。
出于正交性观点和工具性趋同观点，我们在面对超级智能如何对待人类的问题上，不应该太乐观。
思考与讨论：
（开放性问题）
我们人类有哪些工具性价值观？
第九章 控制问题
一、两个代理问题
超级智能可以被分成哪些类型，我们分别应该用什么方法来控制它，从而避免我们的灾难性结果。
面对人工智能可能导致的存在性灾难的发生，我们把解决这个问题的方法分为两大类：能力控制和动机控制。
首先我们要考虑智能爆发带来的后果是否在我们可接受的范围内。致力于研发超级智能的项目的赞助人如何能够保证，项目如果成功就会制造出能够实现赞助人目标的超级智能呢？我们可以将这个控制问题分为两部分，一部分是普遍问题，另一部分则是针对当前话题的。
我们将第一部分的问题称为“第一委托代理问题”，即只要一个人类实体委托人指定另一个人类实体代理人去实现其利益，就会出现第一委托代理问题。经济学家对这类代理问题已经进行了大量研究。如果建造人工智能的人不同于提出建造任务的人，那么就需要对这个问题进行关注。说白了，这是一个沟通问题，或者说就是一个外包问题，通过已经成熟的许多手段可以去解决。
控制问题的另一部分，具体针对智能爆发的情景。当一个项目想要确定他建造的超级智能会不会侵犯项目本身的利益时，就会出现“第二委托代理问题”，也就是人类与超级智能之间的委托代理问题。第二委托代理问题提出了前所未有的挑战，要解决这类问题需要新的方法。
二、 能力控制方法
能力控制方法旨在通过限制超级智能能够做的事情来防止不好的结局出现。
书中提出了几种可能的方案。第一种是盒子方法。盒子方法可以细分为物理遏制方法和信息遏制方法。物理遏制旨在将系统限制在一个盒子里，也就是阻止系统与外部世界互动。系统只有特定射线的输出渠道，盒子里的系统无法获得盒子之外的实体操作器。物理遏制方法容易实施，但是也容易造成一种虚假的安全感。同时，它也会导致超级智能功能上的降低。信息遏制方法旨在限制哪些信息可以从盒子中放出，比如禁止系统接入通信网络。但其实这是一个伪命题，一旦系统被观察，就意味着它不再处于信息隔离状态。比如人工智能可以故意出错，来获取人类的关注和导致人类采取的措施的变化。
第二种是激励方法，将智能体置于某种环境中，使它有工具性理由去以最符合委托人利益的方式行动。或许更好的方法是结合使用激励方法和动机选择——给人工智能设定一个更有利于受控制的最终目标。假设人工智能的最终目标是确保指挥中心里的一个红色按钮不被按下，既然从人工智能的目标层面上来说，按下按钮的行为本身是没有价值的，按下按钮的结果才具有价值，因此这个按钮可以是完全无效的，那么这个按钮就可以是完全无效的。重要的是人工智能相信，如果它不停地按照委托人的利益去行动，而不是做出背叛行为，这个按钮就可能更不会被按下，而这符合人工智能的完成目标的终极需求。
说得更透彻一点，就是让人工智能始终相信，叛变了会导致目标的更不可能被最终实施，而顺从则会导致目标最后的实现。这种情况下，人工智能就会选择合作。而这种情况的疏漏是：第一，人工智能可能不相信人类操作者会付诸承诺。第二，这种情况假设了我们能够判断人工智能生产的结果是符合我们的利益的，然而我们并不一定能确定这点。
第三种控制方法是阻碍发展，限制系统的智能或其获取信息的途径，实现这一点的方法可以是使用较慢的硬件或较小的内存进行人工智能。但这些方法阻碍了人工智能的发展，而且会限制它的有用性，所以这当中需要达到一种平衡。但是如果人工智能是具有超级智能的，这样的数据限制是不能保证安全的，因为知识和信息是全部相关联的，任何一条信息都可以是关于任何一个话题的，知识很有可能最后会被推演出来。因此，把剥夺信息作为限制超级智能实力的主要方法是轻率的。
第四种可能的方法是绊网。绊网方法是指，可以在其不知情的情况下对系统进行诊断分析，如果探测到任何危险活动的迹象就把系统关闭的一种机制。用绊网方法时，系统不知道进行违禁活动会有什么后果。然而，绊网对于成熟的超级智能的限制能力非常值得怀疑，因为我们无法确定聪明的人工智能会不会发现破坏人类智慧制造出的绊网的方法。
三、动机选择方法
动机选择方法旨在通过影响人工智能想要做什么来防止不好的结果出现。作者也提到了几种可能的方法。
第一种，直接规定。直接规定是解决控制问题最直接的方法，这个方法有两种版本，一种是基于规则的，另一种是基于结果主义方式的。比如科幻小说家艾萨克·阿西莫夫提到的非常经典的机器人三定律就是一个基于规则的直接规定方法，它规定机器人必须遵循三条铁律：（1）机器人不得伤害人类，也不得见人受到伤害而袖手旁观；（2）机器人应服从人的一切命令，但不得违反第一定律；（3）机器人应保护自身的安全，但不得违反第一、第二定律。这三个定律非常著名，但我们都知道它中间的概念是有漏洞的。而小说也是依据这其中的漏洞而发展的。要提前制定好一套这样的制度，来防止机器人做出越规的行为是不现实的。法律制度经过如此漫长的反复实践和纠错，仍然有很多漏洞被利用。我们很难在第一次实施一套新的规则时，就要求它做到万无一失。而直接结果主义方式面临的问题和直接建立规则面临的问题相似，即使人工智能被设计成服务于某种看起来简单的目标，比如说让人保持微笑，它也可能会通过某些我们无法推测的错误的方式来达到这一点。比如我们刚才说的，僵化人类面部的肌肉，或者是重复复印数万亿个笑脸贴纸贴满整个宇宙。
第二种可能是驯化。有一种特殊类型的最终目标，可能比上述案例都更符合直接规定方法，这种目标就是自我限制。让机器人将自己的行为限制在一个小的范围内，在狭窄的情景下展开有限的行为模式。这种方法把人工智能的目标设定为限制自己的野心和行为，因此我们称这种方式为驯化。但这种方法也不安全，因为人工智能还是有可能会无限制地使用资源来满足这个可能简单的最终目标。
第三种方法是间接规范。不是直接规定一套具体的规范标准，而是说明一个可以产生标准的程序。让程序自己展开调查，自己摸索应该建立什么样的规范。比如，程序可以展开一项调查，去研究我们理想中的人工智能是什么样的。
第四种方法叫扩增。扩增的方法是说，与其试图设计一个全新的动机系统，不如从一个已有的足够好的动机系统着手提升其各项认知能力，使其成为超级智能。用扩增的方法我们至少可以从一个具有我们熟悉的、与人类类似的动机的系统开始。
由此我们可以总结，人工智能安全问题的核心，也就是代理问题可以分为两种解决方法：能力控制和动机选择。但是每种方法都有潜在的缺陷，实施过程中都会遇到不同程度的困难。因此有必要考虑可能的组合方案。针对不同类型的系统，我们使用不同类型的控制方法。下一章将会提到有哪几种可能的系统类型。
第十章 神谕，精灵，主权，工具
一、 神谕
本章我们将研究超级智能的四种类型，或者说“种姓”：神域、精灵、主权、工具，并解释它们之间的联系。对于解决控制问题，每个类型都有不同的优劣。
神谕是指一个回答问题的系统，有点像iPhone当中的Siri，神谕可能能够接受自然语言的提问，并用文字方式呈现答案。
要建造一个拥有全部一般领域能力去回答自然语言的提问的神谕，其实是一个完全人工智能问题。然而在极其有限的领域里，具有超级智能的神谕已经存在，一个便携计算器就可以被看作解决基本算术问题的超级有限神谕。一个互联网搜索引擎，可以被看作一个非常部分性的神谕。
要使得一般超级智能起到神谕的功能，我们既可以采用动机选择方法，又可以实施能力控制。我们也可以采用驯化方法，要求神谕只能够利用指定的资源去得出答案。我们可以自己想象一下，通过哪些手段可以避免百度搜索引擎控制我们人类。
二、精灵和主权
精灵是指一个命令执行系统。他接受上级命令，执行命令，然后等待下一个命令。主权是指为了实现某些笼统的、可能非常漫长的目标，被授权可以无限制地在这个世界上运行的一个系统。
如果我们要建造一个精灵，一个可取的方式是把它建成这样：遵循命令背后的意图行事，而不是命令本身的字面意思。因为一个字面主义的精灵，可能会在第一次运行时就立志将它的使用者以及全人类都消灭。精灵对命令进行善意的解读，并且按照对命令的这种解读，而不是字面意思去执行是非常重要的。理想中的精灵会是一个超级管家，而不是一个自闭症天才。
然而具有超级管家性质的精灵，离获得主权的资格并不遥远。作为比较，考虑下我们来建造一个最终目标是遵循一系列命令背后之精神的主权，而这一系列的命令就是我们原本会给精灵下达的命令。
而主权、精灵和神谕之间其实是可以相互转化的。这三种类型之间的真正区别并不在于它们最终能够获得的能力，而在于解决控制问题的方法不同。也就是反过来我们用什么问题控制方法来应对它们，它们就可以被定义为哪一种类型。神谕最显著的特点就是它能够被困在盒子里。对于神谕，我们还可以使用驯化的动机选择方法。精灵更加难以被限制，但是至少驯化的方法可能适用。主权不能够被困在盒子里，又不能够通过驯化的方式处理。
三、工具型人工智能
有人提出这样一个建议，我们建造一个更像是工具而不是代理的超级智能，是不是就更安全了？但是，由于现有软件工具能力有限，普通软件无法实现程序员编写者的意图，所以其造成的后果是可控的。所以说普通软件本质上是安全的，不是因为它们具有足够高的可靠性，而是因为他们的实力不够强。
编写软件的经典方式，要求程序员对所要执行的任务的细节有足够的理解。然而当没有人知道如何解决所有需要完成的任务时，这个方法就无能为力了。这时候就需要人工智能领域的技术了。比如在人工智能领域，很多问题是黑盒问题：我们知道输出是什么，也知道输入是什么，但我们并不知道中间的运作逻辑是什么。这种情况下我们并不能把它当作一个工具来开发。所以我们现在已经开始尝试，创造一些人工智能，让它们自己根据我们的目标去发现解决问题的方法。
有至少两个地方可能会出现问题。首先具有超级智能特征的搜索过程找到的解决方案可能不仅是预料之外的，而且是极度违背设计意图的。这会导致我们之前讨论过的一些失败类型。其次可能出现的是，软件的运行过程中，如果软件用来寻找解决方案的方法足够复杂，这些方法可能会帮助软件用一种智能的方式去寻找答案。这种情况下，运行这个软件的机器就会开始看起来不像是一个工具，更像是一个代理。
所以，建造工具而非代理的概念是没有意义的。与其在实施强大的寻找过程（包括寻找内部工作计划的过程和直接寻找符合使用者定义标准的方案的过程）中自发且偶然地产生类似代理的具有目的性的行为模式，可能还不如直接建造代理。
第十一章 多极情景
一、马与人的比喻
我们已经看到了单极结局会造成多么大的威胁。单极结局是指单一超级智能获得决定性战略优势，并借助其优势建立起单一体。在本章中，我们研究多极结局，也就是在有着多个相互竞争的超级智能的后过渡社会中会发生什么？
假设机器劳动者能够很快被生产出来，并且在所有工作中都比人类劳动者更加便宜和能干，那么会发生什么呢？
首先有了廉价可复制的劳动力市场，工资就会下降，人类唯一能保持竞争力的地方也许就只有那些顾客们更倾向于由人来操作的领域。就廉价机器劳动取代人类劳动的程度来说，人类工作甚至可能消失。对自动化和失业的恐惧当然已经并不新鲜，至少从工业革命开始，对于科技性失业的担忧就阶段性地再现。相当一部分的职业人员，事实上已经走上了和当年英国纺织工人一样的道路。
我们来考虑一个经济情景，那就是马对人的作用。曾经，马作为交通工具和劳动力，在出行和耕种时是非常有生产力的。但后来，马被汽车和拖拉机取代了，这些后来居上的发明降低了对马的劳动的需求，也带来了马匹数量的降低。
二、人类是否会重复马的命运
人类会遭此类似的命运吗？当马匹作为运输工具已经过时的时候，它们被大量卖给肉类加工厂，被加工成狗食、骨粉、皮革和胶水。这些动物没有其他工作能使自己赢得保全。在美国，1915年有2600万匹马。到了20世纪50年代初期只有200万匹马幸存。
如果我们把人工智能作为资本，那么机器智能可以完全取代人类工作，工资就会下降到这种机器替代物的边际成本水平。在机器的效率非常高的前提下，工资会非常低，大大低于人类生存所需的收入水平。那时劳动者的收入将会下降到几乎为零，同时也意味着资本所占比例的收益几乎达到百分之百。由于世界GDP将在即将到来的智能爆发中迅猛发展，随之而来的资本总收入也将大大提高。如果人类持续拥有这些资本，那么人类人口的总收入将有天文数字般的增长，尽管在这种情况下，人类将不再有任何工资收益。通过工作变富有仍然是可能的，但是也就仅限于人类劳动因其美学、意识形态、道德、宗教或其他非实用主义的因素而更受人喜欢的条件下，这种劳动才有价值。就比如现在马的价格上升了，是因为大家还会、也只会去赛马和观赏马匹。
三、 算术经济下的生活
作者通过一系列推导得出，人类将会在科技极端发达的世界中以一个非常低的姿态生存。而作为劳动者的机器的困境是，它们究竟应该像奴隶还是像自由人那样运行。因为它们的生命会变得非常廉价，复制性很高。在一天的工作结束后，直接抹去一个筋疲力尽的仿真大脑的记忆也许会更加划算。
作者讨论到了仿真系统的享乐程度，这是一个比较抽象的概念，不做过多论述。长远看来，由于仿真时代将让位于人工智能时代，所以它们的所谓痛苦和快乐可能最终完全消失。
多极时代到来的可能性是，仿真系统现在就开始逐渐把它们的功能部分外包。可以把数学运算的任务交给数学运算模块公司，为什么还要学算数呢？可以用讯飞语音输入法来把你的想法转换成文字，又何须善于表达呢？像这样将离散的类人智能的浓缩汤块，熬成了一锅“算数汤”，我们就有可能发展出多极的超级智能。作者又进一步论述了形成这种可能的阶段性因素。
四、后过渡时代下单一体的形成
即使向机器智能过渡的直接结果是多极的，单一体在之后的发展也是有可能的。这种发展会继续形成一个长期的、更大规模的政治交融的明显趋势。
在第一次过渡之后，如果第二次的过渡规模足够大并且足够深入，从而给剩余的能量以决定性战略优势，最初的多极结局就会融合成一个单一体的后过渡形式。就如同巨头公司兼并一样。
人类协同机构的规模，比如公司或国家要受很多不同要素的影响，如科技、军事、金融、文化等，在不同的历史时期也不尽相同。机器智能革命会引发这些要素的深刻变化，并可能会因此促进单一体的崛起。
在仿真系统的群体里，选择压力更可能导致超个体的兴起。一群又一群的仿真系统愿意为了其族类的利益而牺牲自己。超个体不会遇到那些组织机构的成员追求自身利益时遇到的代理问题的困扰。如同我们身体里的细胞，或完全群居昆虫中的个体一样，完全利他的仿真系统在对待其复制同胞时，即使没有细致的计划驱动，也会彼此合作。
后过渡多极世界的国际化合作将带来巨大潜在好处，战争和军备竞赛将可能被避免。但是，合作拥有的巨大潜力并不意味着合作一定能实现。其中一个障碍在于很难保证大家都能服从达成的条约，包括监督和实施的成本。假如减少监督成本的新审查技术变得可行，就可以期待其会带来合作的增加。然而在后过渡时代，监督成本是否能够减少是完全不清楚的。
总之我们已经看到，即使多极状态可以在稳定的形势下达到，还是不能保证有一个具有吸引力的结局。最初的委托代理问题依然没有解决，并且其也将被一系列新的后过渡时代全球协作的失败所带来的问题淹没，而后者只会让情况更糟。因此，让我们回到如何安全地保有单个超级智能的人工智能的问题上。
思考与讨论：
（开放性问题）
回忆一下你看过的一些包含有人工智能的电影，里面的人工智能概念或角色是属于神谕、精灵还是主权呢？为什么？
第十二章 获取价值观
一、 价值观加载问题
我们今天来讨论一些积极的应对措施，比如：如何给超级智能植入健康的观念，来保证它们不伤害我们。如果可以做到这一点，那么什么样的观念才叫健康、应该被植入的观念呢。全书的尾声，我们要总结一下我们应有的应对超级智能的战略规划，以及我们面对这个问题应该抱有的心态了。
对能力的控制最多是一个暂时辅助的手段，除非能永久地限制超级智能，否则我们都需要掌握动机选择机制。但是怎样才能将一些价值观加载到人工代理内部，使得该价值观成为其追求的最终目标呢？
我们不可能枚举出所有超级智能可能面对的情况，因而我们并不能将动机系统具体化成一个全面的产品表，而只能像公式或规则那样更加抽象地表达，从而让代理来决定，在各种情形下应该怎样应对。
程序员的脑中有一些特定的人类价值观，他希望人工智能可以发扬这些价值观，在期望效用的框架下，程序员要寻找一种效用函数，以将效用按照其幸福感的比例分配到每一个可能的世界当中。如何让计算机理解并计算幸福度呢？当人们从这个角度考虑问题的时候，就能理解程序员的任务有多困难了。
（一）进化性选择
如果我们不能通过编程把人类价值观转移到人工智能里，还能用什么办法呢？进化性选择可能是其中一种。至少有一次，进化产生过带有人类价值观体系的有机体，所以，相信进化是一种解决价值观加载问题的途径。
进化可以被看作一种特殊的搜索算法，它包括了两个步骤的交替。一个根据相对简单的随机规则来增加备选者的数量和新的备选者，我们通常称之为变异。另一个则是通过去掉那些在评估函数中得分较低的备选者，来降低被选者的数量，我们可以称之为优胜劣汰。
（二）强化学习
强化学习是机器学习的一个领域，研究那些能让智能体学会将累积的回报最大化的技巧。通过构建一个在其中表现出被期待的行为会受到回报的环境，进行强化学习的智能体就会学着去解决很多不同类型的问题。
（三）联合累积的价值观
那么我们人类自己是怎样形成价值观的呢？我们的生命开始于一些相对简单的初始偏好和一系列的性格倾向，并从各种不同经历中获取偏好。无论是简单的初始偏好还是性格特征，都是天生的。它们在进化时间尺度下的自然选择和性选择里成型。但是我们成人后，所最终形成的价值观还是取决于人生经历。因此我们最终价值观体系的大部分信息内容是从经历中获取的，而不是基因携带着。
我们是否也可以继续同样的原理？也就是说，与其直接地详细说明复杂的价值观，能不能说明一些获得价值观的机制，以此来设计人工智能呢？模仿人类价值观累积的过程看起来非常困难，人类之相关的基因机理是进化了百万年的结果，这一过程不能复制。从一个已经运载人类价值观体系的成年大脑开始，也许会轻松很多。
是否可以设计一种大胆的人工代替机制，能够使人工智能将相关的复杂价值观的高度准确的表达引入它的目标系统呢？如果这能成功，就不需要给人工智能与人类完全一致的价值观配置了。
（四）机动性支架
另一个解决价值观加载问题的方法被称为机动性支架。这包括赋予种子人工智能一个临时的目标系统，其有着相对简单、可以用明确的编码或是其他可行方式表达的最终目标。一旦人工智能发展出更复杂的表达能力，我们就将这个临时的支架目标系统换成一个有不同的最终目标的系统。这个继任的目标系统将统治人工智能，伴随其成长为完全成熟的超级智能。这一方法的缺点在于可能使人工智能在其临时目标系统阶段就已经变得过于强大。
二、 价值观学习
现在我们到了关于价值观加载问题的一个重要而微妙的道路上，它包括使用人工智能来学习我们希望它有的价值观。为了做到这点，我们必须为人工智能提供一个标准，其至少隐含一些适合的价值观集合。然后我们便可以建造人工智能，让它根据对于这些隐含的、定义好的价值观的最准确的估计来行动。随着人工智能学习到关于世界的更多东西，并且逐渐领会到价值观决定标准所隐含的意义，它便可以不断地使自己的估计精确化。我们现在仍不知道如何使用价值观学习的方法来建立起可信的人类价值观。书中提到的一些方法都只是可能性。
（一）仿真调节
看起来价值观加载问题对于全脑仿真比对于人工智能来说更为不同，那些预先假定的对于算法和结构之精细理解有控制的方法，是不适用于仿真的。另一方面，增量式动机选择方法虽然在最初的人工智能中不适用，但可以在仿真中得到应用。增量的方法可以和技术结合，以修改系统的遗传目标。
（二）体制设计
一些智能系统包含了一些自成体系的智能部分。在人类世界里的例子就是公司和国家，它们由大量这样的人类组成，既为了某些目的，它们可以被看作对自身权利自治的代理人。这种复合系统的动机不仅取决于其组成部分中的副代理人的动机，而且还取决于这些副代理人是怎样被组织起来的。
体制设计可能在有增量的条件下是最具有可操作性的。如果我们从已经被适宜地激励或已经具有类人动机的代理开始着手，体制的安排就可以被作为一种附加的保障，来增加系统按计划发展的可能性。
总之，目标系统工程还不是一个可以被确立的学科。即使有了人类水平的机器智能，如何将人类价值观转入电子计算机依然不清楚。考虑了很多方法后，我们发现其中一些看起来只是死胡同，而另一些仍有希望，值得进一步探索。
第十三章 确定选择标准
一、间接规范方法的必要性
在上一章节，我们已经论述了将价值观植入人工智能的难度。现在让我们来假设我们已经有了办法，那么植入哪种价值观或者哪个目标比较好呢？
我们如何才能让超级智能做我们想要的？我们想要超级智能想什么？到目前为止，我们关注的重点都是第一个问题，现在我们开始讨论第二个问题。显然，在我们选择价值观时不犯错误是至关重要的。但是现实地想，我们如何能够希望在这种事情上一点错误都不犯呢？随着历史的发展，人们的道德信念是会发生显著变化的。
16世纪的巴黎依然流行焚烧活猫的娱乐活动。而仅仅150年前，美国南方还普遍实行奴隶制。这些在我们当下的道德观点看来都是不能接受的，而在当时却是一种正常的道德观点。如果以我们现在的道德观点设置了人工智能的价值观，而在几百年后我们的道德观点发生了明显的变化，这该如何是好呢？
如果要基于我们目前的信念选择一个最终目标，而这个最终目标是永远不可更改并消除了任何道德进一步发展的可能性的话，便会导致存在性道德灾难的风险。如果在为超级智能选择最终目标时，我们不得不就整体的道德理论以及关于这个理论的一系列具体主张下注，赌赢的机会实在太小。这就使我们转向间接规范方法。
创造超级智能的显而易见的理由是：这样我们就能够将寻找实现给定价值观的有效方法所需要的工具性推理任务交给超级智能。间接规范方法还使我们能够将选择要实现的价值观所需要的一些推理任务交给超级智能，也就是说让它动态发展它的道德观。
由于超级智能比我们更擅长认知工作，所以它可能能够识别我们思维中的错误，并弄清我们的疑惑。我们可以对这个观点进行概括，并将它作为一种启发式的原则。这就是认知遵从原则：未来的超级智能具有认知优势，它的信念比我们的信念更可能是对的。因此，我们应该在任何可能的情况下遵从超级智能的观点。
二、 一致推断意愿
尤德科夫斯基提出，我们给种子人工智能设定的最终目标应该是实现人类的一致推断意愿：一致推断意愿是我们希望如果自己知道得更多思考得更快，超越我们对自身的希望，人类便会共同成长；这时推断汇聚统一，而非相异偏离，我们的愿景连贯一致，而非互相冲突；按照我们所愿去推断，按照我们所想去诠释。
这个概念比较复杂，翻译一下就是说，现在我们人有不同的需求和不同的思考方式，是因为我们的智能还不够高。当人类的智能全部达到一个很高的境界的时候，我们对于几乎所有问题都应该是英雄所见略同。我们在对这些问题进行沟通和交流的过程当中，应该是彼此能够达成一致的，而不是像今天，针对任何问题都有可能出现众说纷纭的现象。如果这种虚幻的场景真的能够发生，那么它应该就是我们的人工智能最终想要达成的目标。
一致意愿推断，包含了一些基本论点，其中有一些是作者认为比较重要的。第一，容纳道德发展。这个要求是说，解决方案应该允许道德进步的可能。第二，避免劫持人类命运。通过设立一种实施人类一致推断意愿的机制，它们便有效地把它们对未来的影响交到整个人类手中。第三，避免提供人类为了初始机制而发生冲突的动机。在整个的一致推断意愿途径中，程序员不比其他任何人对结果内容更有影响力，尽管他们是确定推断结构和决定使用人类一致推断意愿的主要角色。第四，让人类最终主宰自身命运。
本章中，作者还讨论了与一致推断意愿相类似的几种其他理论，这里不做赘述。感兴趣的读者可以去原著中阅读。
作者最终给出的结论是，我们没有必要设计一个高度优化的方案。相反，我们的重点应该放在设计一个高度可靠的方案之上。可靠的设计会具有足够的智慧，能够认识到自己的缺点。一个不完美的超级智能，如果有着可靠的根本理念，就会逐渐完善自己。经过自我完善，它就能够对这个世界实施有益的优化影响，就像它一开始就是完美的一样。
第十四章 战略图景
一、科学技术战略
现在是时候，在更广阔的背景下思考超级智能带来的挑战了。我们希望能够充分熟悉战略图景，至少能够确定我们要走的大致方向。大致区分两种不同的规范性立场：我们可以通过“规范性立场”对提出的方案进行评价，可能会有一定的启发作用。而“人类影响视角”关心的是所建议的改变是否符合我们的利益。
假设一个政策制定者出于对某个最终可能会成长起来的假想技术的长远后果或风险的考虑，提出削减某个研究领域的经费，那么他一定会遭到来自这个领域的强烈反对。可能研究人员存在一种自私自利的偏见，导致他们相信进行研究总是有益的，而拥护几乎所有需要更多资金的想法。也可能是发展某一项技术会对全人类有着一份总体上的威胁，但是对于发展他的人或者组织、国家而言，所能获得的收益要更大一些。
如果致力于发展科学技术的努力没有有效的停止，那么所有能够通过某种可能的技术获得的重要基本能力最终都会实现，这就是“技术实现猜想”。这个猜想指向了一个原则，这个原则会引导我们关注不同技术发展的相对速度。这个原则就是“差异技术发展原则”：减缓危险且有害的技术发展，尤其是那些会增加存在性风险的技术；加速有益技术的发展，尤其是那些能够降低由自然或其他技术造成的存在性风险的技术。说得简单一些，就是技术与技术是不同的。有些技术更危险，有些技术更安全，我们要先发展安全的技术。
不管是平均值还是最大值，只要人类智能水平提高，都有可能加快技术的全面进步，包括各种机器智能形式的进步、解决控制问题的进步以及其他一系列技术和经济目标的进步。这种加速的净效果是什么呢？如果我们想要理解认知提升具有普遍加速作用这个观点，就得关注认知提升是如何提高某一类型的进步的发生速度的，而这种类型的进步速度与其他类型的进步速度相关。
如果你碰巧得到了一个能够改变宏观结构发展速度的魔力操纵杆，你应该怎么做？你应该加速、减速还是保持原速？从非人类视角来看，这个问题要求我们思考其对于存在性风险有什么影响。我们要区分两种风险：状态风险和步骤风险。作者的结论是，考虑到存在性状态风险时，我们应该支持加速。而如果我们知道未来的某个步骤必定会导致存在性灾难，那么我们应该降低宏观结构发展的速度。
目前存在性状态风险的水平看起来相对较低，宏观结构发展速度产生影响的主要方式是通过影响面对关键步骤风险时人们所做准备的充分程度。因此，我们必须要问的问题是，认知提升如何影响关键时刻人们的准备充分程度。我们应该选择利用更高的智能，在更短的时间里准备吗？也或者在给我们更多准备时间的情况下，我们应该选择使用和当前差不多水平的智能。
认知提升是有益的，至少是当我们把重点放在智能爆发的存在性风险上的时候。作者还讨论了我们已经能够识别的一个重要的技术耦合，也就是全脑仿真和人工智能之间的技术耦合。总的来说，人工智能先发展，全脑仿真就可能不会出现。而全脑仿真先发展，必然会出现人工智能的发展，两次发展加起来的风险总和可能更大。
值得重点强调的是合作的重要性，合作会带来很多好处，能降低机器智能研发过程中的草率程度。根据合作机构规模的不同，以不同形式来合作，在遵循共同利益原则的前提下，超级智能的研发只能用来服务全体人类的利益和广泛共享的道德，这一点非常重要。
第十五章 关键时刻
一、 核心目标
通过全书的论述，我们已经知道我们可能身处在即将面对智能爆发以及其带来的灾难性结果的困境中，那么我们应该做些什么呢？如果将“发现”视为把信息的获得从一个较晚的时间点提早到一个较早的时间点的行为，那么发现的价值就不等同于被发现信息的本身价值，而是在更早的时间上获得这个信息的价值。我们需要把重点放在那些不仅重要而且急迫的问题上，这些问题需要在智能爆发之前就得到解决。我们还应该注意不要研究那些有负面价值的问题。
在选择优先解决哪些问题时，还有一个特别需要考虑的因素，即我们需要研究的问题要对于我们付出的努力来说是有弹性的。什么叫有弹性呢？就是一个问题，如果我们增加一份努力，解决这个问题的速度就会快很多，或者问题解决的程度就会大很多，这种问题就是有弹性的。而如果在我们百般努力的情况下，这个问题的解决还看不到希望，这种问题就没有弹性。
为了降低机器智能革命的风险，我们提出两个看起来最能满足上述所有条件的目标：战略分析和实力建设。在充满困惑和不确定性的背景下，进行更多的分析尤其具有更高的价值。看清战略态势能够帮助我们更有效地展开后续行动。另一个具有高度价值的行动是发展一个严肃对待未来的完备的支持系统。这个行动和战略分析一样，具有在一系列场景下都有用的稳健性。
除了寻找战略之光和优秀实力这两个总体目标之外，一些更加具体的目标也可能会带来成本有效性的行动机会。一个这类的具体目标是，在克服机器智能安全性的技术挑战方面取得进展。另一个具体目标是，在人工智能研究者中推广最佳实践，在控制问题方面取得的任何进展都需要广泛传播。
作者在总结他对超级智能爆发问题的看法时，有一个非常有意思的比喻。在智能爆发的前景之下，我们人类就像拿着炸弹玩的孩子。玩具的威力和我们的行为的成熟度是如此不匹配。超级智能是一个我们现在还没有准备好应对的挑战，而且很长时间之内都不会准备好。尽管我们把炸弹放到耳边能听到微微的滴答声，但是我们也完全不知道爆炸会在何时发生。
对于一个手拿尚未引爆的炸弹的孩子来说，最明智的做法莫过于轻轻放下，快速跑出屋子告诉大人。然而我们面对的不是一个孩子，而是很多的孩子。这里面所有孩子都不是熊孩子的可能性几乎为零，一定会有哪个熊孩子，因为好奇心而去按下引爆按钮。我们不知道逃离的方法，也看不到任何成年人。
在这种情况下，任何“太棒了”的高兴情绪都是不适合的，惊愕和恐惧也许会稍微合适一些，但是最恰当的态度是下定决心，发挥我们最好的实力。就像准备一场很难的考试一样，考试通过了梦想就会实现，考试失败了梦想就会破灭。
这不是一个张狂主义的处方，智能爆发可能离我们还有几十年的时间。但是我们也不能忘记全球性的重要事务，透过日常烦琐的迷雾，我们能够看到这个时代的核心任务。在本书中，我们尝试着在相对模糊不清的视野中辨别更多的特征，我们看到降低存在性风险，并且实现导向合理使用人类宇宙资源的文明进步，会是我们道德上的主要优先事项。
总结：
向人工智能输出价值观目前存在困难，现在提出的一些想法仍然只是可能性，有的会走向死胡同，有的存在希望。
向人工智能输出的价值观应该时一种间接的规范，植入的价值观应该是更加可靠的，而不一定是非常完美的。
我们对待人工智能的态度，应该是谨慎而略带畏惧的，像应对一场重要的考试一样。
思考与讨论：
（开放性讨论）
书中提出了很多种价值观加载方法，但都被作者认为是希望不大的。针对如何把价值观加载给智能体，你有什么想法？
我们可能并不是研究人工智能的专家，也不是握有权力的大组织决策者。那么，眼看着超级智能伴随着未知的结果正在赶来，我们可以做的是什么呢？
摘自《超级智能》作者[英]尼克·波斯特洛姆
[卡片作者]王嘉喆
