学术笔记
柏拉图危机与哥德尔武器
这题目看着耸人听闻，却非标题党。柏拉图危机是指柏拉图机给人类带来的可能危机。哥德尔武器是指哥德尔自指技术可以成为一种数字科技武器。
最近在写一篇文章《柏拉图机与人工智能》。文中区别了计算机与人工智能中的逻辑实在与数学实在。两者作为柏拉图机实在设置，逻辑实在定义了智能而数学实在定义了计算。在资源稀缺假设下，智能与计算成为两种不确定性，且两者之间存在竞争关系。然后，应用哥德尔方法，将智能与计算合成为一个柏拉图机。在其上，哥德尔独立性命题被定义为一类柏拉图独立代理人（Platonic independent agent)。这些代理人负责对人工智能作逆向检测。
激情之下，正写的得意阑珊，却泛起内心隐忧。这种文章有人看吗？柏拉图的理想国何其遥远，哥德尔又是何许人也？彷徨之间，读到了英国《金融时报》对张文江的访谈。其中，张文江谈及以下诸点。
第一，更大的潜在风险是生存风险——我们如何设计和控制未来更强大的人工智能系统，以使其不会逃脱人类的控制？
第二，我们在“北京AI安全国际对话”上制定了生存风险的定义，其中最有意义的是划定的红线（详情可访问 https://idais-beijing.baai.ac.cn ）。
例如：人工智能系统永远不应该自我复制和改进。这条红线非常重要。当系统有能力自我复制、自我改进时，它就会失控。其次是欺骗，人工智能系统不应该具有欺骗人类的能力。
第三，Geoffrey Hinton的研究表明，数字系统的学习速度比生物系统快，这意味着人工智能的学习速度比人类快——有朝一日必定会超越人类智能。如果你相信这一点，那么这只是时间问题。你最好开始做点什么。如果你考虑到潜在的风险，比如有许多物种已经灭绝，那么最好为此做准备，希望能防止类似的情况发生。
最后，第四，争论的焦点在于当前的人工智能系统是否真的具备通用人工智能 (AGI) 能力，或者它们是否会导致AGI，以及距离有多远。但是，如果你同意存在风险，那么观点上其实没有太大差异。
什么是前面提到的柏拉图独立代理人？是一阶理论中的一类自指语句。什么是自指语句？就是把一个公式的哥德尔数代入此公式中的自由变元。什么是哥德尔数？就是通过哥德尔配数法为一阶逻辑形式语言中的符号、公式和证明都配以一个唯一的奇数或合数（偶数）。哥德尔独立性结果展现了自指语句的“破坏性”，曾带给希尔伯特不可言喻的挫折感。自指语句家居何方？哥德尔说，在客观世界，也就是柏拉图世界。这个柏拉图世界存在吗？张文江说存在。这个柏拉图机危险吗？辛顿说危险。为什么危险呢？因为大家都认为，人工智能系统可自我复制和改进。既然自我复制有危险，那么哥德尔数就有危险。所以，我们有，
命题1 在人工智能领域，假设自我复制的危险是存在的。所以，由此推论，柏拉图独立代理人是存在的。
命题2 在人工智能领域，假设柏拉图独立代理人是存在的。这就要求，智能与计算之间存在相互作用。
结论：所谓的柏拉图危机，正预测了柏拉图机的潜在力量。所谓的自指武器。正说明了哥德尔代理人的义务与权利。
（杨英锐，2024-7-3）
