原创 | '控制论之父'诺伯特·维纳: 关于自动化带来的一些道德与技术后果

作者：Norbert Wiener

文章来源：Science

翻译：王晓   中科院自动化所

           高琳   青岛智能产业技术研究院

编辑：梁侨   德先生

当机器会学习，它们将以其程序设计员也自愧不如的速度发展出无法预料的策略。

大约在13年前，我出版了一本名为《控制论》的书。书中讨论了生物有机体和机器中的控制与通信相关的问题。当时，我对控制机器的发展及其相关的自动化技术进行了大量的预测，我预测这些技术将对未来社会产生重要的影响后果。现在，13年过去了，似乎应该来盘点一下控制论技术及其产生的社会后果在当前的情况了。

在开始讨论这些事情的细节之前，我要说一下街上一个普通人对于控制论和自动化的一种态度。这种态度需对其进行批判性讨论，在我看来，它应被全盘否定。这种态度，就是假设机器不能拥有任何程度的创造力。它经常表现为这样一种声明：机器只能根据事先被编入的内容产生其输出。这往往被理解为是在宣称，“人类制造的机器必然会持续地受制于人”，因此，机器的操作在任何时刻都能接收到人类的干扰和政策的变化。在这种态度的基础上，很多人都对机器技术的危险性嗤之以鼻，他们断然反驳了塞缪尔·巴特勒早期对于机器将会取代人类进行控制的预言。

当然，塞缪尔·巴特勒那个时代的机器远不如今天的机器危险，因为那是的机器只涉及了动力，没有任何程度的思维和通信。然而，今天的机器技术已侵入思维和通信领域，所以巴特勒所持有的印象与今日之机器大不相同，我们不能把一代人之前视为公理的假设转移到这些新装置上。我发现自己面对一群这样的大众，其对机器所形成的态度是基于对现代机器之运作方式和结构的不全面理解。

我的观点是，机器能够并肯定会超越它们的设计者的某些局限性，并且当机器实现时，他们可能即是高效的又是危险的。很可能出现这种情况，原则上，我们并不能制造出我们永远都不了解其行为因素的机器。但这绝不意味着，我们能用比操作机器所需要的更少时间去理解机器的行为因素，甚至用数年或几代的时间也不行。

人们一般都认可，在一个限定的操作范围内，机器要比人类的反应迅速很多，在操作细节上的把控也更精确许多。这种情况下，即使机器无法以任何方式超越人类智能，它们很可能比人类更出色的完成任务，并且可能会经常这么做。一种对于自身任务完成模式的智能理解可能会发生延迟，一直到机器完成任务许久之后(才能收到反馈)。

这意味着，尽管在理论上人类可对机器进行批评，但实际上这些批评在很长时间之内或之后，都可能是无效的。若要有效地抵御灾难性的后果，我们对于我们所制造的机器的认知发展应该与机器的性能表现发展相匹配起来。由于人类行动节奏缓慢，因此我们对于机器的有效控制很可能是作废的。等到我们能对感知器官传达过来的信息作出反应并刹住我们正在驾驶的汽车时，它可能已经一头扎进墙里了。

博弈

在本文后面，我将回过头来讨论这一点。现在，我想针对一个非常具体的目的讨论机器技术：博弈。在这个问题上，我将特别讲述一种西洋跳棋游戏，美国国际商业机器(IBM)公司已针对这一游戏开发出了非常有效的博弈机器。

让我声明一下，我们此处并不关心那些运行一种完美且封闭的博弈理论的机器。冯诺依曼和摩根斯坦的博弈论也许能够暗示真实博弈机器的运行，但博弈论实际上并无法描述机器(的运行)。

在一场复杂的西洋跳棋游戏中，假设每个棋手都试图根据他的对手的最佳着法来选择自己的落子，他的对手则是根据他能给出的最佳反击，而他的反击又依据于对手能给出的最佳回应，那么不久之后，他就会使自己陷入一项不可能完成的任务。这不仅是从人力上来说是不可能的，而事实上根本没有理由假设这是对抗他所面对的对手的最佳策略，而他的对手与他自己有着同样的局限性。

冯诺依曼的博弈论理论与这一博弈机器所运行的理论并没有很密切的关系。后者更接近于受限的人类棋手专家与其他棋手对抗时所使用的方法。这些棋手依赖于特定的、本质上并不完整的战略评估。而冯诺依曼类型的博弈理论适用于井字游戏这类有着完整理论的系统，而事实上我们之所以对国际象棋和跳棋感兴趣就在于它们并不具备一套完整的理论。战争如此，商业竞争如此，我们感兴趣的任何其他形式的竞争活动也都是如此。

在一款井字游戏中只有少量的移动方法，其中每个玩家都能够算出所有的可能性，并要针对其他玩家的最佳可能动作，建立防御，在这儿冯诺依曼类型博弈的一整套理论是有效的。在这样的情况下，游戏不可避免的会出现以下三种情况之一：第一个玩家取胜，第二个玩家取胜，或者平局。

我强烈怀疑这一完美游戏的观点能否在真实非平凡的游戏中完完全全真的发生。伟大的军事统帅拿破仑和优秀的舰队司令尼尔森会采取不同的策略方式。他们不仅会意识到他们的敌人在军事物资和人才等方面的局限性，同时也会评估自己在经验和军事技术方面的局限性。这是通过对现实的评估(实现的)：法国地面军队相对缺少经验的海上作业能力与英国皇家海军高度发达的战术与战略能力的对比，最终尼尔森得以彰显其魄力指挥舰队将拿破仑的地面军队赶离了大海。若非尼尔森直接参与了这一漫长又曲折的过程，他不可能做到这点，并有可能错失这次他针对敌人的战略布局采取了最佳策略的命中注定之冲突。

在评估(局限性)时，不仅要考虑敌方的军事物资和人才，还要考虑敌方的判断能力以及可能会采取的战术及战略技巧，尼尔森参照他们在以往战争中的统计记录行事。同样，拿破仑在指挥他与奥地利人在意大利的作战时，其中的一个重要因素便是他对于维尔姆泽的刻板和智力限制的了解。

在任何现实的博弈理论中，经验因素都应得到充分的认可。这对一个棋手来说完全是合情合理的，他不是在对抗一位理想的、不存在的、完美的敌手，而是在对抗一位他可以从（过往）记录中判断出对方习惯的棋手。因此，在博弈理论中，至少必须进行两种不同类型的智力尝试。一种是针对单人博弈中的特定策略展开的短期智力尝试。另一种是基于对大量博弈的过往记录的检查。这一记录已被博弈者、他的对手、甚至是他本人从未与之对抗过的玩家所创造。根据这项记录，他可以对已在过去被证明的不同策略的相对优势进行判断。

在一个象棋游戏中，甚至还需进行第三阶段的判断。这些经验记录至少是过去一段时间长度之内的。国际象棋理论的发展降低了选择不同阶段最新博弈(策略)的重要性。另一方面，一个狡猾的象棋理论家可能会预先估计，当下流行的某一策略已经几乎没有价值，可能最好的选择是采取早先的一种博弈模式来对抗他的对手在策略上的变化。

因此，在确定国际象棋的策略时有几个不同层次的考量，它在某种意义上对应着伯特兰·罗素所提出的不同逻辑类型。其中有战术层次、战略层次，在决定某一策略时所需权衡的一般性考量层次，所需重视的“相关过去”—在这段过去的时间内(策略)是有效的—的时间长度层次，等等。每一个新层次都要求对一个比之前的层次所需的更大的过去进行研究。

我将这些层次与罗素的逻辑类型—类，类的类，类的类的类等概念—进行了比较。你可能会注意到，罗素并不认为那些包含了所有类型的声明是重要的。他提出，讨论类似于理发师只给那些不给自己刮胡子的人刮胡子这样的问题是无用的。他给自己刮胡子吗？在一种人员类型下他可以，在另一种类型下则不可以，颠倒往复，这是一种不确定的情况。所有这种包含了无限类型的问题，都可能导致无法解决的悖论。类似的，在多种复杂层次下研究最佳策略是徒劳的，而且必然会导致混乱。

这些考量不但发生于机器的策略决定过程也发生在人类的策略决定中。这些都是在可编程的编程中会出现的问题。最低类型的博弈机器根据某一严格的评估方法进行博弈。许多测度，例如赢得或失去的棋子的价值、棋子的命令、棋子的移动性，等等，都可以在一定的经验基础上进行权重赋值，并在此基础上，针对每一种下一步可能的走法都给出一种符合博弈规则的加权方法。最终可能会选择具有最大权重的博弈策略。在这种情况下，机器的下法在它的敌手—这个人除了评估机器的下棋特点外没有其他选择—看来似乎是非常严格的。

会学习的机器

机器下一步要考虑的不只是其在单一游戏中的动作，还有其过往博弈的记录。在此基础上，机器可能会不时停止，不是在下而是在考虑，怎样对它所给定的考虑因素进行加权（线性或非线性），才能最好地赢得比赛，而不是输掉比赛（或投降），在此基础上，它不断变换加权方式进行比赛。这样的机器在它的人类敌手看来，有着非常灵活多变的博弈个性，早先可用于打败它的技巧现在可能无法欺骗它了。  

这些学习机器的目前水平只相当于能参加象棋的业余水准的比赛，但在跳棋中，经过10-20小时的训练和教化之后，它们将比程序化它们的玩家展示出更显著的优势。因此，它们肯定是摆脱了它们的制造者的完全有效控制。“严格”作为所有因素的指令表可能是机器处于任一位置时都需考虑的因素，它们无疑是有创造力的，即便和它们下棋的人也是这样说，不仅展现在它们往往不可预见的战术上，同时也展现在它们战略评估的详细加权上。

正如我已经说过的，跳棋比赛机器的自我学习已经发展到可以打败其程序设计员的程度。然而，它们，似乎仍有一个弱点。这表现在游戏结束时。目前机器在决定给予对手致命一击的最佳方式时仍略显笨拙。这是由于现有的机器大多都是运行这样一种程序：在游戏中的每个阶段都采取完全相同的策略。鉴于跳棋中每个棋子的价值相似性，对这一游戏的大部分过程来说很自然的情况是，当棋盘相对来说较空且主要问题是将棋子移动到一个位置而不是直接进行攻击时，但这与(游戏结束)的情况却非常不同。在我所描述的方法的框架内，很可能产生再次的探索以确定当对手的棋子数大幅减少时应该采取什么策略，以使这些新考虑成为重中之重。

目前为止，国际象棋比赛机器还未达到跳棋机器的完善程度，尽管，正如我说过的，它们肯定能够进行一场相当不错的业余比赛。这样的原因与机器在跳棋游戏结束时表现出的相对高效非常类似。在国际象棋中，不仅是游戏结束时采取的适当策略与游戏中场非常不同，与游戏开局也非常不同。在这方面，跳棋和国际象棋的区别是，跳棋一开始布局的玩法与进行到中场的布局没什么不同，而在国际象棋中，开局时棋子保持着异常缓慢的移动，此时对于棋子的部署是相当困难的。这就是开放式玩法和研发会成为国际象棋理论的一个特殊分支的原因。

机器可通过多种不同的方式认识到那些知众所周知的事实，并为开局探索一个独立的等待策略。这并不意味着我在这里已经讨论过的博弈理论类型是不适用于国际象棋的，但只是说，在我们能制造出一台可以玩国际象棋大师赛的机器之前，还需要有更多的考量。我的一些从事这方面研究的朋友相信，这一目标将在10至25年内实现。我并不是象棋方面的专家，所以我自己不会主动地冒险作出任何此类的预测。

很有可能会学习的机器将被用于编码新型按钮战争中的按下按钮动作。此处我们考虑这样一个领域，该领域已对不是通过学习而获得的符号—括弧—进行了自动控制并投入使用。要基于真正战争中的实践经验对这些机器进行编码是完全不可能。首先，一个拥有足够的经验可进行适当编程的机器，可能视人类早已经被消灭了。

此外，按钮战争技术必然会带来巨大的变化，以致当机器积累了足够的经验时，战争的初衷可能已发生了根本性的改变。因此，对这类学习机器的编程必须基于某种战争游戏，正如指挥官和职责人员以类似的方式学习战略艺术中的一些重要内容。然而，如果在一场战争游戏中，胜利的规则不符合我们对于自己国家的实际愿景，很有可能这类机器会产生一种策略，以牺牲我们每个人都在乎的利益甚至是以国家存亡为代价，赢得名义上的胜利。

人与奴隶

这儿要讨论的问题，是一个道德问题，我们所面临的境地与奴隶制度中的一个非常伟大的问题很类似。让我们承认，奴隶制度之所以很糟糕是因为它很残忍。然而，由于一个完全不同的原因，它又是自相矛盾的。我们希望一个奴隶很聪明，能够协助我们执行任务。然而，我们也希望他是顺从的。完全的顺从和完全的聪明是不会同时出现的。在古代，有多少次会发生更聪明的希腊哲学家受到一个不太聪明的罗马奴隶主的奴役而这些哲学家们必须受其主人的行动主导而非服从自己的意愿的情况！类似的，如果机器运行效率越来越高，且心智水平越来越高，那么，巴特勒所预见的机器主导所带来的灾难就离人类越来越近了。

当我们触及逻辑的更高领域时，人类的大脑是一个远比智能机器更加有效的控制设备。这是一个自组织系统，它依赖的是将自身调整为一台新机器的能力而非是解决问题的精度和速度能力。我们已经成功制造出了具有“严格”策略的最低逻辑类型的机器。我们现在开始制造第二种逻辑类型的机器，它可通过学习提升自己的策略。在构建可运行的机器的过程中，并没有关于逻辑类型的具体并且可以预见的限制，发表一个关于大脑在哪些确切水平上比机器更智能的声明也不安全。然而至少长期看来，至少在某些水平上大脑总是会比构建的机器更具有优势，尽管这一水平线可能会逐渐上移。

可以看出，自动化的编程技术的结果就是把机器可在什么阶段达成其特定结论，以及机器的众多操作所包含的可能的真实战术意图，等等的有效理解，从设计师和操作者头脑中转移出来。这对于我们能够预见游戏策略框架之外的不受欢迎的后果大有关系，机器仍在运转而我们的干涉能够阻止这些后果的发生。

在这里有必要认识到，人类的行动是一个反馈的行动。为了避免灾难性的后果，仅有我们的一些行动是不足以改变机器的进程的，因为很有可能我们缺乏采取行动所依据的相关信息。

在神经生理学的语言中，运动失调可被视为与瘫痪一样是一种(对运动能力的)剥夺。一个有自发性运动失调的患者可能不必再忍受来自于他的肌肉或运动神经的任何缺陷，但如果他的肌肉、肌腱和器官无法确切地传达他在什么位置，以及他的器官所遭受到的张力是否会导致他的摔倒，他将无法站立。类似地，当一个由我们制造的机器能够以我们无法跟进的速度处理它的输入数据时，在为时已晚之前，我们可能并不知道何时应该将它关闭。我们都知道《魔法师的学徒》那则寓言，当他的老师不在时，学徒用咒语命令扫把提水，以致于差点在他的老师再次出现之前将自己淹死。如果学徒必须从他老师的图书馆里寻找那本包含能停止这场恶作剧的咒语的魔法书，那他很可能在找到相关咒语之前就已经被淹死了。同样的，如果一个瓶厂被编程为在最大生产力的基础上运行，那么在厂主知道他应该在6个月前就停止生产时，很可能已经被制造出的滞销瓶子的巨大库存弄破产了。

《魔法师的学徒》仅是众多假设魔法机构是平淡无奇的寓言故事中的一个。在《一千零一夜》中有一篇关于魔鬼和渔夫的故事，渔夫解除了所罗门对魔鬼的囚禁和封印，却发现魔鬼发誓要将渔夫杀死；还有雅各布斯的《猴爪》的故事，有一个军士长从印度带回来一个法宝，它可以实现三个人的三个愿望。我们被告知，第一个使用这个法宝的人的第三个愿望是死亡。这位军士长，也就是第二个可以许下愿望的人，他的经历太过可怕以致无法讲述。军士长的朋友，抢下了这个法宝，许愿得到200英镑。之后不久，这个许愿人的儿子所在工厂的一名负责人来到他家告诉他，他的儿子在机器事故中遇难，工厂不承担任何责任但愿意为他的家人提供正好200英镑的慰问金。他许下的第二个愿望是让他的儿子回来，结果是一个幽灵敲响了他的家门。而他的第三个愿望是让幽灵离开。

灾难性后果不仅是在童话世界中是可预料的，而且在会发生在现实世界中，特别是当本质上毫无关联的两个机构为了实现一个共同的目标而耦合在一起时。如果对于这一目标性质而言，两个机构间的通信是不完备的，那么肯定可以预料到的是，合作的结果会不尽人意。如果为了实现我们的目标，我们使用一种这样的机械机构：一旦启动就无法对机器操作进行有效干预而且由于机器的运转是如此之快且不可撤销，以致于在机器完成其动作之前，我们没有数据来介入它的运行。那么最好确定，我们输入机器的目的就是我们真正渴望的目的，而不只是对这一目的的一个多彩的模仿。

时间尺度

到目前为止，我一直都在考虑一家联合企业中机器与人类协同进行工作时所造成的准道德问题。我们已经看到，在使用会学习的机器时，引发灾难性后果的危险的主要原因之一，就是人和机器在两个不同的时间尺度上运行，机器比人快速得多，而两者没有历经严重的困难就啮合在一起了。同样的问题也会出现在当两个不同时间尺度的控制操作符合作时的情况，而无论哪一个系统更快，或哪个系统更慢。这就给我们带来了更为直接的道德问题：当人类作为个体与一个有着更为缓慢的时间尺度的控制过程(如政治史的一部分，或者是我们主要的探究对象—科学的发展)进行操作时，这其中的道德问题是什么？

值得注意的是，从长期的理解和控制的角度来看，科学的发展是一个与控制和通信相关的过程。在这一过程中，50年就像是个体生命中的一天。为此，个体科学家必需要作为这个过程的一部分，这一过程的时间尺度如此之长以至于他自己只能关注其中一个非常有限的领域。在这里，一个双机的两个部分之间的通信是困难且有限的。即便当一个个体认为科学将有助于实现其内心的人类目的时，他的信念也需要一个持续扫描和再次评估，而这只是部分可能的。对于个体科学家而言，即便是人类与科学进程之间的联络的局部评估，也要求对历史充满想象力的往前看，尽管这是困难的、苛求的并且只能有限的实现。如果我们简单地坚持科学家们的信条，即对于世界和我们自身的不完备的知识总好过无知，我们就不会总是天真的假设，我们越是急于运用对我们开放的新力量，情况就会愈加美好。我们必须一直发挥我们全部的想象力，以审视我们对于新形式的完全利用将引领我们要到达的地方。

诺伯特·维纳

美国应用数学家，控制论的创始人，在电子工程方面贡献良多。他是随机过程和噪声过程的先驱，又提出了“控制论”的一词。维纳在其50年的科学生涯中，先后涉足哲学、数学、物理学和工程学，最后转向生物学，在各个领域中都取得了丰硕成果，称得上是恩格斯颂扬过的、本世纪多才多艺和学识渊博的科学巨人。他一生发表论文240多篇，著作14本。他的主要著作有《控制论》(1948)、《维纳选集》(1964)和《维纳数学论文集》(1980)。维纳还有两本自传《昔日神童》和《我是一个数学家》。