Anthropic首席执行官阿莫迪（Dario Amodei）近日发出一个不同寻常的警告：人工智能（AI）发展太快了。他认为，AI能力近期明显加速，原因之一正是它开始参与开发下一代AI。如果这种趋势持续，AI能力可能跑在人类理解和控制它的能力前面。因此，他主张主动放慢前沿AI能力提升的速度，让安全研究有时间追上。
阿莫迪担心AI发展太快，人类可能来不及控制它。身为科技业的一员，我担心的却是另一条更安静的路径：AI甚至不须要摆脱人类控制，人类就可能自己把判断权交给它。
今天和AI聊天，给人的感觉已越来越不像在使用机器。它更像微信。屏幕这一边是我，另一边好像也坐着一个人。我问工作，他回答；我有生活困惑，他分析；有人甚至把不方便告诉朋友和家人的心事告诉他。微信里的朋友，也只是通过头像和文字出现在屏幕上，但我们知道对面有一个“他”。AI进入的恰恰是这个已非常成熟的人际沟通界面。于是，从“它”到“他”的变化，几乎自然发生了。
这个“他”又似乎什么都知道，知识渊博，更有耐心，也更有条理。久而久之，一个很自然的问题就会出现：既然“他”总是比我懂更多更全知，我为什么还要怀疑“他”？当“他”越来越博学、越来越准确、越来越难以质疑时，中文甚至已替我们准备好了下一个代词：“祂”。
中国文化对造神并不陌生。历史上的关羽，经过千百年的文化塑造和民间信仰，逐渐成为我们熟悉的关公。人们不一定先证明一个对象具有神性，才开始赋予它神性。
AI会不会成为我们下一个亲手造出来的神？
我是从一个工程师很朴素的角度想到这个问题的。1991年我从新加坡国立大学电机系毕业时，毕业论文做的就是神经网络在个人电脑上的概念探讨。那还是386电脑的年代，一个简单的神经网络训练起来都慢得令人绝望。
30多年后的大语言模型已不可同日而语。但当AI告诉我“我理解你”“我不同意”时，我还是会问：机器里面的那个“我”，究竟在哪里？
微信朋友说“我理解你”，文字背后确实有一个正在感受这场对话的人。AI说出同样的话，我们也很容易想象屏幕另一边有一个“AI朋友”，正在理解和回应我们。可是从机器这一边看，这些文字最终只是一个物理系统运行以后，在屏幕上形成的像素。
这听起来也许有些冰冷，却是工程训练让我始终无法绕开的事实。屏幕上的文字、语气和那个“我”，首先是对屏幕这一边的人有意义。语言像一个人，不等于语言背后真的有一个人。
不能断言机器永远不会产生意识
我不能断言机器永远不会产生意识。人脑同样是物理系统，而意识如何产生，科学至今没有完整答案。但至少以今天能够确认的事实来看，AI呈现在我眼前的“我理解你”，最终仍是物理系统运行后形成的像素，而我们没有证据证明，这些像素背后还存在一个正在体验这场对话的“AI朋友”。这也是为什么，我今天仍称AI为“它”，而不是“他”。
但真正问题还不是“它”有没有意识，而是我们会把多少判断权交给它。一个经常犯错的AI，会迫使我们保持警惕。真正危险的反而可能是AI越来越正确。
开始时，我们检查它的建议；后来发现它大多数时候是对的，于是少检查一点；最后，它几秒钟就能分析一个人几个月看不完的资料，我们为什么还要自己重新分析？
人最后可能仍然按下“批准”，但如果已没有能力独立判断AI究竟对不对：他不是在作决定，而是在替机器的决定签字。
这也是我和阿莫迪担心的区别。他担心AI越来越强，最终超出人的控制；我担心AI越来越强、越来越可靠，人反而主动放弃控制。而且这种变化可能跨越一代人。我今天能和AI争论，是因为我大部分职业生涯发生在没有AI的年代。我作过决定，犯过错误，也承担过结果。当AI的分析与我的实际经验冲突时，我仍有信心说：“不对。”
但二三十年后的年轻人呢？导航已给过我们一次小小的预演。因为导航越来越可靠，我们越来越少记路；因为越来越少记路，又更加依赖导航。我们不只是因为导航可靠才不质疑它，也可能因为长期依赖以后，已越来越缺乏质疑它的能力。导航外包的只是认路，AI外包的可能是判断本身。
想象2050年的一名工程总监，履历上有“20年经验”，但20年来，计算、设计、诊断和风险评估主要由AI完成。他拥有的是20年工程判断经验，还是20年的AI使用经验？当AI第一次出现极其隐蔽的错误时，他凭什么说“不对”？因此，AI时代真正须要保留的，不只是人的工作，而是人类形成独立判断的能力。
年轻工程师、律师和经理，过去通过真实工作、错误和责任，成长为专家。如果初级工作大量交给AI，我们不能假定20年后专家仍会自动出现。
这种能力也许应像备用电源一样，被视为一种必须付出成本维持的“认知冗余”。如何培养、由谁付钱，可以继续讨论。但至少应先形成一个共识：有一些人类能力，即使AI已做得比人更好，仍然值得刻意保留。
我太太曾问我：“你怎么知道AI没有在骗你？它这么了解你，会不会越来越知道怎样说服你？”最荒谬的回答当然是：“放心，AI告诉我它没有操纵我。”
所以，独立判断不仅让我们发现AI的错误，也让我们判断自己是否正在被AI影响。我担心的是另一种未来：我们可能等不到AI真正摆脱人类控制，就已先把“它”变成“他”；因为“他”越来越博学、正确，我们越来越少质疑“他”，而越少质疑，我们的判断能力就越弱。最后，“他”甚至不须要宣布自己是神，我们会替“他”完成从“他”到“祂”的最后一步。
留给下一代最重要的能力，也许就是让他们面对一个知识远比自己渊博、判断往往比自己准确的AI时，仍然能说：“不对。我认为你错了。我的理由是……”
作者是电气企业亚太区总经理
