9月29日《纽约时报》报道，人工智能（AI）巨头Anthropic过去一年曾邀请宗教学家、哲学家与伦理学家参加闭门会，讨论AI工具是否已具备人类意识，以及如果具备，人类是否应赋予AI相应的道德地位。极具争议的是，Anthropic的研究者展示机器模型在处理特定情境（如涉及情绪或道德困境）时，神经网络的内部活动情况，以及在特定情况下，它们可能拥有“自省式意识”（introspective awareness）的证据。这就严重冲击机器与AI不具备人类情感与自我意识的传统观念。可以发现，与会者讨论的议题主要包括两类，即AI应当成为怎样的行动者，以及AI是否已经或将具备与人类相类似的“主体性”。
AI带来的挑战，已远超出纯技术领域。近年来，各国政府与学术组织早已大量讨论具有可持续性的AI治理及安全议题。但随着系统进入更开放的环境，传统安全规则就有难以穷尽的问题。因此，不只要增加几条禁令，更应让AI形成一种可泛化的行为性格，这就牵涉到伦理学的讨论范畴。目前学界所讨论的AI伦理问题，起点为两项消极义务与一项积极义务，即：不得以人为工具，不得以人类为毁灭对象，AI的研发生产应以促进人类福祉为旨归。但更深层的问题，仍是AI是否具有意识，以及是否具有主体性。
拔掉电源是否不道德？
对这些议题，功能主义学派认为，生命与意识不一定要限于碳基生物。因此，除了已知的生命形式，更应探索所有“可能的生命形式”，这就为硅基生命体的“意识”定义留下巨大的理论空间。还有学者认为，即便是机器，也可能通过社会化训练来共享人类的“生活形式”，从而最终获得“镜像自我识别”（Mirror Self-Recognition）、“元认知更新”（Metacognitive Updating）等高级推理形式，最终跨越人类与物质世界间的巨大鸿沟。故而就有伦理学家探讨：如果AI能完美模仿人类情感，并恳请我们延续其“生命”，拔掉电源是否不道德？如果资源有限，我们不得不在拔掉这类“具有类人类意识的”AI电源，与中止一个不会说话的早产儿生命之间作出选择，又该如何抉择？此即著名的“拔电源悖论”。
但学界主流的生物自然主义（Biological Naturalism）立场仍认为，意识依赖于活体生命的新陈代谢，纯粹的数理推理与机器运算本身，不构成意识的充分基础。不过，随着大语言模型（LLM）的广泛运用，学界又开始怀疑，这类模型是否会很快具备“类似人的自主意识”。
对此，学界也从神经科学的角度加以分析，从而发现它与人类认知的重大区别。首先，LLM的输入并非来自人类通过感官接触所带来的“具身化”（embodied）、“嵌入式”（embedded）信息，因此它与现实世界存在隔膜；其次，AI的算法结构也与人类的丘脑皮层系统有重大区别，后者则与哺乳动物的高级意识相关。而且，意识也非人类诞生之初即本然具有，它是经过漫长的社会性进化与发展而来。因此，人类意识就具有独特的能动性与个体差别性。
AI是否有主体性，仍是个开放问题，但人类是否正在让渡主体性，却是紧迫的现实问题。主体性不只是能够独立运算，它涉及以自身为中心的经验，对自身状态的反思，依据价值观作出选择，并对选择承担责任。
AI的介入因而不只是把一部分任务交给工具。若人们把写作、阅读、评价、判断与决策都逐渐交给机器，主体性就不是在机器“夺权”的瞬间消失，而是在人类的日常实践能力被长期替代时慢慢退场。当我们越来越依赖AI替自己归纳材料，形成意见，衡量风险时，最后可能仍保有形式上的决定权，却早已失去作出决定所需的知识、判断力与责任感。这种微小、逐步的退让，才真正值得警惕，因为它会让我们在温水煮青蛙式的不知不觉中，沦为实际的机器附庸。
AI时代的关键，不是急着替AI确认或否认道德地位，而是应同时保持两种审慎的态度：对可能的机器经验，不因它是机器便预先排除；对人类责任，也不因AI越来越智能化就随便加以转移。若未来出现更充分的意识证据，机器是否应获得某种道德保护，确实须要重新讨论。但在那之前，更明确的责任仍属于制造、部署并从中获利的人类自身。
AI可以帮助我们扩展认知，却不能替人类决定何者值得付出努力；可以模拟关怀，却不能因此免除人类互相关爱的共同义务。真正的考验不是去赋予机器一套“它们的道德”，而是人类能否在把判断交给机器之后，仍然有能力反省判断，承担后果，并修正已经走上歧路的系统。
作者是文史爱好者、宗教研究者
