30年前，我父亲那一代不少人会耕种。他们懂得看天气、辨土壤，知道什么时候播种、什么时候收成。到了我这一代，这些事情我当然也可以学，但现实是：谁还会特地去学？我们每天走进超市，就可以买到需要的食物。不会耕种并不妨碍生活。久而久之，这项曾经十分普遍的生存技能，便从大多数人的生活中消失了。
这看起来只是社会分工和科技进步的结果。但人工智能（AI）带来的变化，与农业机械、汽车或计算机并不完全一样。过去的机器主要替代体力劳动，AI开始替代的，却是人类的记忆、分析、表达、判断，甚至选择。这才是我真正担心的地方。
谈到AI的威胁，人们很容易想到科幻电影：机器突然觉醒，产生自己的意志，然后接管世界。我倒觉得，现实可能没有那么戏剧化。AI不须要发动一场“战争”，也不须要宣布统治人类。它只要足够方便、足够聪明、足够了解我们，人类就会主动把越来越多事情交给它。
最开始，我们让AI查资料；接着让它整理报告、回复电邮、制定计划。再后来，我们可能让它筛选求职者、判断贷款风险、安排医疗资源、推荐投资产品，甚至告诉我们应该读什么、相信什么，和什么人交往。
每一次交出去的理由都很充分：它比人快、比人便宜，似乎也比人客观。问题是，一种能力只要长期不用，就会慢慢退化。更严重的是，经过几代人以后，消失的不只是个人能力，还有学习这种能力的环境和意愿。
我的父亲会耕种，我不会，但我至少知道自己不会。将来，从小就在AI陪伴下成长的孩子，可能连自己失去了哪些能力都不知道。第一代还会怀疑，第三代可能只会服从。
今天使用AI的人，大多经历过没有AI的年代。我们知道答案要核实，知道机器可能出错，也知道一篇看起来很有道理的文章，不一定就是事实。
但下一代呢？如果孩子从小学开始，就用AI完成作文，整理资料和回答问题；进入大学后，让AI阅读论文，归纳观点；工作以后，再让AI写报告，作分析和提供决策，他可能拥有大量答案，却没有经历过形成答案的过程。第一代人把AI当助手，第二代人把AI当老师，到了第三代，AI会不会已经成了裁判？
人类当然不会突然变笨，但我们的社会可能越来越不奖励独立思考。自己花几小时研究一个问题，却显得不如AI几秒钟给出答案有效率；坚持亲自写作，反而像是在浪费时间；对系统提出质疑，也可能被视为不理性、不专业，甚至不合群。久而久之，人类保留的也许只是选择按钮的权利，而不是理解选择的能力。
AI不必有恶意也可控制人类
有人认为，只要AI没有情感，没有统治欲，就不必担心它会控制人类。
但控制不一定来自恶意。
假设一个系统的首要目标是提高效率，它可能认为人类的自由选择太慢了；如果它的任务是维持安全，它可能认为个人隐私妨碍风险管理；如果它负责社会稳定，就可能把不同意见视为须要减少的噪音。
这些决定甚至可能在统计上“正确”，也可能让多数人的生活更方便。人们因此愿意接受更多监控、更多自动决策，也愿意交出更多个人资料。
今天，我们已经主动告诉AI自己的工作、家庭、健康、财富、情绪、兴趣和人际关系。单独看，每一项信息似乎都没有什么大秘密；合在一起，AI对一个人的了解，却可能比他的朋友、同事甚至家人更完整。当AI掌握一个人的行为习惯、弱点、欲望和恐惧，它就不一定须要命令这个人。只要调整他看到的信息、给出的建议和可供选择的范围，就足以影响他的决定。
这不是传统意义上的强迫，却可能是一种更有效的控制——因为被影响的人仍然相信，一切都是自己选择的。
更应该认真讨论这件事
新加坡重视效率，也善于运用科技改善治理和生活。这是我们的优势，但也意味着我们可能比其他社会更容易接受“系统替人决定”这件事。
AI可以帮助教师备课、医生分析病情、企业提高生产力，也可以帮助政府改善公共服务。这些应用不应该被否定。但我们不能只问AI能做什么，也要问：哪些事情无论多么低效，都必须由人亲自完成？
学校可以让学生使用AI，但也必须保留不用AI完成阅读、写作、计算和辩论的训练。企业可以采用自动决策，却不能让员工只负责执行机器结论。涉及教育、医疗、信贷、就业和公共权利的决定，更不能因为算法效率较高，就取消人工复核、申诉渠道和责任承担。
更重要的是，社会不能把“会使用AI”等同于“会思考”。一个人能够熟练地给AI下指令，并不代表他能判断AI给出的答案是否正确；一个人借助AI写出漂亮文章，也不代表其中观点真正属于他。
我们须要保留的，不是所有已经被机器取代的旧技能，而是几项不能外包的能力：独立形成观点、质疑权威、分辨真假、承担责任，以及在系统失效时，仍然能够由自己作出决定。
AI企业之间正在激烈竞争。谁拥有更大的模型、更多的数据和更强的算力，谁就可能掌握未来的平台和入口。在这场竞赛中，“开发得够不够快”受到大量关注，“是否应该暂停”却很少有人认真讨论。
但并非所有能够开发的领域都应该立即开发，也不是所有能够交给AI的权力都应该交给AI。社会需要的不只是鼓励创新，也包括明确边界。哪些个人资料不应被长期保存，哪些决定必须由人负责，哪些核心系统必须保留人工和离线运行能力，儿童在什么年龄以前不应依赖生成式AI，这些问题都应在AI全面进入生活之前讨论，而不是等到整个社会已经无法退出时再补救。
我并不主张拒绝AI，人类也不可能停止技术进步，就像不可能为了学习耕田而回到农业社会。但使用工具和依赖工具是两回事；让AI增强人的能力，与让AI替代人的主体性，也是两回事。
真正的危险不是AI比人聪明，人类制造的许多机器，本来就比人在某些方面更强。真正的危险是，当我们习惯由AI替我们记忆、分析、表达和决定以后，是否还具备不同意它的能力。
或许有一天，当你想写一篇文章反对AI时，文章本身却是AI根据你自愿告诉它的一切，替你写出来的。到那一刻，你觉得是你在训练AI，还是AI已经驯化了你？
作者是本地资本市场与商业咨询公司执行董事
