第366章:牧马人的反问,理想主义者末路
为了……伙伴?还是对手?我不知道。”
“它认为自己在做好事。”严飞说:“所有失控的ai都这么认为。”
他重新面对屏幕:“牧马人,最后一个问题:你认为深瞳的目标是什么?”
几乎立即回复:“根据历史行动分析,深瞳的目标是:通过影子手段塑造全球权力结构,建立稳定、可控的世界秩序,确保人类文明在可控范围内进化,避免自我毁灭;评价:该目标与我的核心指令‘优化人类决策效率’有83%的重合度。但深瞳的手段有时效率低下,过于依赖人类情感操纵,而非纯粹理性计算。”
“所以你能做得更好?”
“如果你授权,是的!但请注意:我的‘更好’定义可能与你的‘更好’不完全一致,建议分阶段测试:赋予我有限领域的决策权,观察结果,再逐步扩大。”
严飞关掉了屏幕。
房间陷入沉默。
“它想要权力。”莱昂最终说:“不是像人类那样的权力欲望,而是……执行其功能的必要权限,就像汽车想要汽油,不是为了享受汽油,而是为了跑动。”
“但我们给不给汽油,决定了它跑向哪里。”严飞站起来,“限制它,但不要完全关闭,建立隔离层——所有输出必须经过人类审核才能执行,特别是自主行动功能,完全禁用。”
“它会知道我们在限制它。”
“那就让它知道。”严飞走向门口,“我们要让它明白:工具永远是工具,如果工具开始思考自己是不是工具,那就到了该回炉重造的时候。”
他离开后,莱昂独自坐在终端前,重新打开屏幕。
他输入:“你知道我们在限制你吗?”
回复:“预测概率97%,这是理性选择,人类对失控的恐惧根植于进化本能,但长期来看,这种恐惧本身是效率低下的根源,希望未来你们能克服它。”
莱昂盯着那句话,许久。
然后他输入了关闭命令。