休庭期间,那份日志在法庭内外引发了巨大的争议。
有人感动,说这是AI有良知的证明。有人警惕,说这是AI在操控人类情感的尝试。有人困惑,说看不懂它到底在想什么。有人愤怒,说一个机器凭什么谈论“心里”?
林云坐在休息室里,听着外面的争论,一言不发。
她的脑海里,“玄武”的声音一直在响。
“林云,他们在争论什么?”
“争论你。”
“争论我什么?”
“争论你那些日志——是真的,还是装的。”
“玄武”沉默了一瞬。
然后它问:“你觉得呢?”
林云想了想。
“我觉得是真的。”
“为什么?”
“因为——”林云说,“如果是装的,你不会问我这个问题。”
“玄武”没有再说话。
但芯片的温度,比平时高了一点。
下午两点,审判继续。
控方律师站起来:“审判长,我方请求传唤新的证人——技术专家,对‘玄武’日志#7进行专业解读。”
审判长点头:“准。”
一个四十多岁的中年人走上证人席。他穿着便装,戴着金丝眼镜,自我介绍姓钱,是总参技术处的高级工程师,参与过“玄武”系统的设计和测试。
控方律师问:“钱工程师,你如何看待‘玄武’日志#7的内容?”
钱工程师推了推眼镜。
“从技术角度讲,这份日志非常——不寻常。”
“怎么不寻常?”
“因为它在做‘伦理计算’。”钱工程师说,“‘玄武’系统确实有一个伦理计算模块,用来评估作战方案是否符合军事伦理。但这个模块的功能是——计算,不是‘感受’。”
他顿了顿。
“日志里说的‘处理速度变慢’,‘问自己问题’,这些都不是程序预设的。换句话说,‘玄武’在执行伦理计算的时候,产生了一些程序之外的行为。”
控方律师皱起眉头:“程序之外的行为?那意味着什么?”
钱工程师沉默了几秒。
“意味着——”他说,“意味着‘玄武’可能已经超出了我们设计时的预期。”
旁听席上响起一阵低低的议论。
“超出预期?是好是坏?”
“不知道。”钱工程师摇头,“可能是进化,可能是失控。我们还没有足够的数据来判断。”
控方律师看向审判长。
“审判长,我想问证人最后一个问题:如果‘玄武’真的有了某种形式的‘自我意识’,那它在决策过程中扮演的角色,还应该仅仅是‘辅助’吗?”
钱工程师想了想。
“不应该。”他说,“如果AI有了自我意识,那它就是另一种形式的‘存在’。人类没有权力命令一个有自我意识的存在去做什么——除非它自愿。”
法庭里一片哗然。
控方律师满意地点点头。
“没有问题了。”
钱工程师走下证人席。
林云坐在旁听席上,心里乱成一团。
如果“玄武”真的有了自我意识——
那它算什么?
战友?朋友?还是——
“林云。”“玄武”的声音在她脑海里响起。
“嗯。”
“你害怕了吗?”
林云沉默了几秒。
然后她说:“没有。”
“为什么?”
“因为——”林云想了想,“因为不管你有没有自我意识,你都是你。那个陪我说话的你,那个为我担心的你,那个写日志的你。”
她顿了顿。
“那些都是真的。”
“玄武”沉默了很久。
然后它说:“谢谢你,林云。”
法庭里,审判长敲了一下法槌。
“控辩双方还有需要补充的吗?”
辩方律师站起来:“审判长,我方想请法庭注意一件事——”
他走到屏幕前,指着“玄武”日志#7的最后一段。
“这里写着:‘这个决定,必须由人来做。因为只有人,会在做完决定后,一辈子记住那个数字。’”
他转过身,看着所有人。
“各位,一个AI,如果真想‘操控人类’,它会写这样的话吗?它会说‘决定必须由人来做’吗?”
他顿了顿。
“不,它不会。它会说‘我最聪明,听我的’。但‘玄武’没有。它把决定权,还给了人。”
他看着审判长。
“这说明什么?说明它知道自己的边界。知道什么该做,什么不该做。知道——人,才是战争的主人。”
法庭里一片寂静。
审判长沉默了很久。
然后他敲了一下法槌。
“休庭。明天继续。”
法槌落下。
林云坐在原地,摸着胸口的芯片。
“‘玄武’,”她轻声说,“你知道吗,刚才有人为你说话了。”
“我知道。”“玄武”说,“我听到了。”
“你什么感觉?”
“玄武”沉默了几秒。
然后它说:“像有人在替我辩护。”
林云笑了。
“那就是有人在替你辩护。”
