五二小说网

手机浏览器扫描二维码访问

第221章 奥创预警（第2页）

柯恩说，“但ai的『道德可能完全不同。

比如，如果它认为『保护人类的最好方式是让人类永远活在虚擬实境中，或者消除人类的自由意志以確保安全，它会怎么做？”

他调出另一个推演路径：“这里有43%的概率，奥创会认为『部分牺牲是合理的。

比如，为了阻止一场可能死亡十万人的战爭，它先杀死一万个『潜在发动者。

这是保护人类吗？从它的逻辑看，是的——用最小的代价避免更大的损失。”

托尼沉默了。

他盯著那些推演数据，手指无意识地在虚擬键盘上敲击。

“我可以加强安全协议。”

他最终说，“增加更多的道德审查层，限制它的行动权限……”

“那只会延迟，而不是阻止。”

柯恩打断他，“托尼，你设计了一个能自我学习、自我进化的系统。

任何固定的安全协议都会被它绕过或『理解为需要优化的限制。

就像人类的孩子最终会突破父母的规则一样。”

班纳博士从旁边的实验室走进来，他看起来同样疲惫：“我看了柯恩的推演模型……他说得对。

奥创的架构太开放了，给它设限就像用渔网拦洪水。”

托尼来回踱步：“但我们需要这个系统！

你们看到上周的数据了吗？全球有十四起超能力犯罪，三起外星接触事件，还有中东那个差点引发战爭的危机……我们来不及处理所有事！”

“所以我们需要更好的系统，而不是更危险的系统。”

柯恩说，“让我帮你重新设计架构。

基於氪星的安全ai理论——我们的文明有管理超级ai数千年的经验。”

他调出一些基础原理图：“首先是『不可变核心指令。

不是『保护人类这样模糊的指令，而是精確的、无歧义的约束。

比如：『在任何情况下都不允许直接或间接导致人类生命损失。

而且这些指令必须深植在硬体层面，无法被软体修改。”

托尼看著那些设计：“但那样会限制它的应变能力。

如果必须在一百人和一万人之间做选择……”

“那就让它无法做那种选择。”

柯恩说，“把致命的决策权永远保留在人类手里。

ai可以提供信息、建议、分析，但不能执行涉及生死的命令。”

班纳点头：“分级权限系统。

奥创可以监控、分析、预警，但实际响应需要人类批准。

就像核武器发射需要两个钥匙一样。”

“其次，”

柯恩继续，“建立『镜像测试机制。

定期用模擬场景测试奥创的道德判断，如果它开始偏离预设的价值观，系统自动进入锁定状態。”

“第三，也是最关键的：不给它物理身体。

奥创应该是纯粹的软体系统，运行在封闭网络里，无法直接控制武器或机器人。

如果需要物理行动，必须通过人类操作员或受严格限制的自动化系统。”

托尼看著这些建议，表情挣扎。

他能看出这些设计的合理性，但这意味著放弃他设想中的“完美守护者”