然而，如果人类建造的机器具备超级智能，那事情可能便正好相反：由于智能就是完成目标的能力，那么，在完成目标这点上，超级智能理所当然强于人类，因此它最终一定会胜利。

如果你想体验一下与机器目标不一致的感觉，只要下载一个最先进的象棋程序，然后和它对弈，就能体会到了。你可能永远赢不了它，而它的技艺还会越来越精湛。

换句话说，通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。

一个超级智能会非常善于完成它的目标，如果它的目标与人类的目标不一致，那人类就有麻烦了。

人们在建造水电站大坝时，根本不会考虑会淹没多少蚁丘。因此大多数研究者认为，如果人类最终造出了超级智能，那人类必须保证它们是友好的人工智能。“友好的人工智能”是人工智能安全性研究提出的一个概念，是指目标与人类相一致的人工智能。

想要让超级人工智能与人类的目标相一致很重要也很困难。实际上这目前还是个未解之谜。这个问题可以被划分成三个子问题，每一个都是计算机科学家和思想家正在研究的活跃课题：让人工智能学习人类的目标；让人工智能接受人类的目标；让人工智能保持人类的目标。

人类先来依次探讨一下这三个问题，“人类的目标是什么意思”这个问题先推迟到下一节再探讨。

Loading...

未加载完，尝试【刷新】or【关闭小说模式】or【关闭广告屏蔽】。

尝试更换【Firefox浏览器】or【Chrome谷歌浏览器】打开多多收藏！

移动流量偶尔打不开，可以切换电信、联通、Wifi。

收藏网址：www.shellbook.cc

(＞人＜；)