斯图尔特·罗素(Stuart Russell)是一位领先的AI研究人员,他从字面上撰写了(以及合着)有关该主题的顶级教科书。在过去的几年中,他还一直警告他的领域有可能发生灾难性的错误。
在新书《人类兼容》中,他解释了如何做。他指出,对人工智能系统的评估是根据它们在实现目标方面的出色程度:赢得电子游戏,写人性化的文字,解决难题。如果他们采用了适合该目标的策略,那么他们将直接执行该策略,而无需明确的人工指导。
但是通过这种方法,我们已经为失败做好了准备,因为我们赋予AI系统的“目标”并不是我们唯一关心的事情。想象一下一辆自动驾驶汽车,它具有从A点到B点的“目标”,但没有意识到我们也关心沿途乘客和行人的生存。或者是一种节省医疗费用的系统,该系统可以区分黑人患者,因为它预期他们不太可能寻求所需的医疗服务。
人类关心很多事情:公平,法律,民主投入,我们的安全与繁荣,我们的自由。拉塞尔(Russell)在《人类兼容》一书中指出,人工智能系统只关心我们投入目标的一切。这意味着即将发生灾难。
我在加州大学伯克利分校(UC Berkeley)遇到了拉塞尔(Russell),他在那里领导着人类兼容AI中心,谈论他的书以及先进人工智能带来的风险。这是我们谈话的记录,内容经过了简短和清晰的编辑。
要回答这个问题,我们必须了解:人工智能系统是如何设计的?他们在做什么?在[AI系统的标准模型]中,您将构建旨在实现您放入程序中的特定目标的机器,算法等。
因此,如果它是国际象棋程序,那么您就给它一个击败对手,赢得比赛的目标。如果是自动驾驶汽车,乘客会提出目标:[例如,]我想去机场。
这样听起来就很好。当系统变得更加智能时,问题就来了。如果您输入了错误的目标,那么追求该目标的系统可能会采取您非常不满意的操作。
我们称此为Midas国王问题。迈达斯国王明确了他的目标:我希望我接触的一切都变成金子。他得到了他所要求的。不幸的是,其中包括他的食物,饮料和家人,他死于痛苦和饥饿。许多文化都有相同的故事。精灵给您三个愿望。因为我毁了世界,所以第三个愿望始终是“请取消前两个愿望”。
不幸的是,使用比我们更智能,因此功能更强大的系统,您不一定会得到第二和第三个愿望。
因此,问题来自能力的增强,再加上我们无法完全正确地指定目标。我们能否将二氧化碳恢复到历史水平,以便使气候恢复平衡?听起来像一个伟大的目标。好吧,最简单的方法就是摆脱所有产生二氧化碳的东西,而这些东西恰好是人类。您想尽快治愈癌症。听起来不错,对吧?但是,最快的方法是与数百万或数十亿人类同时进行医学试验。因此,您给每个人带来癌症,然后您会看到有效的治疗方法。