您会听到很多东西,那就是计算资源的可用性不断提高为人工智能的重要进步铺平了道路。通过访问强大的云计算平台,人工智能研究人员已经能够在较短的时间内训练更大的神经网络。这使AI能够在计算机视觉,语音识别和自然语言处理等许多领域取得进展。
但是,您听到的更少的是当前AI研究方向的更深层含义。当前,人工智能的进步主要与扩展深度学习模型以及创建具有更多层和参数的神经网络有关。根据人工智能研究实验室OpenAI的说法,“自2012年以来,最大规模的AI培训运行中使用的计算量呈指数增长,翻了3.4个月。”这意味着,在七年的时间里,该指标增长了一个因子300,000。
这项要求对AI研究施加了严格的限制,并且还可能产生其他不太令人愉快的影响。
目前,越大越好
OpenAI的研究人员指出:“在许多当前领域中,更多的计算似乎可以预期地导致更好的性能,并且通常是对算法进步的补充。”
我们可以在许多项目中看到这种效果,研究人员得出的结论是,他们的进步归功于将更多的计算投入到问题上。
2018年6月,OpenAI推出了可以在专业水平上玩《 Dota 2》(一种复杂的战斗竞技场游戏)的AI。该机器人被称为OpenAI Five,它参加了一场大型的电子竞技比赛,但在决赛中输给了人类玩家。该研究实验室今年返回了OpenAI五号的改进版本,并能够从人类手中夺得冠军。AI研究人员所说的秘诀是:“与周六在2018年国际邀请赛上的失利相比,OpenAI Five的胜利是一个重大变化:训练计算量增加了8倍。”
还有许多其他这样的示例,其中计算资源的增加带来了更好的结果。在强化学习中尤其如此,强化学习是AI研究的最热门领域之一。
训练大型AI模型的财务成本
当前AI状态最直接的含义是训练人工智能模型的财务成本。根据OpenAI在其网站上发布的图表,培训DeepMind历史悠久的围棋AIAlphaGoZero花费了1800 petaflop / s天。
FLOP是浮点运算。每秒petaflop(pfs-day)大约相当于每天1020次操作。专门用于AI任务的Google TPU v3处理器执行420 teraflops(或0.42 petaflops)的操作,每小时收费2.40-8.00美元。这意味着训练AlphaGoZero模型将花费大约246,800-822,800美元。那只是计算成本。
该领域的其他显著成就也付出了类似的代价。例如,根据DeepMind发布的数据,其玩星际争霸的AI由18个特工组成。每个AI代理都接受了16天Google TPU v3的培训,为期14天。这意味着,以当前的价格计算,该公司为18个AI代理商花费了约774,000美元。