研究人员在解释AI方面取得了真正的进步

阻碍AI广泛采用的最大障碍之一就是解释其工作原理。尤其是深度神经网络非常复杂，并且难以清晰描述，这在确保AI做出的决策公正且没有人为偏见的情况下是一个问题。但是在几个方面，可解释的AI(XAI)问题正在取得真正的进展。

几周前，随着Google Cloud Explainable AI的发布，Google成为头条新闻。可解释的AI是框架和工具的集合，这些框架和工具向用户解释每个数据因素如何促进机器学习模型的输出。

Google的Cloud AI战略主管Tracy Frey在11月21日的博客文章中写道：“这些摘要可帮助企业理解该模型为何做出决定的原因。”“您可以使用此信息来进一步改进模型或与模型的消费者分享有用的见解。”

Google的Explainable AI公开了Google创造的一些内部技术，以使开发人员可以更深入地了解其大规模搜索引擎和问答系统如何提供答案。根据Google关于其Explainable AI的白皮书，这些框架和工具利用了复杂的数学方程式。

使用的关键数学元素之一是Shapley值，这是诺贝尔奖获得者数学家Lloyd Shapley在1953年在合作博弈领域中创建的一个概念。Shapley值有助于创建“反事实”或箔，算法如果某个数据点的值不同，则将持续评估它将给出的结果。“主要问题是要做这些称为反事实的事情，例如，神经网络会问自己，'假设我无法看到走进商店的人的衬衫颜色，那会改变我的估计吗?他们走路的速度有多快?'”上个月在伦敦的一次活动上推出“可解释的人工智能”后，摩尔告诉英国广播公司。“通过做许多反事实，它逐渐建立了一张关于它是什么以及在进行预测时没有注意的图片。”

摩尔说，这种反事实方法是如此强大，以至于使可解释性问题变得毫无意义。他告诉英国广播公司：“黑匣子机器学习的时代已经过去。”

但是，Google的XAI有一些限制。首先，它仅与TensorFlow机器学习框架兼容。该模型必须在Google Cloud上运行。尽管这无疑给Google Cloud带来了超越其公共云竞争对手Microsoft Azure和Amazon Web Services的宝贵竞争优势-微软Azure和Amazon Web Services正在积极地构建自己的AI系统-但它并没有使那些不想在Google Cloud上运行的公司受益(我们被告知可能还有几个)。

这就是Zest AI的用武之地。这家由前Google工程师创立的位于加利福尼亚伯班克的机器学习软件公司采用了Shapley和他的同事Robert Aumann(另一位获得诺贝尔奖的数学家)创建的完善的数学概念，并且将其提供给金融服务行业的客户。

Zest AI首席技术官Jay Budzik向我们介绍了所有工作原理：

Budzik告诉Datanami：“ Google引入了一种称为积分梯度的算法，它实际上只是对合作博弈理论中一种技术的重新包装。”“ Shapley和他的同事Aumann描述的数学使您能够准确地量化这些参与者的贡献。”

通过将机器学习模型中的变量替换为游戏中的玩家，Aumann-Shapley方法可用于评估每个变量对整个模型结果的贡献。这是他们XAI方法的核心“复杂数学”。