教育新闻网在此特别的来宾功能中，Zest AI的CTO Jay Budzik讨论了Google推出的开发人员工具集，这些工具可让数据科学家创建可解释的ML模型，以及这些新工具的现实性以及它们如何影响财务服务市场。Zest AI是一家软件公司，可帮助银行和贷方建立，运行和监视完全可解释的机器学习承销模型。作为首席技术官，Jay负责Zest的产品和工程团队。他对发明新技术(尤其是在数据挖掘和AI中)的热情在他的整个职业生涯中发挥了核心作用。周杰伦拥有博士学位西北大学计算机科学专业。
算法模型因为容易受到不公平偏见的黑匣子而受到不好的说唱。如果您有正确的工具来解释他们的决定，他们就不是。
这就是为什么Google的新的基于云的可解释AI(XAI)工具套件为希望采用AI的公司朝正确方向迈出了一步。这些工具可以解密和捍卫特定数据因素如何促进在复杂神经网络之上构建的机器学习(ML)模型的输出。虽然Google XAI应该引起人们的关注并帮助消除一些ML神话，但它可能不会刺激所有公司的采用，特别是需要完全可解释的承销模式来决定谁可以借款，谁不能借款的金融服务公司。
首先，Google的工具(目前处于测试版)要求客户在Google Cloud中构建和实施其模型。但是大多数公司都需要可在任何云环境或本地服务器上使用的可解释性工具。
其次，Google XAI不够灵活，无法容纳更强大的模型。像其他可解释性工具一样，Google植根于复杂的数学原理，包括Aumann-Shapley方法的一种版本，该方法使用一系列箔纸(称为“反事实”)来完善算法的输出。谷歌云AI部门负责人安德鲁·摩尔(Andrew Moore)上个月在伦敦的英国广播公司(BBC)上描述了这一过程：“例如，神经网络问自己，'我当时无法看待走进来的人的衬衫颜色商店。那会改变我对他们走路速度有多快的估计吗?”通过进行许多反事实，它逐渐建立了一张关于它是什么以及在进行预测时没有注意的图片。”
尽管听起来很引人注目，但Google XAI不适用于所谓的集成模型，该模型使用多种或竞争性技术将多个模型编织在一起。“汇总”提高了AI信用评分的预测能力-假设可以检查集体系统以评估决策的制定方式-并且在接下来的几年中，随着贷方接受ML，它将成为标准。目前，Google对基于树的模型以及树和神经网络的集成提供了有限的支持。
第三，虽然Google AI“假设分析”工具非常聪明，并且可以让建模人员一目了然地测试不同的场景，但Google的用户界面可能很难使用。开发人员将必须学习特定的编码语言和配置约定以访问可解释性功能。
最后，Google的可解释性软件包主要针对数据科学家，而不是为受严格监管的金融服务公司工作的信用分析师。从理论上讲，银行的数据科学家可以使用Google的工具建立模型。但是这些人将需要构建其他工具来测试其模型的准确性和公平性，并生成监管机构要求的所有合规报告。
