可解释的AI是指试图为传统上不透明的AI模型及其预测带来透明度的技术,是机器学习研究的新兴子领域。这也就不足为奇了-模型有时会学习一些不良技巧,以实现训练数据上的目标,或者模型产生偏见,如果不加以解决,就有可能造成伤害。
因此,克里希纳·加德(Krishna Gade)和阿米特·帕卡(Amit Paka)创立了Fiddler,这是一家位于加利福尼亚州山景城的初创公司,致力于开发“可解释的”引擎,该引擎旨在分析,验证和管理AI解决方案。一年多一点之后,它吸引了1,020万美元的A轮融资,共同牵头的Lightspeed Venture Partners和Lux Capital参与了Haystack Ventures和Bloomberg Beta的参与。
首席执行官加德说:“企业了解人工智能所提供的价值,但他们在使用传统黑匣子人工智能时会遇到“为什么”和“如何”的问题。”他补充说,新资金使Fiddler的总融资额达到了1,320万美元。“企业需要降低其AI投资的风险,但是当今大多数应用程序都没有能力帮助他们做到这一点。我们的AI引擎基于可解释性,因此那些受技术影响的人可以理解为什么要做出决定并根据需要做出正确的路线,以确保AI输出是合乎道德,负责任和公平的。”
提琴手的起源是在盖德(Gade)在Facebook担任工程经理的工作中,在那里他和一个团队开发了一个系统,该系统解释了为什么某些故事出现在新闻Feed中。为了寻找使AI模型具有可解释性的通用方法,Gade与前同事和同学Paka重新联系,后者在三星的带领下努力从公司购物应用程序的建议中获取见解。他们与来自Microsoft,Twitter,Pinterest和其他科技巨头的团队一起开发了原型,成为Fiddler的产品。
Fiddler的可解释引擎预计将在明年全面上市,它解释了模型如何以及为何做出预测,并授权人类审计师确保所述预测与预期保持一致。性能组件使用户可以查看特定数据区域如何影响模型并调整输入以最小化(或最大化)其影响,同时跟踪模块连续监视模型以发现异常值,数据漂移和错误并警告适当的人员。
Fiddler表示,它正在与多家财富500强企业合作,涉及银行和金融,金融技术,AI模型风险管理以及对主动概念证明的信任和合规性,但它有很多竞争方式。8月,IBM Research推出了AI Explainability 360,这是一个开放算法的开源集合,该算法利用多种技术来解释AI模型决策。Kyndi,启动开发其描述为一个可以解释的自然语言处理平台,在七月提出的2000万$。微软和谷歌最近开源lnterpretML和假设分析工具Tensorboard,分别用于解释暗箱AI一对工具包。和Facebook表示已开发出一种工具来检测和缓解其AI系统中的偏见。
但是Lux Capital的合伙人比拉勒·祖贝里(Bilal Zuberi)相信,提琴手可以为自己开辟一个利基市场。
“我们立即看到了Fiddler Labs向行业展示的价值,”打算加入Fiddler董事会的Zuberi说。“我们看到越来越多的公司为我们提供商业模型,这些商业模型基于从推荐引擎和业务分析到医疗诊断和自动驾驶汽车的各种算法。您如何在没有解释性和透明性的情况下做出重要的,关键任务决策?我们对Fiddler的市场和潜力感到兴奋。”