什么是解释的ai?

我们对人工智能的信任很大程度上取决于我们对它的理解程度——可解释人工智能,或称XAI,有助于照亮人工智能模型中复杂的“黑盒子”。
通过 约翰·阿什利

银行利用人工智能来决定是否向客户发放信贷,以及发放额度。放射科使用人工智能来帮助区分健康组织和肿瘤。人力资源团队使用它来确定几百份简历中应该发给招聘人员的是哪一份。

这些只是人工智能如何在各个行业被采用的几个例子。在如此利害攸关的情况下,采用人工智能和机器学习的企业和政府正面临越来越大的压力,要求揭开他们的人工智能模型如何做出决策的面纱。

Goldman Sachs的董事总经理查尔斯·埃尔坎提供了急剧上的大部分AI,其中组织争论其可靠性以及如何克服对AI系统的反对意见:

我们不知道炸弹嗅探犬是如何工作的,但我们非常信任它们做出的决定。

为了更好地了解AI模型如何实现他们的决定,组织正在转向可解释的AI。

什么是解释的ai?

可解释的ai或xai是组织使用的一组工具和技术,以帮助人们更好地理解为什么模型做出某些决策以及它的工作原理。Xai是:

  • 一组最佳实践:它利用了数据科学家多年来一直在使用多年的最佳程序和规则来帮助他人了解如何培训模型。了解如何以及在哪些数据上,培训模型有助于我们了解它,并且使用该模型没有意义。它还闪耀着模型可能暴露的偏差来源的灯光。
  • 一套设计原则:研究人员越来越专注于简化人工智能系统的构建,使其本质上更容易理解。
  • 一组工具:随着系统变得更容易理解,培训模型可以通过将这些知识纳入其中,并将这些知识提供给其他人,以便纳入他们的模型,从而进一步细化培训模型。

可解释AI如何运作?

虽然对XAI进程的标准化仍有很大的辩论,但一些关键点跨越实施它的行业:

  • 我们应该向谁解释这个模型?
  • 我们需要如何准确或精确解释?
  • 我们是否需要解释整体模型或特定决定?
什么是解释的ai和它如何工作?
资料来源:美国国防部高级研究计划局

数据科学家专注于所有这些问题,但解释性归结为:我们试图解释什么?

解释模型的谱系:

  • 模型如何培训?
  • 使用了什么数据?
  • 测量和减轻训练数据中任何偏差的影响如何?

这些问题是数据科学等同于解释您的外科医生的学校 - 以及他们的老师所在的学校,他们研究的是什么以及他们得到的成绩。得到这个权利更像是进程和留下纸张道,而不是纯粹的ai,但在模型中建立信任是至关重要的。

虽然解释一个模型的谱系听起来相当容易,但在实践中却很难,因为目前许多工具不支持强大的信息收集。NVIDIA提供了有关其预训练模型的此类信息。这些都在NGC目录该中心汇聚了gpu优化的人工智能、高性能计算sdk和模型,可以快速帮助企业构建应用程序。

解释整体模型:

有时叫模型解释性,这是一个活跃的研究领域。大多数模型解释可以分为两个阵营:

有时被称为“代理建模“更简单,更容易理解的模型,如决策树可以用于大致描述更详细的AI模型。这些解释总体上的模型的“感觉”,但代理模型的近似和简单性之间的权衡仍然比科学更重要。

代理建模始终是一个近似值,即使应用良好,它也可以为现实生活决策创造与代理模型的预期不同的机会。

第二种方法是“设计可解释性。“这将AI网络的设计和培训选项限制在尝试将整个网络组装出来的较小部分,以便在较小的部件中组装出更简单的行为。这可能导致仍然强大的模型,但行为更容易解释。

然而,这并不像听起来那么容易,它通过从数据科学家的工具箱中删除组件和结构来牺牲一些效率和准确性。这种方法还可能需要更大的计算能力。

为什么Xai最佳解释个人决定

XAI最广为人知的领域是个人决策:例如,为什么一个人没有获得贷款批准。

名称为LIME和形状为这个问题提供非常字面的数学答案——数学结果可以呈现给数据科学家、管理者、监管者和消费者。对于一些数据——图像、音频和文本——类似的结果可以通过在模型中使用“注意”来可视化——迫使模型本身展示其工作。

在Shap中使用的福谢值的情况下,基于在20世纪50年代在20世纪50年代所做的博弈论工作中特别吸引力,存在一些数学证据。使用这些解释的各个决策的这些解释有积极的研究,以解释整个模型,主要关注聚类并强迫各种平滑度限制在底层数学上。

这些技术的缺点是在计算上有些昂贵。此外,在模型训练过程中无需付出重大努力,结果可能对输入数据值非常敏感。一些人还认为,由于数据科学家只能计算近似的Shapley值,这些数字的吸引人的和可证明的特征也只是近似的——大幅降低了它们的价值。

虽然仍存在健康的争论,但很明显,通过维持适当的模型谱系,采用模型可解释性方法,为高层领导提供清晰的模型涉及的风险,并通过个别解释监测实际结果,人工智能模型可以用清楚理解的行为构建。

仔细看看XAI工作的例子,请查看所提供的会谈韦尔斯法戈苏格兰人在NVIDIA GTC21。