什么是可解释AI (XAI)?| NVIDIA博客 - 188bet金宝搏官网首页

银行使用人工智能来决定是否向客户提供信贷，以及提供多少信贷。放射科使用人工智能来帮助区分健康组织和肿瘤。人力资源团队利用它来从数百份简历中挑选出应该发给招聘人员的简历。

这些只是人工智能如何被各行业采用的几个例子。在如此利害攸关的情况下，采用人工智能和机器学习的企业和政府正日益受到压力，要求它们揭开人工智能模型如何做出决策的面纱。

高盛(Goldman Sachs)董事总经理查尔斯•埃尔坎(Charles Elkan)对人工智能目前的大部分状况做了一个尖锐的类比，在这种情况下，组织会讨论人工智能的可信度，以及如何克服对人工智能系统的反对:

我们并不完全了解炸弹嗅探犬是如何完成工作的，但我们对它们做出的决定非常信任。

为了更好地理解人工智能模型是如何做出决策的，组织正在转向可解释的人工智能(AI)。

什么是可解释AI?

可解释的AI，也缩写为XAI，是组织使用的一组工具和技术，用于帮助人们更好地理解模型为什么做出某些决策以及它是如何工作的。新品是:

一套最佳做法:它利用了数据科学家多年来一直在使用的一些最佳程序和规则来帮助其他人理解模型是如何训练的。知道一个模型是如何训练的，以及在什么数据上训练的，有助于我们理解何时使用该模型有意义，何时使用该模型没有意义。它还揭示了该模型可能受到的偏见来源。
一套设计原则:研究人员越来越关注简化人工智能系统的构建，使其本身更容易理解。
一套工具:随着系统变得更容易理解，训练模型可以通过将这些学习纳入其中，并将这些学习提供给其他人以纳入他们的模型，从而进一步完善。

虽然关于XAI流程的标准化仍然存在很多争论，但在实施它的行业中，有几个关键点引起了共鸣:

数据科学家正在关注所有这些问题，但可解释性归结为:我们试图解释什么?

这些问题在数据科学上相当于解释你的外科医生上过什么学校——以及他们的老师是谁、他们学了什么、他们得了什么分数。做好这一点更多的是关于过程和留下书面记录，而不是纯粹的人工智能，但这对于在模型中建立信任至关重要。

虽然解释模型的谱系听起来相当容易，但实际上很难，因为目前许多工具不支持强大的信息收集。NVIDIA提供有关其pretrained模型。这些是共享的NGC目录是gpu优化的人工智能和高性能计算sdk和模型的中心，可快速帮助企业构建应用程序。

有时被称为模型的可解释性,这是一个活跃的研究领域。大多数模型解释可以分为两大阵营:

这种技术有时被称为代理的建模更简单、更容易理解的模型，如决策树，可以用来近似描述更详细的人工智能模型。这些解释给出了模型的整体“感觉”，但代理模型的近似和简单性之间的权衡仍然是艺术而不是科学。

代理建模总是一个近似值，即使应用得很好，它也可能为现实生活中的决策创造机会，这些决策可能与代理模型的预期大相径庭。

第二种方法是“可解释性设计“这限制了人工智能网络的设计和训练选择，因为我们试图用更小的部分来组装整个网络，而我们强迫这些部分具有更简单的行为。这可以产生仍然强大的模型，但其行为更容易解释。

然而，这并不像听起来那么容易，而且它通过从数据科学家的工具箱中删除组件和结构来牺牲一定程度的效率和准确性。这种方法可能还需要更多的计算能力。

XAI最容易理解的领域是个人决策:例如，为什么一个人没有获得贷款批准。

像LIME和世鹏科技电子为这个问题提供非常直白的数学答案——数学的结果可以呈现给数据科学家、管理人员、监管机构和消费者。对于一些数据——图像、音频和文本——类似的结果可以通过在模型中使用“注意力”来可视化——迫使模型本身显示它的工作。

在Shapley值用于SHAP的情况下，有一些基于20世纪50年代完成的博弈论工作的基础技术的数学证明特别有吸引力。在使用这些对个体决策的解释来解释整体模型方面，有一些积极的研究，主要集中在聚类和对底层数学施加各种平滑约束上。

这些技术的缺点是它们在计算上有些昂贵。此外，在模型的训练过程中，如果不付出很大的努力，结果可能对输入的数据值非常敏感。一些人还认为，由于数据科学家只能计算近似的Shapley值，这些数字的吸引人和可证明的特征也只是近似值，这大大降低了它们的价值。

虽然健康的争论仍然存在，但很明显，通过维护适当的模型谱系，采用模型可解释性方法，为高级领导层提供模型所涉及的风险的清晰度，并通过个人解释监控实际结果，人工智能模型可以建立在清晰理解的行为之上。

要更深入地了解XAI工作的示例，请查看由富国银行(Wells Fargo)和加拿大丰业银行在NVIDIA GTC21。

了解更多关于数据科学的信息NVIDIA技术博客。