可解释机器学习IML是机器学习ML算法的升级，能够帮助人们更好地理解算法的含义与应用。基于IML算法的IML诊断模型则进一步发挥了机器学习的预测与诊断功能，是一项极具应用前景的算法模型。
过去十年，机器学习作为现代化算法，在过去十年发挥出了足以改变社会的效应，同时其算法模型也愈加复杂，这引发了人们对于无法理解模型的推理难题。
因此，可解释机器学习(IML)在人们的需求下逐渐崭露头角，其目标是使各种涉众能够处理用例，例如在模型中建立信任，执行模型调试，以及为现实中人们的决策提供信息。
然而，尽管过去几年来，IML方法发展迅速，但从总体来看，目前的方法明显仍有不足。如图1所示，在专业领域，IML研究人员通常以多种特定的技术为对象，进行优化与开发。
图1
但是在消费者领域，他们为消费者开发的用例仍然很宽泛，而且经常没有明确的说明。因此，充分评估消费者的具体需求，将方法上的进步转化为广泛的实际影响，这在当前仍然很困难。
ML社区需要解决这种脱节，促进IML更广泛的应用，这需要开发者重点关注两个关键原则，即ML领域的目标不是为定义不清的问题提供完整的解决方案，比如“调试”或者“信任”，而是应该把重点放在开发一套诊断工具上，并让它能够通过一系列的严格测试。
如果把IML方法当做诊断方法，那么每个方法都可以被视为一种个体观察，解析模型行为。从这个意义上说，这种IML方法应该与更经典的统计诊断方法一起使用，比如误差条、假设检验、离群值检测方法等，并采取与这些方法类似的使用方法。
若想更好发挥IML的作用效果，研究者需要对模型严格评估，建立潜在的IML诊断方法。在一般情况下，IML研究人员通过关注可量化的技术目标，实现开发过程和评估方法的建立。
从表面上看，虽然这些IML方法通常针对模型行为的相关方面，但为了证明它们作为实际诊断的效用，必须在具体用例上度量它们的有效性。
一种不完整分类法能够帮助开发者实现这个目标，这种分类法综合了IML方法和评估基础工作。
如图2所示，分类法不仅能构建显式映射的模板，揭示潜在IML诊断和特定用例之间的关系，而且还能帮助统一IML在实际环境中的应用，使其真正成为一种有用性研究的工具。
图2
此外，当前分类法的不完整性强调了，研究人员和消费者需要一起工作，在“用例目标”部分中扩展用例组织的覆盖范围，并通过遵循特定的工作流，建立方法和用例之间的联系。
这里的工作流包括三个部分，问题定义、方法选择以及方法评估。
在问题定义工作中，研究人员要与消费者一起定义一个明确指定的目标用例。
在方法选择中，研究人员通过导航分类法的方法部分，利用先前类似用例和方法之间建立的联系，确定目标用例的潜在IML方法。最后是方法评估，研究人员要与消费者一起测试方法，看它是否能够满足目标用例。
在不断地实践与优化下，最终可能会有一个越来越完整的分类法，允许消费者(C)为他们的用例找到合适的IML方法，并帮助研究人员(R)的技术工作能够建立在实际应用程序中。
例如，图3显示了三种不同的潜在诊断方法的具体示例，每种诊断方法对应于不同类型的IML方法，分别为局部特征归因、局部反事实和全局反事实，这三种方法可以为三个用例提供有用的见解。
图3
IML算法领域的反对之声
最近研究人员们提出了越来越多样化的ML方法，这些方法被广泛归类为IML的一部分。然而，鉴于这种快速发展，人们表达了多种忧虑与想法，重点是IML的基本基础以及研究与实践之间的差距。
在一个早期的批评中，有关人员强调IML的既定动机是高度可变的，并且可能与提议的方法不一致。
后人从哲学的角度也补充了这些论点，认为可解释性作为一个统一的概念，既不明确，也有可能与真正的问题背道而驰，只有研究更多地关注于实际的最终目标时，IML才可能是一个合适的解决方案。
IML领域的研究与实践之间的差距也是一个不容忽视的问题。许多研究也强调，现有方法与其声称的实际用途之间仍有较大差距。
研究已经证明了，现下流行的IML方法缺乏稳定性与健壮性。与此同时，常见的IML方法在现实世界中帮助人们方面也有不足，无论是通过指出隐藏的假设和危险，还是与用户进行案例研究。
最近，许多评论论文试图整理和组织IML的各个方面，但基本上没有正面处理这些问题。相比之下，将IML方法作为诊断工具的重构或许能在一定程度上解决上述难题。
IML诊断模型
诊断算法是一种工具，它提供了关于模型的一些可操作的见解。打个比方，就像医生使用的一套诊断工具一样，这些工具可以提供关于病人的各种情况。x射线可以用于识别骨折，而心率监测器可以用于识别不规则的心律。
重要的是，这两种工具都不能让医生广泛地“了解”一个人的健康状况，但如果能将它们适当地应用于一个宽泛的问题时，它们都是有用的。在IML方法和定义良好的用例之间，建立联系的类似严格的方法，对于IML社区来说是必不可少的。
为了开始这样的追求，IML诊断模型需要已用户当前可能遇到的许多方法和用例为目标，确定对象并进行协调。
基于当前的实践和论述，IML诊断模型镶嵌了一种分类法，该分类法为顶端的方法目标，以及底部的用例目标组织了单独的层次结构，如图4所示。
图4
在理论上，虽然该领域的诊断模型包括一组明确定义的用例，以及这两者之间的一组稳健的连接，但从现实角度看，当前的模型总体仍缺乏完善的诊断。
展望未来，研究人员和消费者的目标是开展原则性研究，专注于填补这两个空白。
首先，他们应该通过消费者-研究人员握手，来定义更详细的目标用例，细化用例的当前组织，包括一个常见的不完整的讨论广泛目标列表。
其次，他们应该在这些目标和技术目标之间建立明确的联系。
在IML方法的目标方面，每种IML方法都提供对给定模型的特定类型的观察。这些观察的形式能提供一种分层组织，将现有IML方法集划分为八个方法簇。
在诊断模型中，每个方法簇被广泛地认为是处理技术目标(TO)的一类诊断。之后，IML将以指定单个方法目标的方式描述每个TO。
IML诊断模型中有等级森严的组织。分类学的高层次目标是能区分解释已有的各种观点，这种能力取决于三个因素。
第一个因素是解释表示。模型解释通常是根据输入和输出之间的特征关系，或者或训练示例而演化出的。
第二个因素是特征关系类型。在基于特征关系的解释背景下，有三种不同的方法来解释模型推理的不同方面，即特征归征，反事实的性和近似性。
第三个因素是解释量表。根据观点的规模，解释的过程与结果各不相同，其范围从局部到全局都会涉及到，换句话说，就是能从单个实例拓展到输入空间的一个定义良好的区域。
IML推断模型的叶节点是TOs，这些目标类足够精确，通常能支持算法直接链接到处理它们的中心方法集群。IML推断模型中总共有8个TOs方法集群，它们捕获了现有IML方法的大部分目标。
然而关于TOs的特征，有几个重要的细微差别。
首先，尽管在拟议的分类法中，TOs和方法簇是一对一的，但由于可能存在跨簇适应，所以明确区分这两个概念是很重要的。因为一个方法经常可能以一种特别的方式来适应不同的To。
每个TO应被视为一类相关目标的定义。实际上，对于给定的TO，IML推断模型中一些关键的技术细节是必须具备的，以便相同的更广泛目标中，模型能对有意义的不同实例进行充分的参数化。
这些重要的技术细节与TO结合在一起，允许用户自定义单个代理度量，能充分自主地反映解释的详细信息。然后，代理度量可以作为单个方法的可处理目标函数进行优化，也可以作为任何能够处理特定to方法的度量。
IML诊断模型方法基础
不同的方法集群相对应的TOs也不同，其技术细节也有较大差别。
特征归因方法能解释说明当特征存在或缺失时，模型的推断效果是如何受到影响的，即每个特征对模型的推断功能有多“重要”。
通常，重要性的度量是一个相对变量，根据模型的预测与基线输入的预测的对比变化来定义。基线输入有时是隐式的和特定于领域的，例如灰度图像的所有黑色像素，或者表格数据中的平均输入。
因此，特征归因的技术细节既是“重要性”的精确概念，也是基线输入的选择。相关的代理指标以每种方法计算出的“重要性”值为基础，衡量应用于个体的不同类型扰动对模型预测的影响程度。
反事实方法则解释了，哪些“低成本”修改可以应用于数据点，帮助模型达到预期的预测。最常见的技术细节是成本的具体度量，而最常见的代理度量是反事实改变模型预测的频率。
近似方法说明了IML推断模型如何通过ap-总结模型，在一个区域内接近它的预测，这里的区域要么是局部地围绕一个数据点，要么是全局地围绕尽可能多的点，要么是跨越输入空间的特定区域。
这些方法需要区域的具体定义，以及简单函数模型族的技术细节。对于局部近似，模型的规范度量是局部保真度，它衡量的是方法在数据点的特定邻域内预测的效果。对于全局近似，模型代理度量是覆盖率，它能度量模型的结果适用于多少数据点。
样本重要性方法针对的是最影响模型对单个点或整体模型预测的训练点。
这个方法的技术细节因方法而异，因此很难确定统一的变化轴。但它可以用代理度量来评估，代理度量通过寻找损坏的数据点、检测导致数据分布变化的点，以及使用重要样本恢复高精度的模拟实验，最后表示出所提供解释的有用性。
这些模型的设计方法与常见的事后方法的区别在于，这些方法的TO(s)本质上与模型族本身相关，因此，模型只有在满足给定TO的情况下，才能通过设计进行解释。也就是说，通过设计的方法同样适合这个框架，能够作为分类法中相同解决TOs的不同方式。
当前关于IML用例的许多研究都聚焦于区分宽泛的目标，例如调试模型、获得各种涉众的信任，以及向用户提供可操作的追索权(图3)。虽然这种级别的分类是一个良好的开端，但它的效用有限。因为它将这些类别中的每一个都视为IML要解决的问题。
首先，这些问题很复杂，所以IML并不能作为完全或唯一能解决这些问题的方法。相反，IML只是一组需提前证明有用性的潜在工具。也就是说，如果想让IML方法作为一种有效的诊断方法应用于算法中，必须先识别和演示特定的用例。
其次，每个广泛的目标实际上包括多个独立的技术问题，并与许多可能的实际设置和约束交叉。给定的IML方法不太可能对所有子问题和领域都同样有用。
因此，理想情况下，IML的实际应用范围应该被指定为充分定义的目标用例(TUC)的级别。与方法方面的TOs一样，TUC对应的是关于底层模型的特定相关特征学习，例如，模型行为的某个属性或概念。
与TO不同的是，TUC代表了现实世界的问题，尽管它们可以被评估，但通常情况下，开发者及用户可能无法对其进行直接优化。