邻域内采样一组近邻实例该方式起首在输入实例的，经收集在近邻实例上的决策输出然后锻炼一个线性模子来拟合神，释该神经收集对输入实例的决策行为最初利用线性模子的决策特征来解。有两点问题这类方式。先首，神经收集并不不异由于线性模子与，无法供给精确注释所以局部注释方式。次其，特征依赖于近邻数据因为线性模子的决策，数据具有很强的随机性而通过采样获得的近邻，实例的注释可能很是不分歧因而这类方式对类似输入，次注释也有可能分歧对统一输入实例的多。

　　的决策鸿沟的所有局部线性分类器图 5(d) 展现了形成模子M。个局部线性分类器的决策鸿沟图中的每一条实线都暗示一，成了模子M的总体决策鸿沟这些局部线性分类器配合构。总体决策鸿沟和PLNN的决策鸿沟完全分歧对比图5(b)和5(d)能够发觉模子M的。和PLNN之间的等价性这个成果证明了模子M。

　　被 KDD 2018 领受为长演讲论文这篇由褚令洋博士担任第一作者的论文曾经。文收到投稿 938 篇这届 KDD 研究论，7 篇长演讲论文仅录用了 10，11.4%录用率只要，4 篇短演讲论文别的还领受了 7。议过程中在同业评，人中有两个给了满分这篇论文的四个审稿。

　　质上实，都定义了一个线性鸿沟P中的每一个不等式，体（Convex Polytope所有线性鸿沟一路构成了一个凸多面，P）C。例都满足P中的所有不等式在凸多面体中的所有输入实，有不异的 Conf(x)因而这些输入实例x都具，个线性分类器而且共享统一。局部线性分类器（Local Linear Classifier我们把这个具有于局部区域的凸多面体和它所对应的线性分类器统称为，C）LL。

　　经元的局部特征来注释深度神经收集的行为该方式通过度析和可视化神经收集中隐层神。方式》及其后续的《可注释性的基石》为例以谷歌的研究《谷歌的新CNN特征可视化，层神经元学到的局部特征这类方式可以或许无效提取隐，神经收集的全体行为但无法明白注释深度。

　　所有模子的决策特征图 7 给出了上述， 的决策特征由 OpenBox 供给此中 PLNN 和 PLNN-NS。较着很，R-F 的决策特征具有极为类似语义PLNN 的决策特征与 LR 和L。7(f) 中的平均图细心对比能够发觉将这些决策特征与图 7(a) 和 ，了短靴和包包之间的不同这些决策特征精确地描述。趣的是更有，R-F 的决策特征包含了更多细节消息PLNN 的决策特征比 LR 和 L。器仅需区分包含于凸多面体中的一小部门样本这是由于 PLNN 的每一个局部线性分类，局部线性分类器捕获更多细节特征所以 PLNN 可以或许利用大量的。而然，一个线性平面划分所有正负例样本LR 和 LR-F 只能利用，大量样本的平均差别因而它们只能捕获。捉到了更多细节特征由于 PLNN 捕，LR-F 好得多的分类精度所以它取得了比 LR 和 。

　　者模子来仿照和注释深度神经收集该方式通过锻炼一个可注释的仿照。同的前提下在输入相，度神经收集类似的输出仿照者模子具有与深。此因，模子来注释深度神经收集有研究人员操纵仿照者。是但，神经收集并非完全不异仿照者模子和被仿照的。的输入上具有类似的输出即便两个模子在某些不异，也能够有很大的区别其内部的决策机制。此因，地注释深度神经收集仿照者模子无法精确。

　　M中的所有局部线性分类器因为尝试方针是可视化模子，需利用测试数据整个尝试过程无，的所有样本来锻炼 PLNN因而作者们利用 SYN 中。N 在 SYN 上的预测成果图 5(b)显示了 PLN。

　　后随，imilarity）来权衡 LIME 和 OpenBox 所供给注释的分歧性作者们利用输入实例x和其比来邻实例x的注释成果的余弦类似度（Cosine S。似度越高余弦相，释的分歧性就越高注释模子所供给解。b) 所示如图 6(，内的实例供给完全不异的注释因为模子M对统一凸多面体，类似度几乎总连结为1OpenBox的余弦。x并不老是属于统一个凸多面体可是比来邻实例x与 输入实例，些实例上的余弦类似度小于 1因而 OpenBox 在某。之下比拟，远低于 OpenBoxLIME 的余弦类似度，供注释的分歧性远高于 LIME这申明 OpenBox 所提。

　　iecewise Linear Neural Network这篇论文研究了以分段线性函数为激活函数的分段线性神经收集（P，NN）PL。域区间内对应分歧的线性函数分段线性函数在分歧的定义。及ReLU的一些变体都是分段线性函数典范的 MaxOut 、ReLU以。的角度来看从微分学，数目足够多只需分段，等激活函数也都能够用分段线性函数来无限迫近持续滑腻的 sigmoid 、tanh 。

　　先首，中 600 个测试样本的决策输出来权衡 LIME 和 OpenBox 各自注释模子的精确性作者们通过比力 LIME、OpenBox（模子M）和PLNN 对 FMNIST-2 数据集。a) 所示如图 6(，NN 的决策输出有着很大分歧LIME的决策输出和 PL，模子和 PLNN 很是分歧这申明 LIME 的注释，PLNN 的决策行为因而它无法精确注释 。之下比拟，NN 对于所有测试样本的决策输出完全不异OpenBox 计较出的模子M和 PL，等价于PLNN这申明模子M， PLNN 的决策行为因而它可以或许精确地注释。

　　nBox供给的注释5. 操纵 Ope，出 PLNN 在某些样本上做犯错误决策的缘由我们可否机关新样本来棍骗 PLNN？可否查？

　　gistic Regression作者们锻炼了多个罗辑回归模子（Lo，Baseline）LR）作为基线（。中其，为正样本锻炼获得的LR 模子是以短靴，包为正样本锻炼获得的LR-F 模子是以包， LR-F 的根本上附加稀少、非负束缚获得的LR-NS 和LR-NSF别离是在 LR 和。外此，型作为 OpenBox 的注释对象作者们还锻炼了两个 PLNN 模。中其，为正样本锻炼获得的PLNN 是以短靴，的根本上附加稀少、非负束缚获得的PLNN-NS 是在 PLNN 。

　　明显很，实例x都具有不异的Conf(x)所有满足P中线性不等式束缚的输入，统一个线性分类器因而这些实例共享，分歧的注释并具有完全。

　　文机关了一个具有简练解析形式的新模子M1.精确性（Exactness）：该论，N在数学上等价并证了然M和。此因，istency）：该论文证了然M是一个分段线性函数M的决策特征可以或许精确描述N的线.分歧性（Cons，其定义域中的各个分段区间并以解析形式给出了M在，上的线性决策函数以及M在每个区间。例共享统一个线性决策函数的决策特征由于在不异分段区间中的所有输入实，例所供给的注释是完全分歧的所以由模子M对这些输入实。

　　先首，属的局部线性分类器我们从M中找到x所。后然，及其凸多面体的鸿沟特征（Polytope Boundary Feature我们解析出该局部线性分类器的决策特征（Decision Feature）以，F）PB。后最，PLNN 对x的决策行为我们利用决策特征来注释 ，前局部线性分类器包含的缘由并利用鸿沟特征来注释x被当。

　　于理解吗？若是附加非负、稀少束缚3. 局部线性分类器的决策特征易，策特征的语义特征吗能继续提拔这些决？

　　们发觉作者，布局和参数给定的环境下在 PLNN 的收集，x)由 Conf(x) 决定公式 1 中的线性分类器F(。同的输入实例x和x而言这意味着对于肆意两个不，)＝Conf(x)只需Conf(x，一个线性分类器x和x就共享同，注释也将完全分歧并且对x和x的。

　　从分歧角度切磋了深度神经收集的可注释性雷锋网 AI 科技评论近期也有多篇文章。来说总的，法都有各自的问题现有的三种注释方。

　　定的PLNN对于肆意给，对应着分歧的Conf(x)分歧的隐层神经元激活形态，确定了一个局部线性分类器而每一个Conf(x)都。此因，于一组局部线性分类器一个PLNN严酷等价。分类器的调集标识表记标帜为M我们把这组局部线性，NN的注释模子并将其作为PL。

　　NN是等价的由于M和PL，所有实例都共享同样的注释并且统一个凸多面体中的，注释是精确且分歧的所以由M所获得的。

　　z都是输入实例x的线性函数由于每个隐层神经元的输入，质上是对输入实例x的一组线性不等式束缚所以这组关于输入z的线性不等式束缚实。式束缚的调集定义为P我们将这组线性不等。

　　Ribeiroetal.KDD 2016］做了尝试对比作者们把OpenBox和目前最顶级的注释方式LIME［。注以下五个问题尝试重点 关：

　　尝试中在本，1 上锻炼了一个 PLNN作者们在 FMNIST-，N 的三个局部线性分类器对应的凸多面体并用 OpenBox 解析出该 PLN。出了这些凸多面体的鸿沟特征图 8(a)-(d) 给，应了｛包包它们别离对，靴短，包包，包｝包。这些鸿沟特征的线性不等式图 8(e) 给出了定义，所包含的各类别样本数量以及其对应的凸多面体中。 中的线性不等式关于图 8(e)，定义的鸿沟为无效鸿沟「／」代表该不等式；不等式的鸿沟特征具有很强的相关性「 0」代表凸多面体内的样本与该；与该不等式的鸿沟特征没有强相关性「= 0」 代表凸多面体内的样本。

　　络布局和参数都是给定的因为 PLNN 的网，都独一依赖于输入实例x所有神经元的激活形态， 由输入实例x独一决定因而 Conf(x)。一个给定的常量由于x本身是，x) 也是一个常量所以 Conf(。此因，质上都是由常量 Conf(x) 所确定的线性运算图 3 中 PLNN 的每个隐层神经元的运算实。的嵌套仍然是线性运算由于一系列线性运算，x)为常量的环境下所以在Conf(，等价于一个简单的线性运算Wx+bPLNN中所有躲藏层的运算全体。

　　评论按：你有没有想过雷锋网 AI 科技，深度神经收集在金融、医疗及主动驾驶等范畴的普遍使用深度神经收集是根据什么来精确识别有猫的图片的？跟着，行为的问题也惹起了越来越多的 关心深度神经收集无法明白注释本身决策。经收集的决策行为明白注释深度神，对深度神经收集的信赖可以或许大幅提拔各类用户，神经收集所带来的潜在风险并显著降低大规模利用深度，智能使用成功落地的主要一环是基于深度神经收集的人工。

　　一步推导通过进，f(x) 给定的环境下作者们发此刻 Con，由该神经元激活形态所决定的不等式束缚每一个隐层神经元的输入z都必需满足。onf(x) = [1图 4 给出了当 C,0,1,0,0,1, 时1]，入z必需满足的一组线性不等式束缚PLNN 的所有隐层神经元的输。

　　所述综上，的输入实例x对于肆意给定，如公式1所示的线性分类器整个PLNN严酷等价于。中其，组(W二元,LNN对于输入实例x的决策平面b)以解析形式精确地给出了该P。解过程请拜见原文（注：证明及求）

　　么那，中国曲艺需要满足什么前提输入实例x和x，)＝Conf(x) 呢才能使 Conf(x？

　　然显，为并不克不及很好地注释 PLNN 的总体行为注释 PLNN 在单个输入实例上的决策行。 若何注释 PLNN 的总体行为下面我们将引见 OpenBox。

　　的第一个凸多面体为例以图 8(e) 中， 8(b)-(c) 中短靴和包包的鸿沟特征有强相关性由其线性不等式的形态可知该凸多面体所包含的样本与图。此因，含了大量的短靴和包包第一个凸多面体中包。似的类，的第二个凸多面体而言对图 8(e) 中，的鸿沟特征呈正相关此中的样本仅与短靴，本仅有短靴而没有包包因而该凸多面体中的样。成果不难看出通过上述尝试，界特征具有很强的语义特征OpenBox 提取的边。

　　所述综上，对于神经收集工作机制的理解虽然上述方式可以或许促进我们，的行为供给精确、分歧的注释可是它们无法对深度神经收集。

　　进行了严酷的理论阐发和证明论文还对计较M的时间复杂度。同的输入实例对于n个不，的特征维数为d若每个输入实例，例的时间复杂度仅为O(nd)OpenBox注释所有输入实。凡是被看作常量由于特征维数d，的时间复杂度是线性的所以OpenBox。

　　先首，释是不精确的若是一个解，和模子的实在决策能否相符我们就无法确定注释成果，是不成托的注释本身就。次其，实例的注释不分歧若是对于多个类似，多个注释言行一致的环境我们将不成避免地碰到，会因而遭到质疑注释的无效性也。

　　络严酷等价于一组局部线性分类器作者们通过证明分段线性神经网，高效的神经收集注释方式——OpenBox以简练的解析形式给出了一种精确、分歧且。成果表白大量尝试，致地描述分段线性神经收集的总体行为OpenBox 不只能够精确、一，行无效的棍骗攻击和错误查找还可以或许对分段线性神经收集进。们谈到作者，拓展这一方式他们将继续，如：sigmoid、tanh）的深度神经收集使其可以或许无效地注释利用持续、滑腻激活函数（。

　　范做法一样与现有的规，络N的决策特征来注释N的决策行为该论文通过求解一个分段线性神经网。大为分歧的是但与现无方法，如下两个奇特的长处论文对N的注释具有：

　　2 所示如图 ，为激活函数的隐层神经元对于以 PReLU ，况：（1）当 status = 0 时其激活形态（status）分为两种情， 0z，成立输入z和输出a之间的映照关系该神经元利用左半段的线性函数来；tus = 1 时（2）当 sta， 0z=，性函数来成立z到a的映照该神经元利用右半段的线。意的是值得注，于何种激活形态非论神经元处，关系一直是线 所示z和a之间的映照，输入实例x给定一个，线所示的挨次陈列成一个向量 Conf(x)我们能够将所有隐层神经元的激活形态按绿色虚。x的设置装备摆设（Configuration）这个向量被称作 PLNN 对输入实例。

　　合人类认知的客观纪律精确、分歧的注释符。是但，的深度神经收集对于错综复杂，、分歧的注释方式呢我们可否找到精确？

　　线性神经收集（PLNN）的决策行为供给精确、分歧的注释该论文的作者们提出了全新的 OpenBox方式对分段。简练的解析方式「打开」深度神经收集这个「黑盒子」的过程「OpenBox」 这个名字也很贴切地描述了作者们利用。