第三章 人工智能和透明度：打开黑箱
［德］托马斯·威施迈耶（Thomas Wischmeyer） 撰(1) 李 辉 译(2)
过去几年，人工智能的不透明已成为一个主要的政治问题。因此，打开黑箱对于识别侵犯用户隐私、发现偏见和防止其他潜在危害是必不可少的。然而，目前尚不清楚如何将对人工智能透明化的呼吁转化为合理的法规。本章认为，设计人工智能透明监管并不像通常认为的那么困难。监管机构受益于这样的事实，法律体系已经在如何阐明部分不透明的决策系统（人为决策）这一问题上积累了丰富经验。这些经验为法律人提供了潜在的人工智能透明度立法的现实观点，并为此提供了一套法律工具。
一、引言
鉴于人工智能对社会的影响越来越大，人们普遍认为，那些监管、使用或受人工智能系统影响的人应该对这项技术有足够的了解。源源不断的政策文件、国家规划策略、专家建议和利益相关方倡议确立了人工智能透明度的目标。1然而，人们不应该忘记，人工智能分析比人脑分析进行得更快、更准确，因此人们通常将人工智能系统应用于阐明过于复杂以至于人类大脑无法理解的问题，2而这些问题的透明度增强并不在人工智能透明度讨论的中心范畴。确切地说，在过去几年里，正是人工智能本身的不透明成了一个主要的政治问题。有人认为，打开黑箱对于识别侵犯用户隐私的行为（参见本书马奇文章的第5段等）、检测偏见或人工智能歧视（参见本书蒂斯比克文章的第19段）并防止其他潜在伤害（参见本书赫姆斯特鲁维尔文章的第45段，本书拉德马赫文章的第31段）是必不可少的。3
虽然透明度一直是数据保护的一般原则（参见《通用数据保护条例》第5条1款a项），但全球各地的立法者目前都在尝试针对自动化决策系统（包括人工智能系统）制定特定的透明度要求。2017年，纽约市的立法者提议责成任何“为了对个人提供服务，对个人施加处罚或维持治安，使用算法或任何其他方法自动处理数据系统”的城市机构应当“在该机构的网站上发布该系统的源代码”。42018年，德国信息委员会议呼吁制定新法律，强制使用自动化决策系统的公共部门和私人参与者必须发布系统“逻辑”、应用于输入数据的分类器，权重以及系统管理员的专业水平等详细信息。5同样在2018年，德国国家司法部长会议成立了一个工作组，建议履行向公众通报使用自动化决策系统情况的一般职责。6在欧盟，欧盟委员会于2018年出台了《关于促进在线中介服务商业用户公平和透明的条例》（Regulation on Promoting Fairness and Transparency for Business Users of Online Intermediation Services），其中规定了排名算法的公开义务。7德国也在讨论关于“媒体中介”的类似提议（参见本书科伦克文章的第55段）。8对于某些基于自动化决策系统的金融活动，已经规定了通知的要求（参见本书斯凯梅尔文章的第25段）。9
在某种程度上，对透明度的要求在有关新技术的辩论中是普遍的，正如对它的批评一样。10反对意见首先涉及技术可行性。一些人认为，有意义的透明度监管不可避免地会失败，因为基于人工智能的系统的决策过程（正如珍娜·伯勒尔所说的那样）本质上是“不透明的，因为受决策影响的人几乎无法理解如何或为什么要对某些数据输入进行分类并产生一定的输出”（参见第10段及以下）。11另一种批评强调了透明度法规背后的错误规范性假设，这只会造成一种问责的假象（参见第23段及以下）。12第三类学者认为，这个问题实际上是人工智能缺乏透明度的问题，但（这里的话语变得有点模糊）其“可解释性”“可懂度”“可了解性”“可理解性”或“可预见性”较差；反之亦然，如基于人工智能的系统的“保密性”“不可预测性”或“非直观性”）（参见第25段及以下）。13
然而，尽管有权查看基于人工智能的系统的源代码或数据库对于外行人员来说并不是很有意义，而且仅凭“阳光法案”不能保证问责性，但是提高人工智能的透明度仍然是必要且有价值的工作。借用第29条数据保护工作组的一项声明，技术复杂性不能成为不提供重要信息的借口。14即使它的价值主要是工具性的，但透明度仍然是任何问责制框架中必不可少的要素。尤其是对于公共机构而言，正如德国联邦宪法法院所要求的，决策程序必须“通常是可见的且可以理解的”。15在这方面，对透明度的要求最终是基于法治和民主政府的原则。但透明度在私营部门中也发挥着至关重要的作用。在那里，透明监管被用来降低市场准入成本，以重新平衡企业和消费者之间结构性信息和有害信息的不对称。因此，对私有人工智能透明度的要求可以在基于人工智能技术而发展的、大量增长的市场中创造或维持竞争。16
但如何将对人工智能透明度的呼声转化为合理的监管呢？本章认为，设计人工智能透明监管可能很复杂，但它并不像通常认为的那么困难。法律体系在如何阐明部分不透明的决策系统（人为决策）问题中积累了丰富的经验，监管机构得益于此。这些经验为律师提供了潜在的人工智能透明度立法功能的现实性观点，并为此提供了一套法律工具。
关于功能，过去试图打开人类黑箱的尝试表明，“完全”透明是不可能的，也不可取。相反，广义上的透明度监管应关注两件事：第一，给不同的利益相关者群体（公民、消费者、媒体、议会、监管机构和法院）提供他们各自需要的知识，以发起或进行对一项决定的行政或司法审查，或要求决策者承担其他责任。第二，透明度监管能够对那些直接受到决策影响的人传达代理意识，以便在决策过程中产生信任。
关于监管工具箱，透明监管可以授予对有关系统及其操作的信息的访问权限，也可以要求系统操作员向受影响的人员解释其决策。这两类规则都服务于上述功能，因此增强了人工智能的问责性，但是系统运营商为响应这些义务或行使相应权利而需要提供的信息的质量和种类有所不同。
对人工智能透明监管的功能和工具持现实态度，有助于避免两种常见的误解。首先，本章第二部分表明，并不是主要的认知原因（黑箱问题）使人工智能知识的产生成为监管机构的难题。更确切地说，正是系统运营商在人工智能保密方面的合法利益使个人获得这一领域的信息权成为一种微妙的平衡行为（然而，较少的是解释义务）。其次，（一些）基于人工智能的系统无法“解释”自身，即无法说明其决定因素。这与个别机构的关系不大，相比之下，更与监管机构和法院目前缺乏资源有关，无法处理系统及其运营商已经能够提供并确实已经提供的信息。因此，正如本章第三部分所述，人工智能的“可解释性”不是技术设计的问题。且正如最近关于“可解释的人工智能”的倡议所设想的那样，首先是行政和司法部门面临的体制挑战。在此背景下，本章第四部分概述了有意义的人工智能透明监管的未来方向。
二、通过获取信息来产生知识
在现代社会组织的认知条件下，知识不是孤立地产生的，而是在批判和公开的讨论中生产的。17在社会中，开放能激发创造力，鼓励批评，防止认知和其他偏见，而对于政府来说，开放能确保响应、效率和问责制。18建立公开性并由此促进知识增长的标准监管工具包括个人获取信息权、强制性披露规则或授予公共当局的调查权。19就人工智能而言，这些权利和义务（在这里被归类为“信息获取监管”的总称）是否能够提高透明度首先取决于人工智能技术的所谓不透明度（参见下文第1点）。其次，还必须根据那些受到透明度条例负面影响的人的规范性立场来考虑是否可以以必要和适当的方式设计此类规则（参见下文第2点）。最后，在确定人工智能法规的制定和信息监管范围时，监管机构应务实考虑，包括但不限于单个利益相关者处理通过该监管获得知识的能力（参见下文第3点）。
1. 认知约束
目前关于人工智能透明度的讨论倾向于强调基于人工智能的决策系统对外部观察者造成的认知约束。实际上，从外行的角度来看，这些约束是显而易见的。只有一小部分人能读懂计算机代码，绝大多数人甚至无法分析最原始的机器学习算法。政府官员也是如此。而且由于信息技术行业的高度专业化，即使是在该领域受过培训的信息技术专家也可能无法理解复杂的基于人工智能的系统中使用的所有方法。20
然而，这些困难并不能掩盖这一事实，即人工背后的技术和逻辑（这里被定义为一类统计方法和算法的应用，通常将这些方法和算法包含在机器学习的通用术语内，以用于可能非常大且通常是异构的数据集，即大数据）通常被很好地理解，实际上比许多其他自然或社会现象（例如气候变化，纳米技术或金融市场）要好得多。此外，软件行业在过去的几十年中开发了各种控制工具，这些工具通常用于测试复杂系统，21其中包括基于人工智能的系统。22为此，专业的审计团队可以检查代码，重建底层算法，分析培训过程，评估培训和结果数据库，提供虚拟数据等。23
虽然我们对人工智能的理解在理论上已经非常先进，但有关人工智能透明度的文献指出了人工智能审计在实践中面临的三个严重挑战。第一个挑战是，数据处理的数量、种类和速度越大，就越难以理解和预测系统的行为或重新构建计算出的相关性。24但是，这个问题并不是基于人工智能的系统所特有的。即使是完全确定的程序，如今也可能在极短的时间内处理无限数量的贵重物品和属性。此外，在许多情况下，计算技术也提供了解决这个问题的方案，因为至少部分审计可以自动化。甚至专门的人工智能也可以用于此目的。25因此，能否容易地访问以数据为基础的系统不太取决于数据的“大”，而是取决于在所审查的系统中处理它们的方式，即算法。
算法是第二个挑战的关键。至少对于基于人工智能的系统中使用的某些算法而言，实际上（不是理论上的）不可能将特定输入追溯到特定输出，反之亦然。26通常，人们都假定所有使用机器学习算法的基于人工智能的系统都无法做到因果解释。然而，机器学习并不是一个整体的概念，它包括多种技术，从传统的线性回归模型到支持向量机和决策树算法，再到不同类型的神经网络。这些技术在特定输入和特定输出之间建立因果关系时面临的难度存在很大差异。27决策树算法可用于回归和分类问题，例如用于财务预测或贷款申请程序，但一旦决策树建成，就允许因果解释。而这不一定适用于人工神经网络，人工神经网络主要用于模式识别，例如语音或图像识别或自然语言处理。在这方面，重建问题很严重，因为即使有关于系统运作的完整信息，对特定决策的事后分析也可能无法建立线性的、容易被人理解的因果关系。相反，分析将提出一个决策规则，该规则是大量加权变量的概率函数，有时甚至可以对其进行进一步修改以优化计算时间。即使理论上仍有可能写下或重新计算该函数，“机器学习的高维特性中进行数学优化与人类尺度推理和语义解释样式的需求之间仍然存在不匹配”。28
从工程师的角度来看，神经网络的“不透明性”可能并不令人满意。然而，在神经网络中识别因果关系的困难并不能证明对神经网络进行（强制性或自愿性）人工智能审计是徒劳的，而对于其他形式的人工智能更是如此，因为它不会影响收集有关系统及其操作的信息的可能性。通过收集数据和检验一系列假设，逐步寻求对不透明现象的解释是产生知识和理解科学和社会中数据的标准方法。这是获得信息监管的主要目标之一，本章稍后将进行讨论（参见下文第3点）。
第三个挑战涉及人工智能发展的高度动态性，特别是基于人工智能的系统的动态性能。29以IBM公司的“沃森”（Watson）为例，越来越多的基于人工智能的系统具有内置的反馈循环，允许它们根据算法对用户的影响不断调整变量的权重。30因此，理想情况下，系统的每个操作都会训练和更新系统。因此，在t0时具有影响x的因素可能导致在t1时具有不同的决策y。在这种动态架构中，解释仅在短暂的时间内有效。因此，即使“算法的源代码、完整的训练数据集和测试数据是透明的，它仍只能给出其功能的一个特定快照”。31然而，这一观察结果既没有驳斥人工智能审计的可能性，也没有反驳获取信息监管的必要性，因为单个快照仍然可能包含有价值的信息。因此，从监管的角度来看，第三个挑战仅意味着透明度监管需要有书面义务作为补充，以确保仍然有可能获得信息（参见第48段）。
2. 规范性约束
因此，目前没有强烈的认知理由使监管机构能够强制基于人工智能的系统的运营商向监管当局和其他第三方（包括审计师）提供对代码、数据库、统计模型、信息技术基础设施等的访问权力。然而，目前没有获得信息的规定，这需要进行如此广泛的披露。大多数司法管辖区甚至没有规定有义务将用于决策目的的基于人工智能的系统告知公众，更不用说有权访问代码等。2016年10月7日颁布的法国《数字共和国法》（the French Digital Republic Act）是一个备受争议的例外。该法规定，在国家行为主体“基于算法”作出决定的情况下，个人有权获知决策系统的“主要特征”。32法国《数字共和国法》的灵感来自1995年欧盟《数据保护指令》第12条第a款和15条中关于“自动化决策系统”的条款，这些条款于2018年被《通用数据保护条例》第13—15条和第22条所取代。根据《通用数据保护条例》第13条第2款f项和第14条第2款g项，欧盟所有数据控制者现在必须向数据主体提供关于“存在自动决策的信息，包括用户画像”和“关于所涉逻辑的有意义的信息”，而《通用数据保护条例》第15条第1款h项授予数据主体相应的访问此信息的权利。但是，《通用数据保护条例》的权利仅限于该法第22条所指的涉及自动化决策系统的案件，该条款仅适用于“完全”基于自动处理并具有“法律效力”或“类似重大影响”人的决策。33因此，仅支持人类决策的基于人工智能的系统不在本条款的范围内。34此外，在适用《通用数据保护条例》第22条的规定时，根据《通用数据保护条例》第13—15条需要给数据主体提供的信息是有限的。对于《数据保护指令》和欧盟成员国中的实施法规（包括2001年《德国联邦数据保护法》第6条第a款和第28条第b款，这些法律被几乎相同的2018年《德国联邦数据保护法》第31条和第37条所取代），法院裁定，认为没有必要在个别案件中提供有关该判决的详细信息，并且通常不需要对系统的抽象设计进行描述。35从未有法院裁定数据控制者必须提供对自动化系统的原始数据、代码的访问权限。
几乎没有理由认为，在《通用数据保护条例》框架下，这一法律体系将发生重大变化。这并不是因为立法者和法院低估了自动化决策系统透明度的重要性。相反，有一些重要的法律依据，使得更雄心勃勃的信息披露要求成为一个难题。这包括保护知识产权以及贸易和商业秘密，《通用数据保护条例》第5条明确承认这是透明度的限制。36此外，透明度要求可能对隐私和执法利益产生不利影响。37这些“人工智能保密”的说法到目前为止还没有被系统地对待。38充分说明这一问题超出了本章的范围，39因为这需要区分各种“法律的秘密”以及公共和私人运营商之间的人工智能。此处，本章只对战略保密和受托人秘密保护如何影响人工智能透明度监管水平进行论述。
战略保密旨在稳定信息的不对称性，以获得竞争优势。在私营部门中，战略机密是规则，而不是例外，因为授予第三方访问信息的义务侵犯了基本权利，需要有正当理由。因此，私营部门（也包括信息技术部门）的大多数透明度条例只允许获取汇总信息或抽象信息，例如信用评分（参见第16段）；更雄心勃勃的义务仍然是一个罕见的例外。对于根据信息自由法行事的公职人员来说，出于公民在透明性方面的利益，需要保密。然而，大多数信息自由法都承认，国家行为者还需要在某些情况下采取战略性行动，例如出于执法目的，在税法、竞争法或金融市场监管方面。如果公民能够访问国家在此类案件中使用的数据库和算法，这可能会阻碍执法或使有能力的参与者“玩弄”这个系统。因此，例如，《德国税收通则》第88条第5款第4段明确禁止访问有关税务部门风险管理系统的信息，因为出版物“可能危及税收的统一性和合法性”。40
对信托机密的保护考虑到，在社会交往中，当事方定期交换他们不希望向公众或第三方披露的信息。保密信息的交换深化了合作，促进了战略行为的协调并稳定了信任。对信息保密的希望也可能基于关系的机密性质或所交换的特定类型的数据，例如个人数据。后者特别适用于处理个人数据的基于人工智能系统的数据库。在这方面，公众对透明度的兴趣与保护隐私和个人数据完整性的需要产生了冲突。41如果国家行为者使用私有专有系统，也会存在类似的冲突。在这里，使公共决策程序“可见和可理解”的兴趣与那些为开发其系统而投资的私人参与者的权利相冲突（参见第17段）。如果国家行为者使用私人专有系统，也存在类似的冲突。在这方面，使公共决策程序“可见和可理解”的利益与那些投资于发展其系统的私人行为者的权利相冲突（参见第17段）。
即使是对人工智能保密的合法主张也不能成为全面例外的理由（参见《通用数据保护条例》序言第63条第6段）。诸如《德国税收通则》第88条第5款第4段这样的法律，完全将政府的内部流程与外部审查隔离开来，是过于严格的。同样，只有在负面评分的实际效果受到限制的情况下，德国联邦议院在保护商业秘密进行信用评分方面的近乎绝对的立场（参见第16段）才是合理的。为了在透明性和保密性之间平衡竞争利益，监管工具箱包含各种工具，可用来确保保护真正敏感的数据，同时仍提供有关系统及其操作的有价值的信息。其中包括（1）敏感信息的多层访问制度，该制度区分通知义务，对原始数据或汇总数据的访问权（参见第22段及以下），（2）对访问权的时间限制，（3）信息中介机构的雇用，（4）程序性安全措施，例如摄像机内操作等。42在许多情况下，这些工具将增加总体透明度，而不会对系统运营商的保密利益产生负面影响。但是，如果透明度利益大于保密要求，而且无法达到合理平衡，那么这就是在特定情况下不使用基于人工智能的系统的重要原因。43
3. 功能约束
通常情况下，信息获取监管赋予不同类型的利益相关者不同类型的访问权限。新闻媒体通常可以依靠法定权利，这些法定权利的约束性比一般的新闻自由法要小，而且又不同于法院和机构获取或产生信息的权力。这种细化的方法既考虑到利益相关者独特的规范地位，也考虑到功能方面，如数据与利益相关者的相关性。如果公民寻求信息不仅出于普遍利益，而且由于他们受到特定决定的负面影响，那么他们获得信息的权利通常会更大。这种制度的另一个假设是，每个公民不一定具有（也不需要发展）自行评估复杂事务的能力。相反，他们能够依靠专家和公共机构，尤其是法院。因为他们可以向法院提出申诉，而法院可以行使其影响更深远的调查权。44
对于人工智能监管而言，这意味着我们不应再寻找一刀切的解决方案。并非所有人都需要无限制地访问所有信息。相反，建议监管机构遵循传统的方法，在设计人工智能获取信息制度时，考虑所涉及的个人利益、利益相关者的地位、操作系统的法律性质（可以是公共机构，也可以是私人机构）以及使用该系统的监管机构的敏感性和重要性（请参见第四部分）。
功能性方法还使我们能够处理对人工智能获取信息监管的普遍批评。有人多次提到，访问源代码不会给绝大多数公民带来附加值，而访问简化的信息（例如，对系统的抽象描述，统计上显著的因素列表或汇总的输出数据）只允许识别明显的错误，而不能识别真正有问题的错误，如算法歧视或违反数据保护。45但这是否意味着人工智能透明监管只会造成问责错觉，甚至掩盖这种情况（参见第3段）？这种批评主要集中在个人信息权上，例如《通用数据保护条例》第13—15条中的权利和义务。事实上，获得信息权的复杂经验表明，个人权利不是万能药。46在最坏的情况下，这些权利甚至可以用来通过主观化将社会问题外部化，而实际的政策仍然是不透明和不变的。然而，在关于透明度监管的一般性讨论中，今天几乎没有人质疑，如果将个人信息权理解为更大的信息流动监管结构中的一个组成部分，并附有保证个人能够利用所收到的信息（特别是通过监管机构或法院收到的信息）对该系统进行更彻底审查的条例，个人信息权就能够在民主社会发挥重要作用（参见第4段）。
尽管如此，从获取信息的角度来看，公民个人的作用主要是工具性的。通过主张自己的权利，公民为社会人工智能知识的普遍增长作出了贡献。但是，许多学者指出，实际上透明的承诺更加雄心勃勃。如果将透明度视为人工智能问责制的基石，这就要求“不仅要了解程序集的任何一个组件，还需要了解它作为一个系统是如何运作的”。47虽然获取信息监管试图让利益相关者了解黑箱，但它并没有立即关注信息的可理解性。因此，为了避免所见等同于所理解的谬误，需要有一种不同的工具来补充信息获取框架，这种工具特别侧重于因部署以人工智能为基础的系统而受到影响的个人的观点。48
三、通过解释创造能动性
正如我们所看到的，如果个人由于基于人工智能的系统发出或推荐的拒绝贷款、税务审计或搜索命令而感到不知所措甚至是不满意，49那么允许他们不受限制地访问源代码将很难恢复他们对该技术的信任。因此，人们普遍认为，透明度监管不应只限于提供信息，还应使受有关决策影响的人具有代理意识。这意味着受影响的人收到的信息应使他们能够以有意义的方式对决策作出反应——通过挑战（退出），通过改变其行为（忠诚度）或发起关于他们所遵循的标准在民主社会中是否被接受的辩论（声音）。与此类似，《通用数据保护条例》第12条第1款和其他法律规定，数据控制者应“以简洁、透明、可理解和易于访问的形式，使用清晰明了的语言”向信息主体提供信息。同样的信念也是那些认为人工智能透明度的辩论应该更少地侧重于获取信息，而是考虑如何提高基于人工智能的系统的“可懂度”“可了解性”“可理解性”或“可预见性”的人的出发点。50
然而，术语和概念的激增表明，目前尚不清楚如何通过信息创建单独的机构。对于许多人而言，可解释性（这个术语将在这里用来表示通过透明度创造代理感的挑战）与因果关系相关。因此，计算机科学家在可解释性人工智能方面的许多最新工作都旨在识别导致基于人工智能的决策的因素，并以可理解的方式呈现这些因素（参见下文第1点）。但是，这种方法有其自然的局限性，因为在许多情况下，因果关系的解释将是不可用的，或过于复杂，难以被受影响的人理解。因此，替代解释理论最近在人工智能透明度文献中经历了复兴，特别是建立在大卫·刘易斯（David Lewis）关于反事实的研究上（参见下文第2点）。51然而，反事实也不能避免在可解释性和忠实性之间的权衡，而这在每个解释中都必须作出。因此，本章建议转变观点和理解解释，不仅作为向个人提供信息的行为，而且作为一种社会实践，嵌入在特定的制度环境中，并在社会和法律制度中和通过这些制度创造个体的能动作用（参见下文第3点）。
1. 因果解释
在科学哲学中，“解释”主要理解为对导致事件或决定的因素的识别。52从伦理的角度来看，因果解释可以产生作用，因为它们可以帮助个体认识到他们如何改变自己的行为，或者他们必须考虑哪些因素才能改变结果。人们认为，了解为什么要以特定方式进行分类意味着知道将来如何避免这种分类。从这个意义上来说，增强人工智能的可解释性意味着开发分析工具，使基于人工智能的系统具备观察和分析自身操作，从而识别因果决定因素，并以人类可理解的方式将其呈现给受影响的人的能力。目前在可解释人工智能领域正在开展许多项目。53法律规定可以强制部署这些工具。
一些学者认为，《通用数据保护条例》第22条第3款已经包含了这一义务。54该条款要求自动化决策系统的运营商在根据《通用数据保护条例》第22条第2款a项和c项允许自动处理的情况下，采取“适当的措施来维护数据主体的权利”。55但是，仔细阅读该条款后，《通用数据保护条例》第22条（紧随1995年《数据保护指令》的脚步）并不要求自动化决策系统的运营商提供有关导致在特定情况下的决定的信息。相反，关于系统逻辑的抽象信息就足够了（参见第20段）。这也适用于《通用数据保护条例》第13条第2款f项和第14条第2款g项的通知义务和第15条第1款h项的信息获取权。在立法起草过程中，曾讨论过更雄心勃勃的“解释权”，但未在《通用数据保护条例》的最终版本中实施。56
值得考虑的是，即使《通用数据保护条例》或其他法律会授予这种因果关系的解释权，这在技术上是否可行，个人是否会能从中受益？由于上面讨论的原因（请参见第10段及以下），尤其是由于某些（并非完全）基于人工智能的系统难以确定因果关系，人们对此表示怀疑。目前对可解释人工智能的研究正在这方面取得进展。57然而，允许观察者识别给定输入变量与特定输出之间因果关系的工具仍然没有用于深层神经网络。此外，许多以人工智能为基础的系统的复杂性使得无法以通俗易懂的方式呈现导致决策的因果关系。系统在作出决策时考虑到的因素越复杂（增加这些数字通常是采用人工智能而不是人类智能的目的58），他们的表示就越难获得。这不仅适用于人工智能，而且是所有考虑许多相互依存因素的决策系统的一个特点。假设可解释人工智能有进一步的创新，深度学习系统最终可能能够列出所有影响决策过程的因素，并根据它们在特定案例中的统计意义对它们进行排序。然而，如果列出的所有相互关系的特征数量超过了个人处理信息的能力，那么这样的列表对收件人来说就像代码本身一样毫无意义。59
机器学习社区针对此问题提出了各种创新建议，包括局部可解释模型——不可知解释（LIME）、贝叶斯决策列表（BDL）或通过透明近似（BETA）提出黑箱解释。这些都使观察者能够测试机器学习系统中分类器的可靠性，以确定他们是否可以信任该模型。当前，这些模型支持专家更好地理解技术。它们是否对非专业人士也有帮助还是一个悬而未决的问题。60无论如何，这些方法再次面临这样一个事实，即试图将基于人工智能的决策过程的复杂性降低到一个外行人可以理解的水平与保持解释的信息价值的目标之间存在着一种与生俱来的矛盾。技术可以试图权衡保真度和可解释性，但这一问题仍然存在。61
2. 反事实解释
如果对决策过程进行精确的因果分析可以作为一种解释，那么保真度/可解释性的权衡就会威胁到通过解释建立机构的项目。然而，虽然确定所有“决策的真正决定因素”62可能支持解释性，但对于在社会实践中通常理解和实施解释的方式而言，这既不是必要条件也不是充分条件。否则，在一个从认识论的角度来看一直是“不透明交往”（尼克拉斯·卢曼，Niklas Luhmann）的社会中，坚持解释是没有意义的。63特别是集体（人）的决定在结构上是无法解释的，因为在大多数情况下，不可能以一种使“真正的”动机可见的方式来重构它们。64但是对于许多个人决定而言，寻找真正原因的探索通常不会使我们走得太远。65
然而，我们仍然坚持让个人和团体解释他们的行为。在法律制度中，公共当局的大多数决定都必须作出解释，正是为了为公民创造一种代理感（参见第37段）。这表明解释在日常实践中扎根于社会，并在社会中实际执行，这在概念上与科学探究原因不同。66越来越多的学者有这种直觉，他们试图通过解释来寻找生成人工智能透明度的替代方法。其中比较突出的建议是“假想的改变”，这是丹妮尔·齐特龙（Danielle Citron）和弗兰克·帕斯夸里（Frank Pasquale）在关于信用评分的讨论中提出的，它允许消费者访问和（假设地）修改其信用历史，以便分析其影响。67
类似地，桑德拉·瓦赫特（Sandra Wachter）、布伦特·米特尔施塔特（Brent Mittelstadt）和克里斯·拉塞尔（Chris Russell）最近提出了“反事实解释”的概念，根据这一概念，只有在基于人工智能的决策过程中为获得不同结果而改变的因素才必须予以披露。68如果贷款申请失败，个别申请人会收到一份反事实的表格，表明需要更改或修改哪些资料才可获得满意的结果。他们认为，这样的信息将使申请人能够改变自己的行为或对负面决定提出异议。69因为这个假设展示了一个具体的可替代的未来，因此其动机能力可能确实比“纯粹的”因果解释更强。因此，按照瓦赫特等人的要求，系统操作员有义务在作出决定时或以后自动或响应个人或受信任的第三方审核员提出的特定要求时，计算和披露反事实。70
反事实的概念很有吸引力，因为它基于这样的见解，即在社会上，解释几乎不需要精确地重建决策过程。相反，解释通常只关注那些对决策产生影响的事实。此外，该理论承认，基于人工智能的系统必然仍然是外行人的“黑箱”（请参见第10段）。最后，由于它仅从外部观察系统的性能，因此绕过了透明度和保密利益之间的平衡程序（参见第20段）。
然而，除了其他严重的限制外，71反事实也无法逃避保真度和可解释性之间的权衡。72正如瓦赫特等人所述，决策系统的复杂性越高，就需要越多的反事实，以说明数据主体可以调整哪些因素以产生不同的结果。73因此，反事实很好地支持数据主体对中等复杂的基于人工智能的系统的一般理解。不过，它的主要受益者是这类系统的运营商，他们可以在不授予数据主体或第三方深度访问权限的情况下提供有关系统的信息。
3. 情境解释
如果解释仅仅被理解为将有关决策的信息提供给收件人的一种特定形式，那么就不可避免地要在保真度和可解释性之间进行权衡。然而，几乎所有人工智能“解释性”理论都缺少通常进行解释的制度环境。这种设置非常重要，因为机构可以承担个人肩上的解释负担，从而减少为了保持可解释性而损害忠诚的需要。
在法律体系中，制度方面是解释理论（或更具体地说，是推理理论）的组成部分。法律中进行推理的目的不仅是为了使个人了解一项决定，而且还要使他们能够启动复杂的法治机制以保护自己的权利。74德国联邦行政法院通过强调“行政当局影响的公民必须知悉有关原因，因为他或她才有能力充分捍卫自己的权利”，从而强调了赋予理由与诉诸司法之间的联系。75
将这种意义上的解释理解为一种嵌入制度环境中的社会实践（解释只是协作控制过程的第一步），并不能否定提供因果关系或反事实信息的重要性。相反，它改变了观点，并提请注意这样一个事实，即代理机构不仅是通过了解决策原因或潜在替代方案产生的，而且也是通过支持个人解释和审查决策的机构产生的。这种制度方法使法律制度能够从本质上区分每种解释的两个不同要素，从而摆脱忠诚/可解释性困境：
第一个要素尝试确保收件人能够认识到他或她已受到一项决策的影响，并可以通过上级主管部门或法院来选择是接受结果或还是寻求法律救济；如果收件人不完全理解该解释，他或她应寻求法律咨询。76第二个要素涉及监管机构。对他们来说，为了实行有效的控制，解释必须尽可能复杂。因此，这取决于案件的具体情况，而不取决于受影响个人的能力，门外汉可以在多大程度上获得解释。尼克拉斯·卢曼以典型的冷静和讽刺的方式描述了这一点：
因此，在实践中，解释性陈述是由律师为律师、上级机关或法院撰写的；并对其进行编码以使其正确无误，以至于接收者常常无法理解，只能在专家的帮助下对其进行解密。77
在这个模型中，一个解释的成功既取决于个人理解他或她所受到的决定的能力，也取决于控制机构的完整性和专业水平。现在，将这种模型应用于人工智能遇到了一个严重的障碍：虽然现有的法律控制机构有能力处理许多复杂的问题，但到目前为止，对于人工智能而言并非如此。当前，行政机构或法院在分析复杂的基于人工智能的系统方面几乎没有经验。因此，发展和加强这些能力势必成为人工智能透明度理论以及这一领域每项严肃政治倡议中不可或缺的一部分。
四、未来之路
1. 原则
关于人工智能透明度的讨论需要克服错误的绝对原则。并非所有基于人工智能的系统都是无法理解的黑箱，透明度本身也不能保证问责制。78相反，人工透明性监管的价值在于产生知识和引发有关技术的辩论，激发个人对基于人工智能的决策提出质疑，并从长远来看将加强社会对新技术的接受。79监管在多大程度上能够真正实现这些目标取决于许多因素。然而，至少在合理的情况下，在较大的协作控制流程中，强大的信息法规访问权和解释说明要求的引入将积极促进实现这些目标，而拒绝提供信息或解释决定可能会引起抵制和破坏信任。80因此，透明度监管应被视为一种手段，以抵消人工智能兴起时普遍存在的无知和普遍存在的被剥夺公民权的感觉。
对于这种体系结构的未来设计而言，重要的是信息获取与解释之间的区别，这已在前面的部分中进行了广泛讨论。同样重要的是区分基于人工智能的系统运营商的公共性质或私有性质，这需要在人工智能透明度的全面理论中进一步阐述（参见第17段及以下）。此外，在平衡人工智能透明度和人工智能保密的竞争利益时，监管机构需要考虑以下因素：（1）应用该系统的部门的重要性；（2）系统运营商对该部门的相对重要性；（3）受系统部署影响的个人和集体权利的质量和权重；（4）有关数据的种类（尤其是是否涉及《通用数据保护条例》第9条所指的特殊类别的个人数据）；（5）该技术与各个决策流程的集成程度如何——大量研究表明人工智能透明度法律应超越《通用数据保护条例》第22条的形式主义方法，该方法要求自动化处理具有法律效力或“类似地显著影响”数据主体，并包括所有以操作个人数据、有助于决策过程的人工智能系统；81（6）最后，是否以及如何通过组织、技术或法律手段保护系统运营商在人工智能保密中的合法利益。
2. 实践
透明度是问责制的信息维度，因此，它既是决策过程控制框架的前提，也是其产物。因此，透明度监管是一个多方面的问题。在“模拟”世界中，各种工具被用来使公共行为者的决策透明化，包括禁止秘密法、对行政和司法行动的程序透明化要求以及对议员、新闻界和公民的不同宪法和法定知情权。人工智能透明监管也是如此。因此，个人的知情权或解释权只是更大的监管结构中的一个要素。通过设计实现的透明度是该体系结构的另一个重要组成部分，但并非唯一的方案。在这种背景下，有意义的透明度策略应至少包括以下五个互相关联步骤。
第一步（可能是争议最小的一步）是有责任披露基于人工智能的系统的存在，以及有义务通知主管当局，并最终通知其部署的数据主体。82在某些部门，这种披露和通知要求已经到位或正在讨论中。83对于公共机构而言，披露应包括“其目的、范围、潜在的内部使用政策或做法以及实施时间表的详细信息”。84因为通知和披露是法规的基本要求，只能在特殊情况下例外才是合理的。85对于私营部门而言，这主要取决于使用该系统的部门以及数据主体权利受到影响的质量和强度，以及是否可以颁布此类要求。然而，在这种抽象的陈述中提供的信息很少特别敏感，这使立法者在这方面有一定的了解余地。
第二步，如果基于人工智能的系统用于个人决策，则可以将通知与解释权（透明结构的第二层）结合起来。如第三部分中所述，解释不是关于给收件人一个系统的准确描述，也不是给他或她所有原因或反事实的清单。相反，解释中提供的信息需要根据解释要求的首要目的，即，使公民能够拥有行政或司法控制决策的权力以及支持法院和监督机构行使这种控制。这可能需要有关以下方面的信息：（1）系统的数据基础；（2）模型和决策逻辑；（3）系统运营者执行的（数据）质量标准；（4）系统使用的参考组或配置文件；（5）系统针对有关个人作出的实际或潜在推断；等等。86这种解释的确切内容不能抽象地加以规定，而必须在每种情况下都加以规定。87
第三步是建议个人信息访问权。这种权利允许数据主体或研究人员（即使他们不受基于人工智能的系统决策的影响）对系统及其运作进行评估，并可用于针对数据控制者准备司法或行政诉讼，或者只是引发有关系统的辩论。就公共机构而言，创造此类权利的自然方法是将现有信息自由法的范围扩大到包括基于人工智能的系统。88对于私营机构而言，获取信息权仍然是一个进展缓慢和研究不足的问题。如第二部分第2点所述，获取信息的权利不是绝对的。当前的信息自由法包含一些例外情况，这些例外情况也适用于人工智能保密。例如，如果行政部门使用的系统用于机场安全或税务欺诈检测。对于私营机构而言，保密权通常更强，以防止竞争对手滥用信息权。在这方面，必须通过精心设计例外情况来实现竞争利益之间的合理平衡（参见第20段）。
虽然这些例外情况可能会削弱信息权的实际效力，但也可以通过其他方式来保证系统的问责制。特别是，监管机构和法院也可以获得信息。公共机构的这种调查权力是迈向全面人工智能透明制度的第四步。在私营部门，公共调查机构是行政控制的标准工具。如果公共机构本身使用基于人工智能的系统，则上级或专门的监管机构或法院需要有权使用该系统，以审查判决的合法性（参见《德国基本法》第19条第4款）。尽管在这些情况中还必须考虑到保密利益，但是与个人信息权相比，通常更容易容纳这些秘密，因为信息仍在国家管辖范围之内。监督机制的严格程度取决于上文第1点中讨论的因素。特别是在不授予个人访问信息权的情况下，监督控制具有补偿功能，因此必须更彻底和更频繁地执行。基于人工智能的系统的调查机构应归属一个专门机构89还是分布在各个机构之间（这些机构各自监督各自领域内基于人工智能系统的部署）将取决于宪法要求以及一个国家内的行政文化（参见本书霍夫曼—里姆文章的第39段）。在技术方面，基于人工智能的系统的运营商将需要为这些机构建立适当的技术接口（API）。
第五步也是最后一步，包括各种配套措施，例如有义务记录基于人工智能的系统的运行情况（参见第16段）。90此外，法院和机构必须建立必要的专业知识水平，以控制基于人工智能的系统。为此，各国政府应参与专家网络，建立专门机构和标准化程序、建立认证和审计框架等。91显然，这是一项艰巨而长期的任务，已经超出了透明度监管的范畴。然而，这对任何“打开黑箱”的认真尝试都是必不可少的。
注释
1. Cf. only National Science and Technology Council Committee on Technology（2016）, OECD Global Science Forum（2016）, Asilomar Conference（2017）, European Parliament（2017）, Harhoff et al.（2018）, Singapore Personal Data Protection Commission（2018）, Agency for Digital Italy（2018）, House of Lords Select Committee on Artificial Intelligence（2018）, Villani（2018）, European Commission（2018）and Datenethikkommission（2018）.
2. Bundesanstalt für
Finanzdienstleistungsaufsicht（2018）, pp.144—145.参见本书赫姆斯特鲁维尔文章的第3段，本书亨内曼文章的第37段。
3. 对这场辩论的重要贡献包括Mayer-Sch?nberger and Cukier（2013）, pp.176 et seq.; Zarsky（2013）; Pasquale（2015）; Burrell（2016）; Diakopoulos（2016）; Zweig（2016）; Ananny and Crawford（2018）。
4. 最初的提案（1696—2017年）将把上面引用的文本添加到《纽约市行政法典》（Administrative Code of the City of New York）第23—502节中。然而，最终通过的法律只成立了一个专门小组，专门研究城市机构目前如何使用算法。有关立法程序的详细说明，请参见
egistar.council.nyc.gov/Legislation Detail.aspx？ID?3137815＆GUID?
437A6A6D-62E1-47E2-9C42-461253F9C6D0。
5. Konferenz der Informationsfreiheitsbeauftragten（2018）, p.4.
6. Arbeitsgruppe “Digitaler Neustart”（2018）, p.7.
7. COM/2018/238最终版—2018/0112（COD）。
8. Rundfunkkommission der L?nder（2018）, pp.25—26.
9. 自2018年1月起，德国的投资服务提供商如果按照《证券交易法》第80（2）条的规定从事算法交易，则必须遵守通知要求。该规定实施了欧盟《金融工具市场指令II》。
10. 参考Mittelstadt et al.（2016）, p.6：“透明度常常被简单地视为解决新技术引发的道德问题的灵丹妙药。”类似的参见Neyland（2016）, pp.50 et seq.; Crawford（2016）, pp.77 et seq.。
11. Burrell（2016）, p.1.
12. 参考Ananny and Crawford（2018）, p.983。关于这一点更详细的讨论参见Tsoukas（1997）; Heald（2006）, pp.25—43; Costas and Grey（2016）, p.52; Fenster（2017）。
13. 参考Selbst and Barocas（2018）, pp.1089—1090。
14. Article 29 Data Protection Working Party（2018）, p.14.
15. Bundesverfassungsgericht 2 BvR 2134, 2159/92 “Maastricht”（12 October 1993）, BVerfGE89, p.185; 2 BvR 1877/97 and 50/98“Euro”（31 March 1998）, BVerfGE 97, p.369. On the valuesof transparency cf. Scherzberg（2000）, pp.291 et seq., 320 et seq., 336 et seq.; Gusy（2012）, § 23 paras 18 et seq.; Scherzberg（2013）, § 49 paras 13 et seq.
16. Cf. CJEU C-92/11“RWE Vertrieb AG v Verbraucherzentrale Nordrhein-Westfalen eV”（21 March 2013）, ECLI:EU:C:2013:180; CJEU C-26/13“árpád Kásler and Hajnalka Káslerné Rábai v OTP Jelzálogbank Zrt”（30 April 2014）, ECLI:EU:C:2014:282. See also Busch（2016）.有关美国私法和隐私法中披露义务的批判性观点，参见Ben-Shahar and Schneider（2011）and Ben-Shahar and Chilton（2016）。
17. Merton（1968）, pp.71—72.
18. Cf. Fassbender（2006）, § 76 para 2; Hood and Heald（2006）; Florini（2007）.
19. 有时，透明度监管被认为是授予个人信息的权利。然而，这种个人权利只是管理社会信息流动的更大监管结构中的一个要素，参见第四部分。
20. 关于难以识别基于人工智能的系统的“边界”，并导致增强了对透明度的要求的讨论，参见Kaye（2018）, para 3; Ananny and Crawford（2018）, p.983。
21. 在人工智能的特定环境之外，错误检测和避免已成为复杂的研究活动和广泛的技术标准化工作的主题，参见国际标准ISO/IEC 25000 “Software engineering—Software product Quality Requirements andEvaluation（SQuaRE）”（created by ISO/IEC JTC 1/SC 07 Software and systems engineering）.The German version “DIN ISO/IEC 25000 Software-Engineering—Quality Criteria and Evaluationof Software Products（SQuaRE）—Guideline for SQuaRE” is maintained by NA 043 Information Technology and Applications Standards Committee（NIA）of the German Institute for Standardization。
22. 在这一背景下，被广泛引用的论文是Sandvig et al.（2014）, pp.1 et seq.。
23. 最近，慕尼黑再保险公司（Munich Re）与德国人工智能研究中心（DFKI）合作，对一家使用人工智能检测欺诈性在线支付的初创公司的技术进行了审计。审计工作包括对公司数据、底层算法、统计模型和IT基础设施的检查。审计工作成功后，这家初创公司获得了一份保险。
24. Tutt（2017）, pp.89—90，描述了几个案例，在这些案例中，来自IBM和Telsa的法律专家无法在事后重建其系统故障的原因。
25. 见上文注释2。
26. 下文参见Hildebrandt（2011）, pp.375 et seq.; van Otterlo（2013）, pp.41 et seq.; Leese（2014）, pp.494 et seq.; Burrell（2016）, pp.1 et seq.; Tutt（2017）, pp.83 et seq.。
27. 详细讨论参见Bundesanstalt für
Finanzdienstleistungsaufsicht（2018）, pp.188 et seq.。
28. Burrell（2016）, p.2.
29. 甚至许多常规算法也在不断更新，这使得事后评估变得很困难。参见Schwartz（2015）。
30. Cf. IBM（2018）.
31. Ananny and Crawford（2018）, p.982. See also Diakopoulos（2016）, p.59.
32. 2016年10月7日第2016—1321号法律，适用于法国《数字共和国法》。如规定所示，通过Décretn 2017—330 du 2017年3月14日第1条创建的R311-3-1-2条，是个人法修正案中的个人特征证书算法的基础。（网址
:www.legifrance.gouv.fr/affichTexte.do?cidTexte?JORFTEXT000034194929＆categorieLien?cid）主管部门需要提供以下信息：（1）帮助决策的算法处理的程度和方式；（2）处理哪些数据以及它们的来源；（3）根据数据处理哪些变量；以及（4）系统执行了哪些操作—所有这些都需要提供，但是，“请仔细阅读并保留所有权利”。国家安全方面的法律例外。更多详细信息参见Edwards and Veale（2017）。
33. 详情参见von Lewinski（2018）, paras 7 et seq.; Martini（2018）, paras 16 et seq., 25 et seq.。
34. Cf. Martini and Nink（2017）, pp.3 and 7—8; Wachter et al.（2017）, pp.88, 92; Buchner（2018）, para 16; Martini（2018）, paras 16 et seq.; von Lewinski（2018）, paras 16 et seq., 23 et seq., 26 et seq..
35. For Article 12a DPD see CJEU, C-141/12 and C-372/12, paras 50 et seq.对于包含（并且仍然包含）特殊的部分信用评分的《德国联邦数据保护法》，德国联邦法院决定，信用评分系统的设计是充分的，系统运营商只需要解释抽象的高信用评分之间的关系和获得信贷的可能性。在个别情况下，不认为有必要提供关于该决定或该系统的详细信息，请参见Bundesgerichtshof VI ZR 156/13（28.1.2014）, BGHZ 200, 38, paras 25 et seq.。在文献中，对于必须披露哪些确切信息以充分了解所涉及的逻辑，存在许多不同的观点。有关不同的概述,参见Wischmeyer（2018a）, pp.50 et seq.。
36. Cf. Hoffmann-Riem（2017）, pp.32—33.关于“战略对策风险”的讨论请参见本书赫姆斯特鲁维尔文章的第65—69段。
37. See only Leese（2014）, pp.495 et seq.; Mittelstadt et al.（2016）, p.6.
38. 虽然法治和民主治理原则使公共行为体具有透明度，因此限制了行政机密性（请参见第4段），但私营行为体的透明度要求必须根据其基本权利加以证明。然而，考虑到公共利益的风险和新技术的风险性，私人系统运营商的利益几乎永远不会占上风。此外，立法者还需要保护那些受到人工智能系统负面影响的人的基本权利，这通常意味着议会必须制定法律来保证对技术的有效控制。然而，立法者在这方面有相当大的自由裁量权。对于某些运营私有化公共空间（“公共论坛”）或以其他方式占据了某种类似于国家的权力地位的公司，数据主体基本权利的横向效应将要求制定更强有力的透明监管。
39. 有关“法律机密”的理论，请参见Scheppele（1988）, Jestaedt（2001）and Wischmeyer（2018b）。
40. 参见本书布劳恩·宾德文章的第12段。另见Martini and Nink（2017）, p.10。
41. 这个问题涉及透明度监管的所有形式，参见Holznagel（2012）, § 24 para 74;von Lewinski（2014）, pp.8 et seq.。
42. Wischmeyer（2018b）, pp.403—409.
43. 本研究还讨论了将敏感的私人专有技术用于刑事司法或执法目的的案例，参见Roth（2017）, Imwinkelried（2017）and Wexler（2018）。因此，北莱茵威斯特伐利亚州的警察开发了一种预测警务系统，该系统不使用神经网络，而是使用决策树算法，参见Knobloch（2018）, p.19。
44. 关于（可能使人望而却步的）专业知识费用，参见本书蒂斯比克文章的第41段。
45. Datta et al.（2017）, pp.71 et seq.; Tene and Polonetsky（2013）, pp.269—270.
46. 关于信息获取监管的优势和劣势的详细描述，参见Fenster（2017）。
47. Ananny and Crawford（2018）, p.983.
48. Ananny and Crawford（2018）, p.982.
49. 《通用数据保护条例》第22条的目的通常被定义为防止“将个人降级为仅是政府处理行为的一个目标，而不考虑受影响的政党或个人的具体情况。”（Martini and Nink（2017）, p.3）（translation T.W.）. Similarly, von Lewinski（2014）, p.16.
50. 见注释13。参见Doshi-Velez and Kortz（2017）, p.6:“解释不等同于透明。解释不需要了解通过人工智能系统的比特流，就像人类的解释不需要了解通过神经元的信号流一样。”
51. 特别是Wachter et al.（2018）借鉴了刘易斯（Lewis）的研究成果，特别是Lewis（1973a, b）。
52. Woodward（2017）：“尽管在哲学家之间关于科学和普通生活中的所有解释是否都是因果关系存在着相当大的分歧，而且在因果解释和非因果解释之间的区别（如果有）上也存在分歧……几乎每个人……都同意，许多科学解释都引用了有关原因的信息。”另参见Doshi-Velez and Kortz（2017）, p.3。
53. Cf. Russell et al.（2015）; Datta et al.（2017）, pp.71 et seq.; Doshi-Velez and Kim（2017）; Fongand Vedaldi（2018）.虽然有最新进展，但该领域的研究仍处于起步阶段。2017年，启动了DARPA关于可解释人工智能的项目，请参见
www.darpa.mil/program/explainable-artificial-intelligence。
54. Goodman and Flaxman（2016）.有关其他参考参见Wachter et al.（2017）, pp.76—77。
55. 关于条文狭窄范围的讨论参见上文注释33。
56. 有关立法程序的详细分析参见Wachter et al.（2017）, p.81; Wischmeyer（2018a）pp.49—52.
57. 例如，学者们最近提出了一种机制——在用于图像分类的深层神经网络中建立分类器之间的顺序关系，从而在为该技术提供因果模型方面迈出了重要的一步：Palacio et al.（2018）. Cf. also Montavonet al.（2018）。
58. 参见本书赫姆斯特鲁维尔文章的第70—74段。
59. Ribeiro et al.（2016）, sec. 2：“如果成百上千个特征对预测有重大贡献，那么即使可以检查各个权重，也无法期望任何用户理解进行预测的原因。”
60. Wachter et al.（2018）, p.851.
61. 关于这种权衡见Lakkaraju et al.（2013）, sec. 3; Ribeiro et al.（2016）, sec 3.2. Wachter et al.（2018）, p.851，甚至提到“在近似质量与易于理解函数以及近似有效域的大小之间进行三权衡”。
62. Bundesverfassungsgericht 2 BvR 1444/00（20 February 2001）, BVerfGE 103, pp.159—160.
63. Luhmann（2017）, p.96.
64. Wischmeyer（2015）, pp.957 et seq.
65. Tutt（2017）, p.103. Cf. Lem（2013）, pp.98—99：“因此，每个人可以不需要知道算法就使用设备。我们自己的大脑是整个宇宙中‘离我们最近’的‘装置’之一：我们的大脑在脑海中。然而，即使在今天，我们仍然不知道大脑到底是如何工作的。心理史表明，通过内省来检验其机制是非常容易出错的，会使人误入歧途，导致一些最荒谬的假设。”
66. 人类即使不知道是什么导致了其他人的决定，也可以相互影响，这可能具有进化的意义：Yudkowsky（2008）, pp.308 et seq.。
67. Citron and Pasquale（2014）.
68. Wachter et al.（2018）. See also Doshi-Velez and Kortz（2017）, p.7.有关哲学基础，参见Lewis（1973a, b）and Salmon（1994）。
69. Wachter et al.（2018）, p.843.
70. Wachter et al.（2018）, p.881.
71. 参见Wachter et al.（2018）, p.883：“作为最低限度的解释，反事实并不适用于所有情况。特别是，当理解系统功能或自动决策的基本原理很重要时，反事实本身可能是不够的。此外，反事实并不能提供评估算法公平性或种族偏见所需的统计证据。”
72. 参见本书赫姆斯特鲁维尔文章的第45—48段。
73. Wachter et al.（2018）, p.851：“不利的一面是，个别反事实可能过于严格。个别反事实可能会显示决策是如何基于某些正确的数据而作出的决策，即使将来可能会修改其他数据以获得有利的结果，数据主体也无法在将来决策之前对其进行更改。这个问题可以通过向数据对象提供多种不同的反事实解释来解决。”
74.（因果）解释和（语义）原因不相同。然而，解释和原因说明要求都需要一个制度框架才能有效。原因说明要求主要是针对公共机构。然而，法院和学者描述的原因说明也适用于私营结构。更详细地描述参见Kischel（2003）, pp.88 et seq.; Wischmeyer（2018a）, pp.54 et seq.进行比较分析参见Saurer（2009）, pp.382—383。
75. Bundesverwaltungsgericht 2 C 42.79（7 May 1981）, DVBl 1982, pp.198—199.
76. Stelkens（2018）, § 39 VwVfG, paras 41, 43.
77. Luhmann（1983）, p.215（translation T.W.）.
78. 为了全面讨论人工智能的问责制问题，透明度是其中一个维度，参见Busch（2018）。
79. 最后一个方面在欧盟和美国宪法中尤为突出，参见Saurer（2009）, pp.365 and 385。
80. Mittelstadt et al.（2016）, p.7.
81. 参见上文注释34。有关类似的呼吁，请参见Wachter et al.（2018）, p.881。
82. Martini（2017）, p.1020; Busch（2018）, pp.58—59.
83. 参见上文注释4—9。
84. Reisman et al.（2018）, p.9.
85. Cf. Bundesverfassungsgericht 1 BvR 256, 263, 586/08 “Vorratsdatenspeicherung”（2 March2010）, BVerfGE 125, pp.336—337.
86. Cf. Busch（2018）, pp.59—60; Sachverst?ndigenrat für Verbraucherfragen（2018）,pp.122, 162—163; Zweig（2019）.
87. 参见上文注释38。
88. 一些学者认为，法国通过《数字共和国法》引入了这一要求，该法修改了《公共行政关系法》（the Code des relations entre le publicet l'administration）第300—2条中行政文件的定义——通过“代码来源”一词进行公共管理。详细信息请参见Jean and Kassem（2018）, p.15。
89. Cf. Tutt（2017）.
90. 数据控制者需要将以“结构化，常用且机器可读格式”存档的数据提供给个人或监管机构（参见《通用数据保护条例》第20条）。有关在不同情况下的要求，请参见Bundesverfassungsgericht 1 BvR 1215/07“Antiterrordatei”（24 April 2013）, BVerfGE 133, p.370 para 215。
91. Cf. Kaushal and Nolan（2015）; Scherer（2016）, pp.353 et seq.; Martini and Nink（2017）, p.12;Tutt（2017）, pp.83 et seq. On government knowledge in general see Hoffmann-Riem（2014）,pp.135 et seq..
本章参考文献
1. Agency for Digital Italy（2018）White Paper on artificial intelligence at the service of citizens. www.agid.gov.it/en/agenzia/stampa-e-comunicazione/notizie/2018/04/19/english-versionwhite-paper-artificial-intelligence-service-citizen-its-now-online.
2. Ananny M, Crawford K（2018）Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability. New Media Soc 20（3）:973—989.
3. Arbeitsgruppe “Digitaler Neustart”（2018）Zwischenbericht der Arbeitsgruppe “Digitaler Neustart” zur Frühjahrskonferenz der Justizministerinnen und Justizminister am 6. und 7. Juni 2018 in Eisenach. www.justiz.nrw.de/JM/schwerpunkte/digitaler_neustart/zt_fortsetzung_arbeitsgruppe_teil_2/2018-04-23-Zwischenbericht-F-Jumiko-2018%2D%2D-final.pdf.
4. Article 29 Data Protection Working Party（2018）Guidelines on automated individual decisionmaking and Profiling for the purposes of Regulation 2016/679（wp251rev.01）. ec.europa.eu/newsroom/article29/item-detail.cfm?item_id?612053.
5. Asilomar Conference（2017）Asilomar AI principles. futureoflife.org/ai-principles.
6. Ben-Shahar O, Chilton A（2016）Simplification of privacy disclosures: an experimental test. J Legal Stud 45: S41—S67.
7. Ben-Shahar O, Schneider C（2011）The failure of mandated disclosure. Univ Pa Law Rev 159:647—749.
8. Buchner B（2018）Artikel 22 DSGVO. In: Kühling J, Buchner B（eds）DS-GVO. BDSG, 2nd edn. C.H. Beck, München.
9. Bundesanstalt für Finanzdienstleistungsaufsicht（2018）Big Data trifft auf künstliche Intelligenz. Herausforderungen und Implikationen für Aufsicht und Regulierung von Finanzdienstleistungen. www.bafin.de/SharedDocs/Downloads/DE/dl_bdai_studie.html.
10. Burrell J（2016）How the machine “thinks”: understanding opacity in machine learning algorithms. Big Data Soc 3:205395171562251.https://doi.org/10.1177/2053951715622512.
11. Busch C（2016）The future of pre-contractual information duties: from behavioural insights to big data. In: Twigg-Flesner C（ed）Research handbook on EU consumer and contract law. Edward Elgar, Cheltenham, pp.221—240.
12. Busch C（2018）Algorithmic Accountablity, Gutachten im Auftrag von abida, 2018. http://www.abida.de/sites/default/files/ABIDA%20Gutachten%20Algorithmic%20Accountability.pdf.
13. Citron D, Pasquale F（2014）The scored society: due process for automated predictions. Washington Law Rev 89:1—33.
14. Costas J, Grey C（2016）Secrecy at work. The hidden architecture of organizational life. Stanford Business Books, Stanford.
15. Crawford K（2016）Can an algorithm be agonistic? Ten scenes from life in calculated publics. Sci Technol Hum Values 41（1）:77—92.
16. Datenethikkommission（2018）Empfehlungen der Datenethikkommission für die Strategie Künstliche Intelligenz der Bundesregierung. www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/2018/empfehlungen-datenethikkommission.pdf?__blob?publicationFile&v?1.
17. Datta A, Sen S, Zick Y（2017）Algorithmic transparency via quantitative input influence. In: Cerquitelli T, Quercia D, Pasquale F（eds）Transparent data mining for big and small data. Springer, Cham, pp.71—94.
18. Diakopoulos N（2016）Accountability in algorithmic decision making. Commun ACM 59（2）:56—62.
19. Doshi-Velez F, Kim B（2017）Towards a rigorous science of interpretable machine learning. Working Paper, March 2, 2017.
20. Doshi-Velez F, Kortz M（2017）Accountability of AI under the law: the role of explanation. Working Paper, November 21, 2017.
21. Edwards L, Veale M（2017）Slave to the algorithm? Why a “Right to an Explanation” is probably not the remedy you are looking for. Duke Law Technol Rev 16（1）:18—84.
22. European Commission（2018）Artificial intelligence for Europe. COM（2018）237 final.
23. European Parliament（2017）Resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics. 2015/2103（INL）.
24. Fassbender B（2006）Wissen als Grundlage staatlichen Handelns. In: Isensee J, Kirchhof P（eds）Handbuch des Staatsrechts, vol IV, 3rd edn. C.F. Müller, Heidelberg, § 76.
25. Fenster M（2017）The transparency fix. Secrets, leaks, and uncontrollable Government information. Stanford University Press, Stanford.
26. Florini A（2007）The right to know: transparency for an open world. Columbia University Press, New York.
27. Fong R, Vedaldi A（2018）Interpretable explanations of Black Boxes by meaningful perturbation, last revised 10 Jan 2018. arxiv.org/abs/1704.03296.
28. Goodman B, Flaxman S（2016）European Union regulations on algorithmic decision-making and a“right to explanation”. arxiv.org/pdf/1606.08813.pdf.
29. Gusy C（2012）Informationsbeziehungen zwischen Staat und Bürger. In: Hoffmann-Riem W, Schmidt-A?mann E, Vo?kuhle A（eds）Grundlagen des Verwaltungsrechts, vol 2, 2nd edn. C.H. Beck, München, § 23.
30. Harhoff D, Heumann S, Jentzsch N, Lorenz P（2018）Eckpunkte einer nationalen Strategie für Künstliche Intelligenz. www.stiftung-nv.de/de/publikation/eckpunkte-einer-nationalenstrategie-fuer-kuenstliche-intelligenz.
31. Heald D（2006）Varieties of transparency. Proc Br Acad 135:25—43 Hildebrandt M（2011）Who needs stories if you can get the data? Philos Technol 24:371—390.
32. Hoffmann-Riem W（2014）Regulierungswissen in der Regulierung. In: Bora A, Reinhardt C, Henkel A（eds）Wissensregulierung und Regulierungswissen. Velbrück Wissenschaft, Weilerswist, pp.135—156.
33. Hoffmann-Riem W（2017）Verhaltenssteuerung durch Algorithmen—Eine Herausforderung für das Recht. Archiv des ?ffentlichen Rechts 142:1—42.
34. Holznagel B（2012）Informationsbeziehungen in und zwischen Beh?rden. In: Hoffmann-Riem W, Schmidt-A?mann E, Vo?kuhle A（eds）Grundlagen des Verwaltungsrechts, vol 2, 2nd edn. C.H. Beck, München, § 24.
35. Hood C, Heald D（2006）Transparency. The key to better Governance? Oxford University Press, Oxford House of Lords Select Committee on Artificial Intelligence（2018）AI in the UK—Ready, willing and able? publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf.
36. IBM（2018）Continuous relevancy training. console.bluemix.net/docs/services/discovery/continu ous-training.html#crt.
37. Imwinkelried E（2017）Computer source code. DePaul Law Rev 66:97—132.
38. Jean B, Kassem L（2018）L'ouverture des données dans les Universités. openaccess.parisnanterre. fr/medias/fichier/e-tude-open-data-inno3_1519834765367-pdf.
39. Jestaedt M（2001）Das Geheimnis im Staat der ?ffentlichkeit. Was darf der Verfassungsstaat verbergen? Archiv des ?ffentlichen Rechts 126:204—243.
40. Kaushal M, Nolan S（2015）Understanding artificial intelligence. Brookings Institute, Washington, D.C. www.brookings.edu/blogs/techtank/posts/2015/04/14-understanding-artificial-intelligence.
41. Kaye D（2018）Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression 29 August 2018. United Nations A/73/348.
42. Kischel U（2003）Die Begründung. Mohr Siebeck, Tübingen.
43. Knobloch T（2018）Vor die Lage kommen: Predictive Policing in Deutschland, Stiftung Neue Verantwortung. www.stiftung-nv.de/sites/default/files/predictive.policing.pdf（19 Jan 2019）.
44. Konferenz der Informationsfreiheitsbeauftragten（2018）Positionspapier. www.datenschutzzentrum.de/uploads/informationsfreiheit/2018_Positionspapier-Transparenz-von-Algorithmen.pdf.
45. Lakkaraju H, Caruana R, Kamar E, Leskovec J（2013）Interpretable & explorable approximations of black box models. arxiv.org/pdf/1707.01154.pdf.
46. Leese M（2014）The new profiling: algorithms, black boxes, and the failure of anti-discriminatory safeguards in the European Union. Secur Dialogue 45（5）:494—511.
47. Lem S（2013）Summa technologiae. University of Minnesota Press, Minneapolis.
48. Lewis D（1973a）Counterfactuals. Harvard University Press, Cambridge.
49. Lewis D（1973b）Causation. J Philos 70:556—567.
50. Luhmann N（1983）Legitimation durch Verfahren. Suhrkamp, Frankfurt am Main.
51. Luhmann N（2017）Die Kontrolle von Intransparenz. Suhrkamp, Berlin.
52. Martini M（2017）Algorithmen als Herausforderung für die Rechtsordnung. Juristen Zeitung 72:1017—1025.
53. Martini M（2018）Artikel 22 DSGVO. In: Paal B, Pauly D（eds）. Datenschutz-Grundverordnung Bundesdatenschutzgesetz, 2nd edn. C.H. Beck, München.
54. Martini M, Nink D（2017）Wenn Maschinen entscheiden ... —vollautomatisierte Verwaltungsverfahren und der Pers?nlichkeitsschutz. Neue Zeitschrift für Verwaltungsrecht Extra 36:1—14.
55. Mayer-Sch?nberger V, Cukier K（2013）Big data. Houghton Mifflin Harcourt, Boston.
56. Merton R（1968）Social theory and social structure. Macmillan, New York.
57. Mittelstadt B, Allo P, Taddeo M, Wachter S, Floridi L（2016）The ethics of algorithms. Big Data Soc 3（2）:1—21.
58. Montavon G, Samek W, Müller K（2018）Methods for interpreting and understanding deep neural networks. Digital Signal Process 73:1—15.
59. National Science and Technology Council Committee on Technology（2016）Preparing for the future of artificial intelligence. obamawhitehouse.archiv es.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_ future_of_ai.pdf.
60. Neyland D（2016）Bearing accountable witness to the ethical algorithmic system. Sci Technol Hum Values 41（1）:50—76.
61. OECD Global Science Forum（2016）Research ethics and new forms of data for social and economic research.www.oecd.org/sti/inno/globalscienceforumreports.htm.
62. Palacio S, Folz J, Hees J, Raue F, Borth D, Dengel A（2018）What do deep networks like to see? arxiv.org/abs/1803.08337.
63. Pasquale F（2015）The Black Box Society: the secret algorithms that control money and information. Harvard University Press, Cambridge.
64. Reisman D, Schultz J, Crawford K, Whittaker M（2018）Algorithmic impact assessments: a practical framework for public agency accountability. ainowinstitute.org/aiareport2018.pdf.
65. Ribeiro M, Singh S, Guestrin C（2016）“Why Should I Trust You?” Explaining the predictions of any classifier. arxiv.org/pdf/1602.04938.pdf.
66. Roth A（2017）Machine testimony. Yale Law J 126:1972—2259.
67. Rundfunkkommission der L?nder（2018）Diskussionsentwurf zu den Bereichen Rundfunkbegriff, Plattformregulierung und Intermedi?re. www.rlp.de/fileadmin/rlp-stk/pdf-Dateien/Medienpolitik/04_MStV_Online_2018_Fristverlaengerung.pdf.
68. Russell S, Dewey S, Tegmark M（2015）Research priorities for robust and beneficial artificial intelligence. arxiv.org/abs/1602.03506.
69. Sachverst?ndigenrat für Verbraucherfragen（2018）Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren. Gutachten der Fachgruppe Rechtsinformatik der Gesellschaft für Informatik e.V. http://www.svr-verbraucherfragen.de/wp-content/uploads/GI_Studie_Algorithmenregulierung.pdf.
70. Salmon W（1994）Causality without counterfactuals. Philos Sci 61:297—312.
71. Sandvig C, Hamilton K, Karahalios K, Langbort C（2014）Auditing algorithms: research methods for detecting discrimination on internet platforms. www.personal.umich.edu/~csandvig/research/Auditing%20Algorithms%20%2D%2D%20Sandvig%20%2D%2D%20ICA%202014%20Data%20and%20Discrimination%20Preconference.pdf.
72. Saurer J（2009）Die Begründung im deutschen, europ?ischen und US-amerikanischen Verwaltungsverfahrensrecht. Verwaltungsarchiv 100:364—388.
73. Scheppele K（1988）Legal secrets. University of Chicago Press, Chicago.
74. Scherer M（2016）Regulating artificial intelligence systems. Harv J Law Technol 29:353—400.
75. Scherzberg A（2000）Die ?ffentlichkeit der Verwaltung. Nomos, Baden-Baden.
76. Scherzberg A（2013）?ffentlichkeitskontrolle. In: Hoffmann-Riem W, Schmidt-A?mann E, Vo?kuhle A（eds）Grundlagen des Verwaltungsrechts, vol 3, 2nd edn. C.H. Beck, München,§ 49.
77. Schwartz B（2015）Google: we make thousands of updates to search algorithms each year. www. seroundtable.com/google-updates-thousands-20403.html.
78. Selbst A, Barocas S（2018）The intuitive appeal of explainable machines. Fordham Law Rev 87:1085—1139 Singapore Personal Data Protection Commission（2018）Discussion paper on artificial intelligence and personal data. www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/Discussion-Paper-on-AI-and-PD%2D%2D-050618.pdf.
79. Stelkens U（2018）§ 39 VwVfG. In: Stelkens P, Bonk H, Sachs M（eds）Verwaltungsverfahrensgesetz, 9th edn. C.H. Beck, München.
80. Tene O, Polonetsky J（2013）Big data for all: privacy and user control in the age of analytics. Northwest J Technol Intellect Prop 11:239—273.
81. Tsoukas H（1997）The tyranny of light. The temptations and paradoxes of the information society. Futures 29:827—843.
82. Tutt A（2017）An FDA for algorithms. Adm Law Rev 69:83—123 van Otterlo M（2013）A machine learning view on profiling. In: Hildebrandt M, de Vries K（eds）Privacy, due process and the computational turn. Routledge, Abingdon-on-Thames, pp.41—64.
83. Villani C（2018）For a meaningful artificial intelligence—towards a French and European Strategy. www.aiforhumanity.fr/pdfs/MissionVillani_Report_ENG-VF.pdf.
84. von Lewinski K（2014）überwachung, Datenschutz und die Zukunft des Informationsrechts. In: Telemedicus（ed）überwachung und Recht. epubli GmbH, Berlin, pp.1—30.
85. von Lewinski K（2018）Artikel 22 DSGVO. In: Wolff H, Brink S（eds）Beck‘scher Online-Kommentar Datenschutzrecht. C.H. Beck, München.
86. Wachter S, Mittelstadt B, Floridi L（2017）Why a right to explanation of automated decisionmaking does not exist in the general data protection regulation. Int Data Priv Law 7:76—99.
87. Wachter S, Mittelstadt B, Russell C（2018）Counterfactual explanations without opening the Black Box: automated decisions and the GDPR. Harv J Law Technol 31:841—887.
88. Wexler R（2018）Life, liberty, and trade secrets: intellectual property in the criminal justice system. Stanf Law Rev 70:1343—1429.
89. Wischmeyer T（2015）Der ?Wille des Gesetzgebers?. Zur Rolle der Gesetzesmaterialien in der Rechtsanwendung. Juristen Zeitung 70:957—966.
90. Wischmeyer T（2018a）Regulierung intelligenter Systeme. Archiv des ?ffentlichen Rechts 143:1—66.
91. Wischmeyer T（2018b）Formen und Funktionen des exekutiven Geheimnisschutzes. Die Verwaltung 51:393—426.
92. Woodward J（2017）Scientific explanation. In: Zalta E（ed）The Stanford encyclopedia of philosophy. Stanford University, Stanford. plato.stanford.edu/archives/fall2017/entries/scientificexplanation.
93. Yudkowsky E（2008）Artificial intelligence as a positive and negative factor in global risk. In: Bostrom N, ?irkovic M（eds）Global catastrophic risks. Oxford University Press, New York, pp.308—345.
94. Zarsky T（2013）Transparent Predictions. Univ Ill Law Rev 4:1503—1570.
95. Zweig K（2016）2. Arbeitspapier: überprüfbarkeit von Algorithmen. algorithmwatch.org/de/zweites-arbeitspapier-ueberpruefbarkeit-algorithmen.
96. Zweig K（2019）Algorithmische Entscheidungen: Transparenz und Kontrolle, Analysen & Argumente, Digitale Gesellschaft, Januar 2019. https://www.kas.de/c/document_library/get_file?uuid?533ef913-e567-987d-54c3-1906395cdb81&groupId?252038.
(1) 作者为比勒费尔德大学法学院助理教授。
(2) 译者为上海市科学学研究所副研究员。
本文暂时没有评论，来添加一个吧(●'◡'●)