其他
【算法合规编译系列】算法解释合规的落地方案
#1
《人工智能决策解释指南》概述
《指南》中将人工智能决策分为三个阶段：训练、测试和部署阶段。在训练阶段，数据被输入到AI系统中，使其能够识别数据点之间的关联并构建理解框架。在测试期间，数据用于检查AI系统理解的准确性。在部署阶段，相关的数据被输入到AI系统中，AI系统以分类、预测或建议的形式生成输出。该输出允许由AI系统自身或辅助人类做出决定。
在本《指南》中，对算法解释性和透明度的评估体系详细的进行了阐释。《指南》认为，对数据使用的全面解释会让用户放心，相信他们的个人数据被负责任地使用，从而增加用户信任，公众意识的觉醒也能够实现对算法提供者的全面监督。但可解释性和透明度要求也会带来一些风险。算法的复杂性阻碍了公众对于系统的理解，会降低一部分公众信赖。另外，算法系统，尤其是公司的专有系统具有很高的商业价值，容易导致商业秘密泄露。同时，算法的公开可能会使黑客操纵AI系统，从而破坏其功能。
《指南》中提出了基本原理解释（Rationale explanation）、责任解释（Responsibility explanation）、数据解释（Data explanation）、公平解释（Fairness explanation）、安全和性能解释（Safety and performance explanation）、影响解释（Impact explanation）六种解释方法，并确定了可以提供帮助的五个关键因素，包括算法适用场景（contextual factors） 、部署算法的部门或环境（Domain factor）、算法系统的影响（Impact factor）、算法系统使用的数据性质（Data factor）、紧迫性（Urgency factor）、用户特点（Audience factor）等。在考虑可能产生的影响时，《指南》建议算法提供者根据具体情况选择相关的解释方式，确保用户可以充分理解算法系统决策的潜在影响。
《指南》的目录编译如下：
第一部分：“可解释AI”的基础人工智能的定义规制人工智能的法律框架使用人工智能的优势和风险“可解释的AI”是什么什么是场景因素?遵循的原则
第二部分：在实践中解释AI1. 通过考虑场景、案例和对个人的影响来选择优先级解释2. 以可解释的方式收集和预处理数据3. 构建人工智能系统，并确保能够提取一系列相关信息4. 将人工智能系统的基本原理转化为易读的、可理解的表达5. 部署AI的准备阶段6. AI的构建与展示
第三部分：为AI赋予可解释性对于AI使用者的意义“可解释AI”的组织角色和功能政策和程序文档附录1 示例：人工智能确诊癌症附录2 算法技术附件3 补充模型附录4 扩展阅读附录5 基于论证的案例
#2
《指南》对于AI决策法律适用的分析
该指南对《数据保护法》（DPA 2018）和GDPR与人工智能决策的关系进行了解释。如果人工智能不涉及个人数据的使用，如将人工智能用于天气预报或天文学领域，则不属于《数据保护法》的监管范围。但人工智能决策会使用或创建个人数据，此时人工智能决策都在《数据保护法》的监管范围内。
该指南对《数据保护法》（DPA 2018）和GDPR可能适用的规定进行了汇总。其中包括：GDPR 第13条和第14条，涉及知情权条款；GDPR第15条，涉及访问权条款；GDPR第21条，涉及个人在某些情况下反对处理其个人数据权利的条款；GDPR第22条，涉及赋予个人免受自动化决策约束权条款；GDPR第35条，要求数据处理可能造成高风险时进行数据保护影响评估（DPIA）的条款。
除GDPR外，在DPA 2018的第3部分和第4部分也涉及了人工智能决策的相关条款。DPA第3部分中针对公共机构以执法目的而进行的完全的人工智能决策进行了规定，对此相对人有权提出质疑并获得人为干预。DPA 2018第4部分中针对情报部门使用人工智能决策进行了单独的规定。尽管个人也享有获得相应权利，但是这些权利可能会受到第4部分中维护国家安全的豁免的限制。
该指南对英国2010年《平等法》在人工智能决策中的适用进行了阐释。2010 年《平等法》适用主体广泛，包括政府部门、公共机构、企业等，禁止当事人因年龄、性别、婚姻、伴侣关系、怀孕、生育、种族、宗教信仰、性别、性取向等因素受到歧视、骚扰或其他不公平对待。在决策过程中使用人工智能系统时，人工智能系统的提供者需要确保并能够证明人工智能系统不会导致歧视。
03
《指南》对于AI解释的分类
该《指南》中提出算法解释可以划分为运行解释和结果解释。运行解释侧重于在整个设计和部署阶段采用措施进行解释，而结果解释侧重于具体决策，使用清晰易懂的语言解释特定结果背后的原理。《指南》认为运行解释和结果解释贯穿于以下六种解释方法：
1、基本原理解释：这种解释是指向用户解释使用算法决策，而非人工决策的原因，并以可访问和非技术性的方式提供给用户，使个人能够理解算法做出的结果，或改变他们的行为以确保存在有利的结果。例如，用算法来确定是否批准贷款时，需要使个人能够理解算法对于决定的做出将是有益的，并且理解他们批准或被拒绝的依据，并允许当事人用相关证据反驳这一决定。
2、责任解释：需要解释算法系统的负责人为当事人提供渠道以对决策进行人工审查。与基本原理解释一样，这有助于个人挑战算法决策，并可以对算法使用者和设计者进行追责。
3、 数据解释：数据解释侧重于算法系统使用了哪些数据以及如何使用该数据，需要提供有关做出决定的实际数据、使用数据的方式以及数据源的信息，还包括对于所用数据具有足够高质量以及如何最大限度地减少潜在偏见的解释。
例如，如果人工智能系统协助做出大学升学相关的决定时，申请人应该能够从解释中了解人工智能系统考虑哪些因素，例如分数、教师的推荐和其他中学时代的表现等。如果人工智能系统做出结果时考虑了该生就读的学校，则申请人可以以该数据导致歧视为由对结果提出质疑。
4、 公平解释：公平解释是帮助个人了解为确保算法系统公正和公平对待个人而采取的步骤，适用算法系统功能复杂、缺乏透明且难以解释的状态。此时提供技术性解释意义不大，转而需要向用户保证，算法已经制定了足够的措施以确保他们不会受到不公平的待遇。可以保证数据具有足够的相关性、多样性和代表性，已经注意消除训练数据中任何预先存在的偏见，算法系统已经经过训练，以了解“公平”的结果，并经专业人士确认。如果专业人士依据他们的知识和判断认为算法输出的结果不正确，则算法结果的输出不应对其产生影响。
例如，通过算法对急诊中的患者进行分类，医生可能一时无法准确解释症状的组合或患者病史中的哪些数据，导致算法将患者分配到低风险类别，但患者可以放心，算法不会依据如性别、种族等无关因素进行分类。相反，算法的分配并非决定因素，医疗专业人员的确认才是最终因素。同时，算法系统在识别高风险患者方面有99%的成功率。
5、安全和性能解释：设计和实施算法系统过程中采取的步骤，以最大限度地提高其决策和行为的准确性、可靠性、安全性和稳健性。解释包括与系统准确率相关的详细信息、系统按预期执行的概率、系统不稳定时的应急措施以及压力测试的情况。安全和性能解释更适合面向技术熟练用户，如统计学家或那些使用人工智能进行学术研究的人。
6、影响解释：这种解释告诉用户算法系统对他们和整个社会的影响，解释了算法系统的使用可能产生的后果，以及算法提供者为减轻负面影响而采取的措施，或者对可能对用户产生更积极影响的行为改变的建议。该解释最适合在算法辅助决定之前提供信息，以及用户可以选择是否参与。
04
《指南》对于AI解释的适用
上述解释方法可以单独使用或组合使用，以确保提供给用户的信息清晰、具有实际意义并可以理解。确定要提供哪些信息，如何让用户知情是算法系统的合规关键。在《指南》中，确定了可以提供帮助的五个关键背景因素，即：
1、算法适用场景：部署算法的部门或环境。 2、算法系统的影响：考虑对用户和整个社会的影响。 3、算法系统使用的数据性质：数据的类型、敏感性和来源以及数据是否具有延展性（即它是否可以通过行为改变）。 4、紧迫性：是否有必要使用算法系统快速做出决定。 5、受众：谁是解释的预期接收者，如何确定他们的权利并实现其知情权。
《指南》中指出，场景因素是最重要的考虑因素。例如在刑事司法领域或与教育有关的场景下，公平解释可是最为重要的解释。通过公平解释，避免算法歧视与算法偏见，使算法输出结果让人感觉到公平。
在对用户的潜在影响较低的领域，原理和责任解释可能更合适。不过即使在算法歧视较小的领域，算法提供者在寻求针对特定人口进行数据统计时也应保持敏感，例如推送广告也会产生潜在的社会影响。即使这些场景中风险较低，也应当提供适当的公平性解释。
在算法辅助决策的场景下，如医疗或健康领域，公平性解释、安全和性能解释以及影响解释对于用户是至关重要的。优先进行上述解释可以使得用户对算法决策产生信任。在算法系统的输出是主观性的情况时，算法结果更容易受到挑战，此时应强化基本原理和责任解释。
05
制定可解释性AI的流程
2、以可解释的方式收集和预处理数据关键在于仔细标注和选择输入数据，这将有助于基本原理解释（包括数据来源的详细信息；如何收集数据；质量评估；以及处理质量问题的步骤，如完成、增加或删除数据）。在数据收集和预处理的每个阶段由谁负责，可以作为责任解释的一部分。检查使用的数据以确保它具有足够的代表性，将有助于公平解释。记录影响和风险评估，以及在整个模型开发过程中为实现这些评估而采取的步骤，将有助于影响解释。
3、构建人工智能系统，并确保能够提取一系列相关信息《指南》中提出，鉴于黑箱算法的不可解释性，当存在可解释性算法时，如果该算法能够实现类似目的，且经济合理，则应优先选择可解释性算法。常见的可解释性算法和黑箱算法包括：1
《指南》中提出，如果在考虑了场景、影响和技术因素之后选择使用“黑箱算法”，那么需要使用补充解释工具对算法进行解释。目前没有技术方案可以对黑箱算法进行全面的解释，补充解释工具会对算法模型的全局或者局部结果进行阐释。需要注意的是，这些解释无法捕捉原始算法的不透明性和复杂性，只能作为近似的或作为更简单的替代模型进行解释，过度依赖补充解释容易产生误导。因此，替代性解释的“准确性”是判断黑箱算法可解释性的主要标准，而局部解释（Local Explanation）和全局解释（Global Explanation）这两种解释方法都可能为AI系统输出背后的基本原理提供重要信息，这对于确保AI 系统的公平性、安全性至关重要。常见的补充解释工具包括：
这涉及到将人工智能系统有关的将数学、统计概念（例如相关性、因果关系等）转换成易读的形式，通过文本澄清、可视化媒体、图形表示、汇总表等来实现可读化。这种转化或者翻译需要专门知识，需要对员工进行培训。
5、准备部署AI系统
对于部署、使用人工智能系统的一方来说，应当接受系统性培训，培训内容包括AI如何工作的基础知识、对人工智能系统（和自动化决策）局限性的理解、AI在协助决策方面的好处和风险（包括决策自动化偏差和自动化不信任偏差，即对系统的过度依赖和依赖不足）。适当的培训应包括情境性和整体性思维，《指南》建议使用“基于实例的培训材料”来说明如何培养情境性思维。
6、构建和呈现AI的解释AI解释的呈现高度依赖于情景。该指南的主要建议是以“对话方式”提供适时的分层方法，呈现与决策最相关的信息，避免信息过多过杂。可以在决策结果出现之前就提供一些解释，例如谁负责做出人工智能辅助决策，影响评估标准是什么，以及培训中使用了哪些数据。此外，更广泛的沟通策略标志着一种开放和积极的参与，将有助于在系统和用户之间建立信任。
1 详见《指南》附件2.
编译者
【编辑】张佳瑶，对外经济贸易大学法学院2021级法律硕士【指导教师】张欣，对外经济贸易大学数字经济与法律创新研究中心执行主任
【点击阅读原文可以下载此指南】