编译：对外经济贸易大学金融科技实验室
编者按
从风险评估到智能投顾，人工智能是正在重塑金融业定义的技术之一。但与此同时，人工智能的运用也存在算法歧视、算法公平、算法黑箱等挑战。为此，金融稳定研究所精选了九个司法辖区的金融当局或相关机构发布的人工智能治理政策文件，剖析了有关人工智能治理的监管主题、监管方法和通用指南。鉴于其对我国金融监管颇具参考价值，我们编译如下，以飨读者。
——对外经济贸易大学数字经济法律创新研究中心主任 许可
内容
执行摘要
第1节–介绍
第2节–当局对金融机构使用AI的期望或指导
第3节–现有标准或法规是否包含与AI相关的期望或指导？
第4节–实施与AI相关的期望或指导的挑战
透明度
可靠性和稳健性
问责制
公平与道德
通过相称性应对监管/监督挑战
第5节–结论
附件–欧盟拟议的AI法规
参考文献
执行摘要
包括机器学习(ML)在内的AI可为改进金融服务以及交付运营和风险管理流程提供巨大潜力。技术现在是金融服务的重要组成部分，毫无疑问，它将继续推动消费者和金融机构发生深刻变化。金融当局为促进金融部门创新和新技术使用也支持这一趋势的发展。在此过程中，健全的监管框架对于优化这些新技术的收益和最小化风险至关重要。
现在已经有了适用于各行各业的AI治理框架或原则，最近，一些金融机构已开始为金融部门拟定类似的框架文件。在这些框架文件内，几个共同主题集中在关于可靠性、问责制、透明度、公平和道德的一般指导原则上。某些框架文件中提到的其他指导原则与数据隐私、第三方依赖性和操作弹性有关。虽然此类高级原则有助于广泛说明公司在使用AI技术时应考虑的事项，但越来越多的人要求金融监管机构提供更具体的实践指导。满足这一行业需求的一种方法是，监管机构为这些普遍接受的原则中的每一项提供有关AI治理的新兴行业最佳实践的汇编。
现有的治理、风险管理以及传统模型的开发和运营要求也适用于AI模型。其中包括将使用此类模型的责任赋予金融机构的董事会和高级管理层的监管要求。更具体地说，公司通常需要具备完善的模型验证流程，以确定建模结果的可靠性。重要的是，监管机构希望此类模型是透明的，这不仅是良好风险管理实践的一部分，而且还有助于对模型进行监管审查。此外，现有法律、标准或监管指南、还包括模型的使用中，涵盖数据隐私、第三方依赖性和运营弹性。
虽然金融机构使用AI产生的大多数问题与传统模型相似，但视角可能不同。在AI模型的背景下，上面确定的一些通用指导原则是从公平的角度来看的。例如，确保AI模型的可靠性/健全性旨在避免因决策不准确而造成歧视。此外，确保使用AI的问责制和透明度包括确定数据主体了解数据驱动的决策，并有渠道询问和质疑这些决策。
在使用人工智能时应更加强调基于公平性而需要更多地人为干预。监管机构对人工智能声明的总体主旨似乎聚焦于不良结果，包括导致歧视性结果的意外偏见，这些结果可能由自动化和人工智能模型缺乏透明度所致。尽管基于人类的建模可能会受到人工智能模型前述的缺陷影响，但前者的一个关键区别特征是可以明确地追究人类的责任。然而，人工智能的使用可能会导致哲学问题的产生，例如如何确定机器与人的分界线。多种因素加剧了这一挑战，包括金融机构采用人工智能的速度和规模；人工智能算法的技术构建；缺乏模型可解释性。从监管的角度来看，对公司内的负责人严格而明确地问责是实施健全的人工智能监管框架的关键。然而，监管机构也需要权衡从大规模机器自动化中获益和对人工输入和监督的需求。
需要进一步定义公平的范围以支持健全的人工智能治理。正如本文所涵盖的政策文件中所述，公平与避免歧视性结果有关。然而，在某些司法管辖区的消费者保护法中可能没有明确规定拒绝歧视。明确非歧视目标可能有助于为定义人工智能背景下的公平性提供良好基础，为金融监管机构发布人工智能相关指南提供法律依据，同时确保人工智能驱动的传统模式——金融服务驱动和人为驱动的决策根据相同的标准进行评估。
人工智能带来的挑战和复杂性要求采取相称和协调的监管措施和监督回应。这需要根据人工智能模型带来的行为和审慎风险，区分对人工智能模型的监管措施和监督处理结果。结果对行为和审慎风险有重大影响的人工智能模型将需要接受比影响较小的模型更严格的监管措施和监督处理结果。此外，金融机构对人工智能的使用将对盈利能力、市场影响、消费者保护和声誉产生影响。这需要金融监管机构在监管人工智能适在金融服务中的适用时部采取更多的协调部署方案。
鉴于金融领域中人工智能治理出现的共同主题，金融标准制定机构似乎需要制定更多的国际指南或标准。金融监管机构对如何实施这些共同主题的看法仍在不断变化。在国际层面继续交换意见和经验将有利于国际标准的制定。此类国际标准将有利于针对正在兴起的数字化转型的司法管辖。此类标准还可以作为指导金融部门有序部署人工智能技术的最低基准。随着对人工智能领域的特定方面出现更具体的监管方法或监管期望，标准制定机构可以确定此类通用的“最佳实践”，供其他司法管辖区参考。同时，鉴于不断发展的技术趋势，基于原则性的宏观指导讲补充更为微观的规则措施。
第1节—介绍
1. 包括机器学习在内的人工智能是正在重塑金融业定义的技术之一。在监管领域，金融稳定委员会关于人工智能的一个被普遍引用的定义指出：“应用计算工具来解决传统上需要人类复杂性的任务，广义上称为‘人工智能’”。该机构进一步定义机器学习，即“通过经验自动优化，在有限或没有人工干预的情况下，设计一系列动作来解决问题的方法，称为算法。”就像互联网如何改变我们的银行或保险购买方式一样，人工智能有可能显著改善金融服务的交付方式，但它也带来了金融部门监管者必须应对的新风险。
2. 人工智能技术可以显著改善向消费者提供的金融服务以及公司内部的运营和风险管理流程。就消费者利益而言，人工智能的应用示例包括：
扩大信贷渠道
根据消费者的投资目标和风险状况提供自动化投资建议的机器人顾问
即时响应基本客户查询的聊天机器人
更高效的保险理赔处理。在公司内部，人工智能技术有望在以下领域发挥巨大潜力
识别可能是欺诈、洗钱或恐怖主义融资的可疑金融交易
风险评估，可实现自动贷款发放或保险定价决策
风险管理和/或监管资本要求的计算
3. 尽管人工智能可以使消费者和公司受益，但它也可以制造和/或加剧风险。对某些消费者群体的无意偏见或歧视等风险不仅是市场行为或消费者保护问题，而且当此类风险转化为公司的财务风险或引起大规模运营风险时，它们也会引起审慎监管者的关注，包括网络风险和声誉风险。此外，审慎风险可能源于金融产品的大规模定价过低或承保新金融消费者的系统性错误。归根结底，必须采取保障措施来保护消费者的利益并维护金融机构的安全和稳健。
4. 随着越来越多的金融机构更多地使用人工智能来辅助或支持其业务流程，金融监管机构开始制定或更新有关人工智能治理的特定监管框架。除了少数机构外，多数机构金融监管机构已经开始采取措施，例如欧盟 (EU) 已经提出了协调人工智能规则的立法提案，大多数框架仍处于发展的早期阶段，范围从在现有的基于原则的公司治理要求扩展到应用关于如何管理人工智能治理风险的实用非约束性监管指南。在某些情况下，这些框架与非金融监管机构开发的跨部门人工智能治理框架相辅相成或相互交叉。虽然有些人可能会争辩说，从监管的角度来看，人工智能的使用并不是什么新鲜事，人工智能采用的规模和速度值得特别关注。鉴于公司越来越广泛地采用人工智能，以及越来越多的金融机构促进金融部门的创新和技术，拥有健全的人工智能治理框架变得越来越重要。金融创新不应损害金融部门监管者的核心职责。
6. 本文的其余部分的结构如下。第2节总结了部分权威机构对人工智能治理的期望，而第3节强调了现有国际标准在此背景下的相关性。第4节描述了实施围绕人工智能使用的健全治理框架所面临的挑战，第5节总结了关键要点。
第2节—当局对金融机构使用人工智能的期望或指导
7． 如表1所示，本文涉及的大部分问题都是讨论文件和原则的形式。在国际层面，金融领域普遍引用的主要建议和原则之一是经济合作与发展组织人工智能原则和G20人工智能原则——后者借鉴了前者。这些原则涵盖五个广泛的领域，即：造福人类和地球；尊重法治和人权；透明度和负责任的披露；持续的风险评估和问责制。从本质上讲，这些原则要求使用真正造福整个社会的人工智能。人工智能相关指南也已在区域或国家层面发布。欧盟德国、香港、荷兰、新加坡和美国已经发布了专门针对在金融领域使用人工智能的原则。最近，欧盟发布了一项拟议法规，为所有行业制定了统一的人工智能规则，这在世界上尚属首次。
8． 现有的发行围绕着五个共同原则——可靠性/健全性、问责制、透明度、公平和道德。表2总结了与这些共同原则相关的监管期望。发行涵盖的其他问题包括数据隐私、第三方依赖性和运营弹性。大多数这些问题与当局在评估金融机构使用的传统模型时所关注的问题相同。以下是对这些问题的讨论，以及当局在人工智能与传统模型的情况下如何以不同的方式处理这些问题楷模。
资料来源：FSI分析。
9.评估 AI 模型的可靠性/健全性类似于传统模型，但重点是避免伤害或歧视。人工智能和传统模型的可靠性/健全性评估涉及类似的方面，例如进行模型验证、定义准确性指标、更新模型。似乎有区别的因素是，确保人工智能模型的可靠性/稳健性，是从避免由于数据输入或建模方法固有的偏差而导致不准确的决定而造成伤害(例如歧视)的角度来看待的。
10.人工智能相关的问责问题与一般问责或治理问题非常相似，但人类参与的看法似乎略有不同。问责制涉及明确的角色和职责，以及将最终责任归于金融机构的董事会和高级管理层。在人工智能的情况下，强调人为干预模型开发和决策。强调“human-in-the-loop”和“human-on-the-loop”等概念。人为判断和人为审查的作用也在有关使用传统模型的现有指南中被承认，不同的似乎是它们是如何被感知的。对于传统模型， 需要对模型/评级分配的人工覆盖进行监控和记录，以便单独跟踪覆盖的性能。就人工智能而言，人类干预更多地被视为是必要的，以确保基于人工智能模型的决策不会导致不公平或不道德的结果。
11.在人工智能方面，另一个强调的问责制概念是“外部问责制”。例如，MAS FEAT 原则规定，使用人工智能的金融机构应为数据主体提供查询、提交上诉和请求审查影响他们的人工智能驱动决策的渠道；并在审查人工智能驱动的决策时考虑数据主体提供的经过验证的相关补充数据。虽然这对金融机构来说可能是一个新的期望，但这种做法并不是全新的。例如，美国的消费者有合法权利要求信用报告机构提供他们的信用报告，其中包括进入其信用评分的所有信息，并在出现错误时进行修正。
12.与人工智能相关的透明度问题分为三个方面：
可解释性——使人工智能算法如何达到特定结果变得透明；
可审计性——记录人工智能发展、流程和数据集；
外部披露——向数据主体披露以下内容：(i) 人工智能驱动决策的所有使用；(ii) 用于做出人工智能驱动决策的数据以及数据如何影响决策；(iii) AI 驱动决策对他们的影响。经合组织和 G20特别指出，披露应采用简单易懂的信息形式，说明作为决策基础的因素和逻辑，以使数据主体能够挑战人工智能系统的结果。
13.人工智能和传统模型的可解释性和可审计性预期通常相同，并且涉及内部披露，特别是向董事会和高级管理层披露，以便他们更好地了解人工智能使用的风险和影响。然而，外部披露预期似乎特定于人工智能的使用。尽管如上所述，但这些与美国有关信用报告的法律要求非常相似。
14.在评估传统模型时，通常不会明确要求公平性。然而，在保险领域，立法要求保险公司公平对待客户是很常见的，这原则上延伸到任何传统或人工智能模型的使用。AI 发布中涵盖的与公平相关的问题是指解决或防止 AI 算法中可能导致歧视性结果的偏见。欧盟委员会设立的人工智能独立高级专家组也提到了公平的“程序”维度。这与上面讨论的外部问责制的概念非常相似。这涉及确保数据主体有能力对操作它们的人类做出的基于人工智能的决策，提出异议并寻求有效补救。这意味着对决策负责的实体必须是可识别的，并且决策过程必须是可解释的。
15.然而，“公平”的概念有些含糊不清。除了指出“公平”可以通过解决或防止偏见来实现，以免导致歧视性结果，这个概念在发布中并没有真正定义。有些人可能会争辩说，公平和偏见之间存在差异，虽然前者需要得到保证，但仍有一些“良好的偏见”需要保留(如奖励那些驾驶行为被远程信息处理系统追踪而保费较低的谨慎驾驶者)。
如下所述，现有法律旨在确保提供金融服务的公平性。此类法律可用于定义人工智能背景下的公平概念，但它们在各个司法管辖区并不常见。因此，一些司法管辖区提倡这样的观点，即个人金融机构应该定义和实施他们自己的“公平”目标，类似于拥有个人风险偏好
16.一些 AI 发布列举了其他方法来解决 AI 模型中的公平问题。措施范围从一般到非常具体。一些更具体的监管期望包括，例如，要求公司建立道德行为准则以促进非歧视性做法；在输入数据中寻求多样性；在模型训练过程中仔细审查训练和验证数据；为数据的采购和合法处理制定政策，尤其是在内部无法获得的情况下；拥有与训练和验证数据分开的数据集，以专门检查模型偏差；将非歧视性规则嵌入到人工智能模型中；并不断监控模型的性能，以识别无意的偏差或确定其行为符合设计和预期。在评估 AI 模型的公平性方面也正在进行积极的工作。
17.道德问题比公平问题更广泛。道德需要确保客户不会因偏见和歧视或其他原因而受到剥削或伤害。道德基于社会规范或道德规范，这些规范或规范可能已编入法律、法规、行为准则等。其中包括隐私和数据保护、非歧视和平等、多样性、包容性和社会正义。道德的另一个方面涉及是否应该部署人工智能的问题。这在 DNB (2019) 中有详细说明，其中要求在道德准则中定义采用和应用人工智能的目标、标准和要求。
18. 随着人工智能用例越来越多地利用包括个人数据在内的更广泛来源的数据输入，许多监管文件都强调需要遵守数据隐私和保护的法律法规。其中包括需要确保人工智能系统在整个流程的不同阶段保证数据隐私和保护，以及制定政策管理数据访问和客户同意使用其个人数据。MAS (2018) 指出，使用个人属性作为 AI 驱动决策的输入因素应该是合理的。EIOPA (2021) 强调，用于保险定价和承保的评级因素应与风险和因果关系相关。CSSF (2018) 讨论文件更进一步，质疑使用个人数据作为 AI 模型的输入。另一方面，BaFin (2018) 讨论文件指出通过提供较少的个人数据密集型金融产品来确保选择自由的重要性。
19. 当涉及到有关人工智能的第三方依赖时，一般的第三方或外包期望也很重要。第三方可能会向公司提供他们用于 AI 模型的数据或模型本身。与人工智能相关的第三方风险包括数据隐私和保护风险、由于知识产权限制和依赖风险而对人工智能模型的工作方式缺乏了解。审慎监管局发布了监管声明 SS2/21，其中提供了第三方安排的 AI 相关示例。涵盖这些主题的文件强调，金融机构的 AI 政策也应适用第三方安排；金融机构应建立合理的第三方管理框架，包括进行尽职调查；金融机构也应注意第三方风险。欧盟关于人工智能监管的提案旨在通过要求人工智能服务提供商以足够透明的方式设计和开发人工智能系统来解决这个问题，使用户能够解释系统的输出并适当地使用它。
20. 运营弹性问题也与金融机构使用的人工智能有关。与传统模型一样，人工智能模型的使用使金融机构面临运营漏洞。其中包括内部流程或控制故障、信息技术失误、与使用第三方相关的风险、模型风险和网络风险。在网络风险方面，人工智能系统容易受到“数据中毒”攻击，这些攻击试图破坏和污染训练数据以损害系统性能。
第3部分—现有标准或法规是否包含与人工智能有关的期望或指导？
21. 目前没有专门针对金融部门人工智能的国际监管标准或指南。尽管如此，现有的国际标准、指南和国家法律可以应用或用作处理与人工智能模型相关的治理问题的起点。这是因为，如上所述，上述大多数问题在使用传统模型方面已经存在。其中，可靠性/健全性、问责制、透明度、数据隐私、第三方依赖性、运营弹性以及在某种程度上的道德等问题尤其如此。但就公平而言，情况并非如此，如本文所涵盖的文件中所述。虽然保险中有一般指导以确保公平对待客户，但银行业务并非如此。尽管如此， 部分地区的消费者保护法涵盖了公平问题。
BCP14 公司管理
BCP15 风险管理过程
BCP29 滥用金融服务
ICP5 人员适用性
ICP7 公司管理
ICP8 风险管理和内部控制
ICP16 以偿付能力为目的的风险管理
ICP17 资本充足性
ICP19 商业行为
ComForame 标准7.2a 集团主管要求 IAIG 董事会确保集团范围内的业务目标以及实现这些目标的策略至少考虑到以下对客户的公平待遇。
来源：FSI分析
本文首发于微信公众号：数字经济与社会。文章内容属作者个人观点，不代表易科物联立场。投资者据此操作，风险请自担。
