新加坡金管局发布人工智能风险监管指南

01、前言

1.1《人工智能（AI）风险管理指引》（AIRG）明确了MAS对金融机构（FI）运用人工智能技术时风险管控方面的监管期望。涉及公平、道德、问责与透明度的现行原则（FEAT）将继续指导人工智能在金融行业的应用。这些准则对FEAT原则进行了补充，明确了MAS在监督、核心人工智能风险管理系统、政策流程、人工智能全生命周期管控及技术能力等方面的监管要求。以下概述该指引涵盖的核心内容。

1.2 就本指引而言，人工智能涵盖人工智能模型、系统或应用场景，具体定义如下：

a. 模型指将假设与输入数据转换为预测、决策或建议等产出的方法或途径。

b. 系统可包含一个或多个模型及其他基于机器的组件。

c. 应用场景指模型或系统所适用的特定现实环境。

d. 人工智能涵盖涉及模型或系统的应用场景，这些模型或系统从输入中学习和/或推断以产生预测、内容、摘要、建议或决策等产出，这些产出可能影响物理或虚拟环境，并在部署后具有不同程度的自主性和适应性。仅基于预定义编程逻辑或规则产生输出的计算工具，在本指引中不被视为人工智能。

1.3 本指引确立了所有金融机构在部署人工智能及人工智能技术（包括生成式人工智能及人工智能代理等新型应用）时应遵循的高层要求。在新加坡的境外分支机构或子公司可依托母公司人工智能风险管理框架，只要该框架符合本指引所列要求。

1.4 金融机构应根据其规模、业务性质以及人工智能应用可能引发重大风险的程度，按比例实施本指引。人工智能可应用于广泛场景，与不同人工智能应用相关的风险可能因金融机构的规模、范围和商业模式而有所差异。

1.5 所有金融机构均应根据自身人工智能应用水平，至少制定与人工智能应用相关的基础政策。此类基础政策应明确负责监督人工智能应用的人员、人工智能允许与禁止应用范围的指引，以及此类指引的传达、检查与审查。将人工智能作为业务流程有机组成部分的金融机构，至少应建立监督人工智能应用的框架、政策与程序，对人工智能应用场景、系统或模型进行清晰识别和稳健的风险重要性评估，并建立充分的人工智能清单。此类监督及人工智能风险管理体系、政策与程序的实施程度，应与金融机构的规模、业务性质、人工智能应用情况及风险状况相称。

1.6 人工智能全生命周期标准与控制措施的适用，以及人工智能应用所需能力与技术基础设施的建立，可根据其与金融机构内人工智能应用场景、系统或模型的相关性进行调整。若相关内容与人工智能应用场景、系统或模型相关，金融机构可根据风险重要性实施。

1.7 由于人工智能技术发展迅速，MAS 亦期望金融机构定期评估其人工智能风险管理工作的充分性，以应对因技术发展而产生的新增或加剧的风险。

1.8 人工智能的应用可提升业务及职能领域的表现，但其复杂性与概率性可能导致更大的不确定性，以及相较简单方法更难识别的意外或偏差行为。人工智能的更高复杂性亦带来理解与解释其产出的挑战，这些产出可能不准确或存在偏差。因此，人工智能应用可能产生的一般风险包括：

a. 财务风险，例如用于风险管理时，人工智能的较大不确定性和意外行为可能导致风险评估不佳并进而造成财务损失。

b. 运营风险，例如用于自动化金融机构运营的人工智能出现意外行为可能导致关键流程出现运营中断或错误。

c. 行为风险，例如人工智能的使用可能导致有偏差的产出，进而造成对特定客户群体的不公平对待、对某些投资类型的偏向，或金融机构与客户之间的利益冲突。

d. 金融犯罪风险，例如用于支持反洗钱工作时，人工智能的较大不确定性和意外行为可能意味着可疑交易未被发现。

e. 声誉风险，例如面向客户的系统（如聊天机器人）可能提供错误信息或发表冒犯性言论，导致负面媒体关注和声誉损害。

1.9 对于生成式人工智能，此类现有风险可能被放大。生成式人工智能的更高复杂性带来比传统人工智能更强的不确定性与意外行为。其输入产出的非结构化性质以及该领域成熟技术的缺乏，使其更难评估、测试、理解与解释行为及产出。生成式人工智能训练所用数据源多样且不透明，加之评估产出偏差的难度，可能导致产生不公平客户结果的决策。生成式人工智能亦可能引发一系列其他相互关联的风险，例如：

a. 安全风险，例如通过提示注入或数据投毒对生成式人工智能系统的对抗性攻击。

b. 隐私风险，例如由于使用第三方生成式人工智能产品或服务导致机密或客户数据泄露，或在未经适当同意的情况下将客户数据不当用于生成式人工智能。

c. 法律与知识产权风险，例如使用受版权保护的数据训练的生成式人工智能或生成可能侵犯现有版权的产出。

d. 第三方风险，例如在关键业务领域过度依赖少数主流生成式人工智能提供商，或使用安全控制不佳的开源模型。

e. 运营风险，例如由于生成式人工智能中断导致的潜在服务中断，以及部署前测试不充分引发的问题。

f. 人为因素风险，例如在关键业务领域对生成式人工智能缺乏充分人工监督，或因过度依赖生成式人工智能导致技能退化。

1.10 类似地，人工智能代理等更新技术的使用可能进一步放大这些风险。获得内部系统访问权限的人工智能代理可能自主执行与业务目标或客户最佳利益不一致的操作，而被入侵的人工智能代理可能大规模泄露敏感数据或执行恶意指令。

1.11 MAS 认识到人工智能应用持续发展，并将在必要时更新或补充本指引。

02、人工智能监督

2.1 金融机构的董事会及高级管理层在建立并监督覆盖全机构的稳健人工智能风险管理框架、政策与程序方面发挥关键作用。

2.2 董事会及高级管理层应对人工智能相关风险进行有效监督，培育适合人工智能应用的风险文化，并确保其人工智能应用不与满足其他监管期望相冲突。这包括建立并实施稳健的框架、架构、政策与程序，以：

a. 识别人工智能应用场景、系统或模型（包括内部开发及第三方人工智能）；

b. 评估人工智能相关风险的重要性；

c. 维护人工智能应用场景、系统或模型清单，并根据预设风险偏好管理其应用；

d. 在人工智能全生命周期内管理人工智能应用场景、系统或模型；

e. 建立在金融机构内开发和部署人工智能应用场景、系统或模型所需的能力。

2.3 董事会及高级管理层应确保机构内现有风险管理框架、政策与实践充分识别、评估并应对人工智能带来的风险。在全机构现有风险管理领域中，金融机构应：

a. 识别并评估所有相关人工智能风险；

b. 更新相关政策与程序以应对此类风险；

c. 制定适当策略与控制措施以缓释此类风险；

d. 明确机构在此类风险方面的风险偏好；

e. 为此类风险设定相关指标与适当的风险偏好阈值；

f. 监控此类指标及对风险偏好阈值的遵守情况；

g. 明确跨不同业务线与职能管理人工智能风险的清晰角色与职责；

h. 制定清晰的政策与程序，以便向董事会及高级管理层报告风险偏好阈值突破及人工智能相关事件；

i. 定期审查以考虑更新的人工智能发展、机构风险状况与业务战略变化及人工智能监管发展。

2.4 董事会及高级管理层应确保全机构以统一标准、清晰问责与稳健协调管理人工智能风险。若机构整体人工智能风险敞口被认定为重大，金融机构应设立专门的跨职能委员会，以确保充分监督并主动弥补风险管理覆盖缺口。

2.5 董事会或其授权委员会负责：

a. 审批人工智能风险管理的整体治理方案，包括旨在持续评估和管理机构人工智能风险的关键框架、架构、政策与程序；

b. 确保重大人工智能风险在机构风险偏好框架内得到明确处理，包括设定适当的定性声明和定量指标或限额；

c. 明确董事会及高级管理层在人工智能风险管理监督方面的清晰角色与职责；

d. 确保其具备充分的人工智能认知以提供有效监督与质询；

e. 确保机构的人工智能风险管理方法、风险偏好框架、角色与职责、能力与文化定期审查，以跟上人工智能新发展、机构风险状况与业务战略变化。

2.6 高级管理层负责：

a. 确保在全机构有效执行人工智能相关风险管理政策与程序，符合机构风险偏好；

b. 定期审查人工智能相关风险管理政策与程序的有效性，根据人工智能新发展、机构风险状况与业务战略变化及相关监管要求进行适当修订；

c. 确保在全机构建立并维持稳健的人工智能风险管理协调与问责机制；

d. 建立重大人工智能风险与例外事项的内部上报流程，确保采取适当及时的行动；

e. 及时向董事会汇报重大人工智能风险事项；

f. 确保相关人员具备必要能力，并为有效人工智能风险管理分配充足资源，包括适当培训与能力建设。

03、核心人工智能风险管理体系、政策及程序

3.1 金融机构应确保其人工智能风险管理框架包含用于人工智能识别、清单管理及风险重要性评估的关键体系、政策与程序。

【人工智能识别】

3.2金融机构应建立体系、政策与程序，确保在所有相关业务及职能领域一致识别人工智能应用。应实施清晰的定义、标准与流程，并以稳健体系为支撑，以推动此识别过程。

3.3 金融机构应明确人工智能识别的角色与职责，包括指定管控职能负责人工智能识别体系与程序，确保全行统一执行识别流程、设立认证流程、判定是否使用人工智能，并留存识别过程与结果文档，定期审查更新识别体系以适配新技术。

【人工智能清单】

3.4金融机构应建立并维护准确、及时更新的人工智能应用场景、系统或模型清单，以支持全生命周期治理、监督及风险管理。应制定清晰的清单维护政策与程序，准确反映新增、更新或停用的人工智能应用场景、系统或模型。

3.5 人工智能清单应记录关键属性，以支持有效治理、监督及风险管理，具体属性可根据机构情况有所不同。

3.6 应定期审查清单设计，确保所记录属性考虑到新型人工智能技术。

3.7 金融机构应明确人工智能清单管理的角色与职责，包括指定管控职能负责清单相关政策程序、维护更新、认证流程及范围定期审查。

【人工智能风险重要性评估】

3.8 金融机构应建立评估方法，根据自身业务性质评估人工智能应用场景、系统或模型的风险重要性。

3.9 评估应考虑实施风险管理控制前的固有风险重要性及控制后的剩余风险重要性，确保剩余风险符合风险偏好后方可部署。

3.10 风险重要性评估应考虑与机构情况相关的各类风险维度，至少包括：

a. 影响：人工智能系统或模型出现故障、失灵或表现不佳对金融机构（财务、运营、监管、声誉）及其客户或其他利益相关方（公平、道德违规、消费者保护）的潜在后果，同时考虑人工智能系统或模型处理数据的性质与敏感性。

b. 复杂性：源于所使用人工智能技术的特性、应用的新颖性或其使用的数据。

c. 依赖度：考虑授予人工智能系统或模型的自主程度、流程中人工参与或监督程度，以及替代方案的可用性。

3.11 金融机构应明确人工智能风险重要性评估的角色与职责，指定管控职能确保全行统一执行评估流程、设立认证、留存清晰文档，并判定人工智能应用场景、系统或模型的风险重要性。

04、人工智能全生命周期控制

4.1 金融机构应规划并实施覆盖人工智能全生命周期的稳健控制，并明确此类控制的角色与职责，定期审查以适配新技术。

4.2 金融机构应为每个人工智能应用场景、系统或模型明确用途，并跨业务及职能单位明确全生命周期职责，开展风险重要性评估并将信息录入清单，全生命周期内及时审查更新。

4.3 金融机构可根据已评估的人工智能风险重要性按比例实施相关人工智能全生命周期控制，存在实际约束时应识别风险并采取缓释措施，确保剩余风险在风险偏好内。

4.4 对于被评估为高风险的人工智能应用场景、系统或模型，金融机构应制定应急预案，明确备用方案确保业务连续性，定期审查测试；配备紧急停止机制的人工智能应明确激活流程并定期测试。

【数据管理】

4.5 金融机构应建立数据管理控制，确保人工智能全生命周期内所用数据适用、具代表性、高质量并受到稳健治理。通用数据治理标准适用于人工智能数据，必要时升级以适配人工智能特定要求。核心包括：

a. 适用性：根据预期目标与场景，判断人工智能应用场景、系统或模型所用数据的合适程度。

b. 数据代表性：训练与测试数据覆盖人工智能将使用的全范围现实条件（包括压力场景）的代表性。

c. 数据质量：数据的相关性、准确性、完整性、时效性，定期监控数据质量并检查异常、漂移与潜在偏差。

d. 数据分类：对数据进行适当分类，指导人工智能应用场景、系统或模型中的数据使用。

e. 数据安全：安全的数据全生命周期管理，包括数据加密、安全处理、及时销毁或清理不再需要的数据。

f. 数据隐私：根据相关监管要求采取适当数据隐私措施，使用敏感个人数据前获得许可。

g. 数据可审计性与溯源：记录关键数据管理环节，确保可追溯、可审计。

【透明度与可解释性】

4.6金融机构应根据其评估的风险重要性确定人工智能用例、系统或模型所需的透明度和可解释性的程度，并据此建立相关控制措施。透明度对于支持人工智能使用的问责制和信任非常重要，并使客户、内部用户和其他利益相关者能够对人工智能用例、系统或模型的风险、可靠性和局限性进行明智的评估。它还允许金融机构证明他们对人工智能的使用符合其既定目标和风险管理标准，并有助于加强客户和其他利益相关者之间的信任。

4.7关于所需透明度和可解释性的关键考虑因素可能包括最终决策对人工智能的依赖（即人工智能自主的程度）、对客户的影响程度或风险管理结果。例如，在信贷决策、保险承保或其他对客户结果有重大影响的受监管活动（如提供财务咨询服务或基金管理）中严重依赖的人工智能将需要更严格的可解释性标准。对于此类人工智能用例，金融机构应更加关注用作输入的数据中的不同特征或属性，以及用户识别输出关键驱动因素的使用能力的理由，告知客户人工智能使用的必要性，人工智能驱动决策的后果以及补救渠道。

【公平性】

4.8金融机构应定义其认为“公平”的结果，并采取适当的控制措施，以识别和减轻人工智能生命周期中的有害偏见和歧视性结果，并根据其评估的风险重要性进行校准。例如，应更加关注在信贷决策或保险承保等领域使用的人工智能，这些领域可能会导致不公平地获得或拒绝向个人提供金融服务或产品。

4.9 在涉及公平考虑的情况下，金融机构应进行公平评估，这可能涉及定义相关的受保护属性，使用适当的公平指标评估人工智能的使用是否会导致特定群体的系统性劣势，并记录结果和采取的任何缓解措施。

【人工监督】

4.10 金融机构应制定并定期审查控制措施，以确保在人工智能用例、系统或模型的整个生命周期内对其进行适当的人为监督。人工监督的需求和程度应考虑到使用人工智能的目标，并与所使用的人工智能的风险重要性相称。随着人工智能的使用速度和规模的增加，它还应该考虑到自动化偏见和决策疲劳。金融机构应考虑的关键领域包括：

a. 角色和职责：明确分配人工监督的角色和职责，包括与人工监督相关的升级和决策过程。

b. 能力：为负责监控人工智能使用的合格人员配备必要的能力，包括必要的权力和干预能力。

c. 设计：从一开始就设计和开发人工智能系统或模型，以实现和促进适当的人类监督。

d. 文件和审查：建立流程，记录和定期审查人为监督决策和干预措施（包括事件和未遂事件），以评估人为监督的有效性

【第三方人工智能管理】

4.11 金融机构应确保第三方人工智能的准入、开发、部署控制与风险重要性匹配，包括测试、弥补信息缺口、审查、更新通知与影响评估。核心包括透明度、公平性、供应链评估、集中度风险、应急预案、法律协议、人员能力、复杂性评估。

【选型】

4.12 在选择要使用的数据中的AI算法或特征时，金融机构应考虑AI用例、系统或模型的目标和风险。金融机构应要求开发人员证明并记录他们的选择过程，特别是在选择更复杂的算法或不太容易理解的特征而不是更简单或传统的替代方案时。这可能涉及平衡用例和性能要求与复杂性、公平性或透明度和可解释性等因素。在可能的情况下，选择应该得到理论、研究或公认的行业实践的支持。金融机构还应考虑纳入领域专家或用户的审查（例如，相关业务线或职能部门的主题专家或用户），以确保算法或功能的选择与人工智能使用的背景相一致

4.13 如果选择了不太了解的更新、更复杂的人工智能算法，金融机构应仔细权衡部署此类人工智能算法的好处与金融机构面临的新的或更高的风险，如幻觉、不透明、安全风险以及金融机构减轻此类风险的能力。

【评估与测试】

4.14 金融机构应进行与人工智能用例、系统或模型的评估风险重要性相称的相关评估和测试。在部署之前，应根据评估的风险重要性对每个AI用例、系统或模型进行评估和测试，以满足适当的可靠性和安全性水平。金融机构应识别关键的人工智能风险，并设定明确、可衡量的阈值。识别人工智能风险以及可靠性和安全性评估应考虑到人工智能使用的背景，评估应参考最佳实践。评估和测试应评估人工智能用例、系统或模型在一系列合理条件下的性能，从现实场景到边缘案例。金融机构应考虑的关键领域包括：

a. 评估措施：定义与人工智能目标相一致的适当评估措施，并为这些评估措施设定可接受的绩效阈值。性能阈值应由业务所有者、开发人员和审查人员明确定义、记录并共同商定。

b. 测试方法：采用相关的测试方法，如样本外或时间外测试、敏感性分析、不同数据分布或时间段的稳定性分析、子总体分析、压力测试（包括边缘情况和对抗性测试，在适当的情况下）、误差分析以及与替代方案的基准测试。用于测试的数据集应代表金融机构的使用环境。

c. 过度拟合缓解：在可能的情况下，实施防止过度拟合的技术，特别是对于更复杂的人工智能。这可能涉及支持更简单的模型，除非更高的复杂性是由明显的性能提升所证明的，限制复杂性（例如，通过人工智能模型的正则化），适当的特征选择，以及使用交叉验证等稳健的验证技术。

4.15 如果在开发过程中发现了与人工智能相关的风险和限制，金融机构应在部署前制定适当的控制措施和护栏，以减轻这些风险和限制。对新的人工智能开发（如生成式人工智能和人工智能代理）的评估和测试应涵盖其关键故障模式.

4.16 金融机构应确保人工智能系统安全、管理良好，并得到适当控制的支持，以管理技术和网络安全风险。与技术风险管理相关的监管要求和指导将适用。金融机构应考虑的关键领域包括：

a. 安全性：部署应在安全的IT环境中进行，包括强化配置、网络分段和技术控制，如输入验证、API身份验证、加密和数据丢失预防。

b. 访问控制：部署期间对人工智能组件和基础设施的访问应受到严格控制，采用基于角色的访问和多因素身份验证；尤其是在特权帐户访问管理方面。还应考虑职责分离，例如分配不同的团队来培训和测试人工智能系统。

c. 第三方：在使用第三方组件或服务（如插件或API）的情况下，应实施控制措施来管理使用情况，限制数据暴露，并监控安全、合规或运营风险，如第三方提供商的网络安全问题或服务中断。

【可复现性与可审计性】

4.17 金融机构应记录人工智能开发过程，以实现可重复性和可审计性。文件应足够详细，以便独立方（如审查员或审计员）理解并可能复制人工智能系统或模型的实施及其结果。文档标准应涵盖整个开发过程，可能包括以下信息：

a. 数据