2023年1月26日，美国国家标准与技术研究院（NIST）为加强对人工智能（AI）相关个人、组织和社会风险的管理，通过与私营和公共部门合作，制定《人工智能风险管理框架》。该框架将可信度考量纳入设计、开发、使用和评估AI产品、服务和系统中，并基于其他机构的AI风险管理工作，确保制定过程的公开、透明。
1
研究背景
虽然有无数标准和实践可以帮助组织降低传统软件或信息系统的风险，但是AI系统所引发的风险具有独特性。例如，AI系统可以利用跟随时间变化的数据进行训练，这些训练数据有时会发生重大变化，影响系统的功能和可信度，而AI系统及其应用环境通常十分复杂，使得故障发生时很难检测和处理故障。AI技术本质属于社会技术，容易受到社会动态和人类行为的影响。技术和社会因素相互作用，产生AI风险和机遇。
AI风险管理关乎负责任地开发和使用AI系统。负责任的AI实践有助于将设计、开发和使用AI系统与预期目标相结合。负责任的AI的核心理念强调以人为本、社会责任和可持续发展。AI风险管理可以敦促人工智能设计、开发和部署组织及其内部团队，更加批判地思考环境和潜在的正面或负面影响，推动负责任地使用AI技术。理解和管理AI系统风险有助于增强可信度，进而提升公信力。
2
框架简介
AI风险管理框架的目标是为设计、开发、部署和使用AI系统的组织提供资源，帮助管理AI风险，提升AI系统的可信度，促进负责任地开发和使用AI系统。无论规模大小，所有用户均可自愿使用该框架，并非局限于某一部门。
该框架旨在为AI参与者提供增加AI系统可信度的方法，并帮助促进负责任地设计、开发、部署和使用AI系统。该框架本着实用的原则，适用AI技术不断发展的AI格局，由能力不同的组织实施，使社会享受AI福利的同时，也保护其免受潜在伤害。随着技术不断发展，世界各地的标准不断更新，基于AI社群积累的经验和反馈，该框架和支持资源将不断更新、扩展和改进。NIST将继续使AI风险管理框架和相关指南与适用的国际标准、指南和实践保持一致。随着AI风险管理框架投入使用，将吸取更多的经验教训，以便不断更新。
本框架分为两部分，第一部分是组织如何构建与AI相关的风险，及其目标受众，分析了AI的风险和可信性，概述了可信的AI系统的特征，包括：有效、可靠、安全、灵活、负责、透明、可解释、保护隐私、公平和有害偏见可控。第二部分是该框架的核心，概述了四个具体功能：治理、映射、衡量和管理，帮助组织在实践中解决AI系统的风险。除此之外，与该框架相关的其他资源则包含在AI风险管理行动手册中。
3
AI风险管理面临的挑战
以下描述了AI风险管理所面临的几个挑战，在管理威胁AI可信度的风险时，应考虑这些挑战。
一、风险衡量
尽管很难定量或定性衡量定义不明确或尚未充分理解的风险或故障，但这并不意味者AI系统必然会带来风险。这些风险衡量挑战包括：与第三方软件、硬件和数据相关的风险；跟踪紧急风险；是否建立可靠指标；AI生命周期不同阶段的风险；真实世界环境中的风险；不可预测性以及人类基线。
二、风险承受能力
虽然AI风险管理框架可用于评定风险的优先级，但并不能规定风险的承受能力，即组织或AI参与者为实现其目标而承担风险的能力。风险承受力会受到法律或监管要求的影响，其和组织或社会可接受的风险等级高度取决于具体应用。风险承受力受到AI系统所有者、组织、行业、社群或政策制定者的政策和规范影响。随着AI系统、政策和规范的发展，风险承受力会随着时间而变化。不同组织由于其特定的组织优先级和资源考量，可能具有不同的风险承受力。
三、风险轻重缓急
在实践中要想完全消除负面风险，可能适得其反，因为并非所有的事故和失败都可以消除。若组织对风险管理抱有不切实际的期望，会导致风险分类低效，浪费稀缺资源，分配资源不当。风险管理文化可以帮助组织认识到，并非所有AI风险都是相同的，可以有所倾斜地分配资源。可操作的风险管理工作制定了明确的指导方针，帮助评估组织开发或部署的AI系统的可信度。应根据评估的风险水平和AI系统的潜在影响，对政策和资源进行优先排序。当使用AI风险管理框架时，一旦组织确定在既定使用环境中AI系统的风险最高，应辨别任务的轻重缓急，进行全面风险管理，确定使用AI系统会带来难以承受的负面影响后，应以安全的方式停止开发和部署AI系统，直到可以管控风险为止。
四、组织整合和风险管理
不应孤立地考虑AI风险，不同的AI参与者肩负不同的责任，这取决于他们在生命周期中的角色。例如，开发一个AI系统的组织通常没有关于如何使用该系统的相关信息。AI风险管理应整合并纳入更广泛的企业风险管理战略和流程，将AI风险于其他关键风险一起处理，这将产生综合效果，提高组织效率。AI风险管理框架可以与管理AI系统风险或企业风险相关的指南和框架一起使用。风险重叠的例子包括：与使用底层数据训练AI系统有关的隐私问题；与资源密集型计算需求相关的能源和环境影响；与系统及其培训和输出数据的保密性、完整性和可用性相关的安全问题；以及AI系统的底层软件和硬件的安全性。
4
AI风险管理框架的四大核心功能
AI风险管理框架包含四个核心功能：治理、映射、衡量和管理。这些功能又可划分出不同的子类别，代表具体的行动和结果。
一、治理。治理功能包括：在设计、开发、部署、评估或获取AI系统的组织中培养和宣传风险管理文化；概述流程、文档和组织方案，预测、识别和管理系统可能带来的风险；整合评估潜在影响的流程；提供并利用一种架构，使AI风险治理职能可与组织的原则、政策和战略重点保持一致；将AI系统设计和开发的技术与组织的价值观和原则联系在一起，并使参与获取、培训、部署和监控此类系统的个人具备组织实践的能力；解决整个产品生命周期和相关流程存在的问题。
二、映射。映射功能搭建了与AI系统相关的框架风险背景。AI的生命周期由许多相互的活动组成，涉及一系列不同的参与者。这种复杂性给风险管理带来不确定性。预测、评估和解决负面风险的潜在来源可以减少这种不确定性，并增强决策过车的完整性。执行映射功能可通过收集到的信息预防负面风险，为模型管理等流程的决策提供信息。通过整合来自不同内部团队的观点，与开发或部署AI系统的团队外部人员进行沟通，可增强该功能。
三、衡量。衡量功能采用定量、定性或混合方法的工具、技术和方法来分析、评估、监测和基准化AI风险和相关影响。AI风险衡量包括记录系统功能和可信度的各个方面，跟踪值得信赖的特征、社会影响和人与AI配置的指标。该功能中开发或采用的流程应包括严格软件测试和性能评估方法，以及衡量相关的不确定性，与性能基准进行比较，报告和记录相关结果。
四、管理。
管理功能需要按照治理部门定义，定期将风险资源分配给风险映射和衡量功能。风险处理包括事故或事件的响应、恢复和沟通计划。
