摘要:人工智能(AI)技术快速发展,相关应用加速向金融、医疗等多个领域渗透。受AI领域大语言模型(LLM)密集落地推动影响,AI面临的合规、安全、伦理等挑战,成为从事AI产品与技术研发以及考虑应用AI的机构组织必须应对的问题。因AI极强的泛化应用和场景结合能力,组织应当从治理层考虑AI的影响,体系化设计AI管理流程与规范。本文基于ISO/IEC 42001人工智能管理体系(AIMS)标准,阐述了AIMS的建设要求,分析了AIMS与质量管理体系(QMS)、信息安全管理体系(ISMS)、IT服务管理体系(ITSMS)的整合方法。并进一步研究了AIMS运行过程中,涉及的AI风险管理、AI系统影响评估、AI对IT治理的影响等主题标准的应用逻辑。
关键词:人工智能管理体系、AI治理、AI风险管理、体系整合
作者:绿盟科技 总工办 张睿
- 前言
AI技术的迅猛发展正在重塑全球经济与社会结构,从金融风控到智能制造,从自动驾驶到医疗诊断,AI的应用场景不断拓展并持续深化。但其带来的算法偏见、数据隐私风险、伦理争议等问题也日益凸显。以2025年上半年为例,AI安全与违规事件频发,国外一家连锁餐饮企业被曝用于招聘的AI聊天机器人因过度共享数据,导致六千余万条应聘者数据被遍历[1];WormGPT通过劫持合法LLM,通过篡改LLM提示词越狱,用于生成钓鱼邮件、恶意脚本等攻击工具[2];国家监管机构披露科研人员因撰写报告需要,将涉密实验数据上传至商用AI工具,导致核心信息被境外AI平台捕获并泄露,造成重大安全风险[3]。
为协助组织机构应对各类AI威胁,系统化管理AI风险,确保管理流程及产品服务符合伦理、法律及社会期望,国际标准化组织(ISO)与国际电工委员会(IEC)于2023年联合发布ISO/IEC 42001:2023人工智能管理体系标准[4]。2024年11月,全国信息技术标准化技术委员会TC28,等同采用ISO/IEC 42001:2023,发布国家标准《人工智能 管理体系》(GB/T 45081-2024)[5]。
AIMS标准采用了ISO高阶结构(HLS),便于已经应用QMS、ISMS、ITSMS的组织机构进行体系集成整合。同时AIMS标准附录D(资料性)跨领域或跨行业使用人工智能管理体系,也简述了AIMS跨领域或跨行业使用以及与其他管理体系标准集成的内容。组织通过分析AIMS标准要求,逐步建立AI管理流程与体系,从治理层综合规划和管理各类AI技术的导入与应用,避免碎片化投入导致的资源浪费,防止风险耦合引发系统性风险。同时,通过分阶段集成多管理体系,更能多维度推动AI的科学合理落地,除了利于组织机构培养AI共识、AI安全意识,对于传统行业尤其是加工制造业,在寻求智能化、数字化转型的过程中也能获得助力。
- AIMS体系结构
AIMS标准包含10个核心章节及4个附录,覆盖AI全生命周期管理。标准遵循HLS,即支持“计划-执行-检查-改进PDCA”闭环管理思路,从第四章“组织环境”到第七章“支持”为P(Plan,计划)阶段,第八章“运行”(Do,执行),第九章“绩效评价”(Check,检查),第十章“改进”(Act,改进),主体章节结构以及各章子主题的构成如图1所示。
图1 AIMS标准结构
标准包含了四个附录,附录A(规范性)参考控制目标与控制,该附录提供了实现组织目标和处理人工智能系统风险的参考控制目标和控制措施;附录B(规范性)人工智能控制的实施指南,提供了附录A中列出的控制措施的实施指南;附录C(资料性)潜在的与人工智能相关的组织目标和风险源,概述了组织在管理风险时可能考虑的潜在目标和风险源;附录D(资料性)跨领域或跨行业使用人工智能管理体系。
附录A包含九类38项控制措施(控制措施的结构关系及数量分布见图2),九大类分别涵盖与AI相关的方针、内部组织、AI系统的资源、评估AI系统的影响、AI系统生命周期、AI系统的数据、AI系统相关方信息、AI系统的使用、第三方及客户关系。
图2 附录A九类控制措施结构及数量分布
附录B结构上与附录A相互呼应(两者结构对比见图3),组织可通过附录A进行AIMS体系及AI系统执行相关控制核查,结合附录B,定位组织在管理其AI系统时可以实施的具体措施,并在此过程中综合评估附录C中提及的风险源及可信赖特征。附录C与附录D,均为资料性附录,其中附录C简述了诸如可问责性、公平性等11类目标,以及环境复杂性、缺乏透明性和可解释性等7类风险,而附录D概括了跨领域或跨行业使用AIMS的思路。因各组织机构所在行业以及AI应用均存在巨大差异,附录C、D的细节粒度客观上无法悉数阐述,可作为一般参考。
图3 附录A、B结构相同内容呼应
- AIMS跨体系集成
管理体系通过建立系统化、标准化的运作框架,能够显著增强风险控制能力,同时鉴于多体系同时建设运行属于大部分组织机构的现实需求,所以集成QMS、ITSMS、ISMS以及AIMS成为未来潜在的发展方向[6]-[8]。
跨体系集成的意义,首先体现在战略层面,通过统一HLS将各体系目标对齐组织战略,能够保证多体系的顶层战略一致性,如将AIMS的算法透明性要求与ISMS的数据安全合规要求相结合;其次,在实施层面,多体系共享通用流程,解决了标准间的控制措施重叠问题,而且可减少重复文档工作,符合流程与资源管理效率要求,如将ISMS配置管理与AIMS技术文件管理流程合并;最后,跨体系集成从认证角度考量,一般也可采用”一次审核多项认证”的方式,能够降低标准体系的综合管理成本。
基于HLS,将四类管理体系的标准与建设过程中的重要条款进行映射,如图4所示。组织机构首先需要明确管理体系运行过程的差异,所以从标准层面,第八章“运行”一章也需要逐一对标准条款进行控制的审核,确定控制的落实以保证目标实现;其次,标准内虽文本相近但需要单独区分的关键条款,在图中均以黄色背景标记,如4.2节“理解相关方的需求和期望”为例,ISMS和AIMS在监管方,存在众多法律法规要求,有别于QMS、ITSMS在此侧重客户围绕合同条款的审核与建设思路。部分组织机构业务复杂,涉及多国的数据出境和大量个人信息,一般需要单独进行合规审计,甚至大量跨国企业分别进行了合规管理体系(CMS,ISO 37301:2021)与隐私信息管理体系(PIMS,ISO/IEC 27701:2019)建设,涉及到公有云对外提供服务的,往往还会增加业务连续性管理体系(BCMS,ISO 22301:2019)、云服务信息安全管理体系(CSISMS,ISO/IEC 27017:2015)和个人信息公有云保护(ISO/IEC 27108:2019)的认证[9]-[13]。
另外,规范性附录在图中也以黄色背景标记,因为规范性附录属于标准的规范性技术要素之一,其给出标准正文的附加条款,用于细化标准正文无法详述的内容,四个管理体系主要于ISMS和AIMS有所体现。ISMS为附录A,AIMS为附录A和附录 B。
图4 四大管理体系关键条款映射对照
需要说明的是,本节体系集成从建设方视角展开,而非审核方尤其是第三方认证审核视角。所以,图4未罗列的标准条款,如4.1“理解组织及其环境”、5.1“领导作用和承诺”、5.2“方针”、7.4“沟通”等内容,虽然属于管理体系建设必须满足的内容,且认证审核过程中一定会覆盖,但因现实工作中,实施建设层面极大依赖组织文化和领导层人员能力和意识,内部审计或是第三方审核层面主要以文档证据记录为主,并非直接依赖IT技术实现,同时鉴于并非强监管要求项(有别于5.3岗位、职责权限),所以未单独加注。同理,9.1“监测、测量、分析和评价”在ISMS和AIMS中单独体现,因其极大依赖诸如态势感知、威胁情报、日志分析、流量分析等专用技术和系统的支持与实现,也有别于QMS和ITSMS可以依赖用户投诉记录、问卷调查、失效分析、服务台信息等轻IT资产的建设模式。
体系集成在第三方认证审核过程中,一般QMS更多与ISO14001环境管理体系(EMS)和ISO45001职业健康安全管理体系(OHS)结合,而ISMS与ITSMS结合更多。从建设者视角考虑,AIMS管理体系的实施建设方基于技术关联性和网络与数据架构设计考虑,其更易于同ISMS、PIMS、ITSMS集成;基于流程和业务架构设计考虑,便于同CMS、BCMS集成;对外交付产品、服务方面,需要同QMS集成,这也是本节进行标准关联分析的基础。
- AIMS跨标准整合
AIMS建设运行除了可以从多体系集成的思路开展,还可以通过跨标准整合的思路,分层从治理、体系建设、框架导入、流程和产品设计进行细化增强,从而保证纵向能够贯通AIMS运行过程中从顶层治理到底层运行的流程管理和产品设计,如图5所示。
图5 跨标准纵向整合架构
治理层ISO/IEC 38507:2022《信息技术 IT治理 组织使用人工智能的治理影响》,为AI治理框架,面向董事会、高管层,指导如何监管AI的使用,用以确定AI治理目标、划分角色与责任,明确诸如风险管理、审计与监控、合规管理等要求。技术报告ISO/IEC TR 24368:2022《信息技术 人工智能 伦理与社会问题概述》,能够辅助分析伦理原则,如公平性、透明性、隐私保护的影响,以及社会影响,如就业替代、算法歧视、自主武器等争议[14]-[15]。
框架层ISO/IEC 5338:2023《信息技术 人工智能 AI系统生命周期流程》,定义了基于机器学习和启发式系统的AI全生命周期管理框架,整合了传统系统工程与软件工程方法。ISO/IEC 8183:2023《信息技术 人工智能 数据生命周期框架》目的在于统一各种语境下的数据生命周期定义,明确AI领域数据框架下的10个数据处理阶段。如上两个框架的导入,有助于AIMS条款A.6的落实[16]-[17]。
框架层往下,AI风险管理流程设计,可以参考ISO/IEC 23894:2023《人工智能风险管理指南》和ISO/IEC 42005:2025《信息技术 人工智能 人工智能系统影响评估》,前者基于ISO 31000框架,提出AI专属风险管理方法论,后者专门针对 AI系统影响评估,关注AI系统在组织内部及外部的影响,包括社会、技术、合规等方面[18]-[19]。产品设计上,针对医疗行业、汽车行业、电子行业,涉及关键高风险场景的,可以参考技术规范ISO/IEC TS 8200:2024《信息技术 人工智能 自动化人工智能系统可控性》,以及技术报告ISO/IECs TR 5469:2024《人工智能 功能安全和人工智能系统》,两份文件均不是标准,但是对AI技术的安全应用,尤其是涉及人身安全场景的产品开发能够提供指导[20]-[21]。
另外,以网络与数据安全管理领域为例,安全部门在进行体系化和标准化规划与建设的过程中,一般也常见以ISMS为基础,横向顺序关联行业、领域要求的路径,在此逻辑中,AIMS可以作为领域要求进行匹配规划,以汽车行业为例,梳理逻辑如图6所示。横向逻辑一般适宜安全部门级规划,开展部署安全工作,而图5纵向逻辑适宜公司级AI规划,在落地过程中可以二次区分AI安全场景。
图6 跨标准横向整合架构
- 结语
AI技术因为持续快速发展,存在极大的不确定性,所以执行层面侧重行业、产品的标准需要时机成熟,不断孵化。另外伴随AI业态、场景的倍增,监管合规的要求也会持续细化,所以从AIMS出发,无论顶层治理层,还是底层执行层均呈现很强的活力与变数。但两者并不影响AIMS现阶段的导入建设,因AIMS基于HLS和既往多类型管理体系的多年积累和验证,提供了足够案例,AIMS内嵌的PDCA流程,自身也提供了足够的试错空间。组织机构尽早实现AIMS有助于后期管理流程的不断成熟、AI意识的培养、组织文化的形成,并能够给跨体系集成和跨标准融合留有时间。AIMS的建设能够更好的支撑组织机构AI合规的落地,在全球AI监管日益精细化的发展背景下,有利于保障业务的安全推广和出海。
此外,AIMS的建设不应受囿于ISO 42001标准本身,组织机构在建设AIMS的过程中应当发挥探索创新能力,补充或裁剪既有标准,以适应公司发展战略和业务要求;其次,AIMS的建设也不应局限于ISO的标准化体系,AI领域国家标准、行业标准以极快的研发进度不断涌现,如GB/T 45288-2025大模型要求相关系列标准,以及GB/T 45652-2025、GB/T 45654-2025 、GB/T 45674-2025有关生成式AI系列标准,均提出了更为细节的AI管理策略。中国作为WTO/TBT成员国,ISO标准给予了重要的参考。与此同时,中国同时作为AI领域引领创新的关键主体,技术与业态的持续发展会支持标准的孵化,并将不断填补国际AI领域标准的空白。
参考文献:
[1] https://www.thedailybeast.com/hackers-used-simple-password-to-access-mcdonalds-ai-hiring-bot-applicant-data/
[2] https://www.csoonline.com/article/4008912/wormgpt-returns-new-malicious-ai-variants-built-on-grok-and-mixtral-uncovered.html
[3] https://www.sohu.com/a/918150507_121124019
[4] ISO/IEC 42001:2023《信息技术 人工智能 管理体系》
[5] GB/T 45081-2024《人工智能 管理体系》
[6] GB/T 19001-2016/ISO 9001:2015 《质量管理体系 要求》
[7] ISO/IEC 20000-1:2018《信息技术 服务管理 要求》
[8] GB/T 22080-2025/ISO 27001:2022《网络安全技术 信息安全管理体系 要求》
[9] ISO 37301:2021 Compliance management systems — Requirements with guidance for use
[10] ISO 27701:2019 Information security, cybersecurity and privacy protection — Privacy information management systems — Requirements and guidance
[11] ISO 27017:2015 Information technology — Security techniques — Code of practice for information security controls based on ISO/IEC 27002 for cloud services
[12] ISO 27108:2019 Information technology — Security techniques — Code of practice for protection of personally identifiable information (PII) in public clouds acting as PII processors
[13] ISO 22301:2019 Security and resilience — Business continuity management systems — Requirements
[14] ISO/IEC 38507:2022《信息技术 IT治理 组织使用人工智能的治理影响》
[15] ISO/IEC TR 24368:2022《信息技术 人工智能 伦理与社会问题概述》
[16] ISO/IEC 5338:2023《信息技术 人工智能 AI系统生命周期流程》
[17] ISO/IEC 8183:2023《信息技术 人工智能 数据生命周期框架》
[18] ISO/IEC 23894:2023《人工智能风险管理指南》
[19] ISO/IEC 42005:2025《信息技术 人工智能 人工智能系统影响评估》
[20] ISO/IEC TS 8200:2024《信息技术 人工智能 自动化人工智能系统可控性》
[21] ISO/IEC TR 5469:2024《人工智能 功能安全和人工智能系统》