今年是新修订《医疗器械监督管理条例》施行的第一年,企业主体责任更加突出,产品的验证与确认活动趋于多元化,业界对标准规范的需求更加强烈。在国家政策与监管科学研究支持下,国内获批上市的医疗器械产品数量持续增加,影响力不断增强,临床转化与推广步伐加快。与此同时,国外医疗器械法规、监管政策与标准化研究处于新的活跃期,将对我国相关工作的开展带来有益启示。
国际AI医疗器械监管趋严
当前,AI技术作为热点创新技术,广泛应用于包括医疗器械在内的各行各业,各国对人工智能的监管认识与法规建设不断升级。
今年4月,欧盟就监管人工智能的使用公布立法框架,提出人工智能风险分级管理理念。其中,人工智能的医学应用被划入高风险等级,预示着欧盟对人工智能医疗器械的监管将趋于严格。该立法框架与欧盟在2019年所提出的“可信赖的人工智能”伦理理念一脉相承,从人与人工智能的关系出发,旨在强调和保护人的安全、权益和公平。
今年1月,美国食品药品管理局(FDA)发布《基于人工智能/机器学习的医疗器械软件行动计划》(以下简称《计划》)。《计划》回应了2019年FDA发布《基于人工智能/机器学习的医疗器械软件变更监管框架》后收到的社会反馈。在质量管理方面,该《计划》继续研究软件持续学习背景下的预定义变更控制的指南草案,开发良好机器学习规范以评估和改进机器学习算法。在监管要求方面,该计划提倡以患者为中心的路径,包括器械对用户的透明度,与欧盟的立法框架存在相通之处。在质量评价方面,该计划重视对算法偏倚和鲁棒性的评价,推动真实世界性能监测的试点。
今年,国际医疗器械监管机构论坛(IMDRF)的人工智能医疗器械工作组组织了多次线上会议。各个国家和地区监管机构的代表围绕基于人工智能/机器学习的医疗器械术语文稿的编制展开了细致的讨论。其中,欧美国家和地区关注“持续学习”“算法变更”等关键词,重视良好机器学习规范在质量管理中的作用,值得关注。
根据国外的发展趋势,人工智能伦理思想、全生命周期质量管理理念、产品快速更新的需求等因素对人工智能医疗器械的标准化可产生较大影响,产品的测试思路也在转型,与传统计算机辅助诊断软件产品的差异越来越大。
我国AI医疗器械标准化进程加快
2020年,我国首批人工智能医疗器械行业标准《人工智能医疗器械 质量要求与评价 第1部分:术语》和《人工智能医疗器械 质量要求与评价 第2部分:数据集通用要求》已经进入报批阶段。
《人工智能医疗器械 质量要求与评价 第1部分:术语》旨在为人工智能医疗器械的质量评价提供基础通用的术语,为后续标准的起草提供字典。该标准在基础共性技术、数据集、质量评价指标、质量评价方法、应用场景等方面列出100多个词条及定义,并以附录的形式给出部分公式。
《人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求》旨在把数据集纳入人工智能医疗器械的质量评价体系,明确数据集的评价对象及技术路径。该标准借鉴了医疗器械、信息技术、临床试验等领域对数据质量的管理思路,结合对人工智能可解释性、可溯源性等方面的需要,提出数据集的描述文档、质量特性、风险分析文档等方面的要求,并给出评价方法。同时,中国食品药品检定研究院(以下简称中检院)联合中华医学会放射学分会、国家卫生健康委能力建设与继续教育中心等共同发布《胸部CT肺结节数据集构建及质量控制专家共识》,为标准的落地提供参考。
根据国家药监局公示的标准制修订计划,2021年中检院作为归口单位围绕“人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求”和“人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法”两个主题开展标准立项起草工作。
数据标注是影响人工智能医疗器械质量的重要技术服务,直接关系到算法研发与测试所依据的参考标准的准确性和可靠性。目前业内在数据标注环节的差异较大,标注的实施主体、工作流程、质控与验收等环节参差不齐,急需标准规范。“人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求”拟在参照国内临床领域人工智能数据标注专家共识的基础上,对标注任务的定义、描述、组织等相关内容进行规定,把相关技术工具、平台纳入考量。该标准草案也是对《人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求》的呼应和补充,将促进数据集的开发活动。
“人工智能医疗器械 肺部影像辅助分析软件算法性能测试方法”是中检院归口单位标准立项的第一个方法标准草案,拟面向肺结节、肺炎等临床用途的人工智能医疗器械软件的测试需求,描述辅助诊断、辅助检测等场景下的常见指标与测试方法。同时,该标准草案拟根据近年来人工智能软件测试的发展趋势,对人工智能医疗器械软件的一些特殊性能进行考量,包括对抗测试、压力测试等。
2021年3月,中检院归口单位召集来自临床、教育、科研、企业等领域的专家,形成了上述两个标准草案的框架。在起草组的配合下,标准草案的初稿已完成编制,在归口单位内部进行了研讨。下一步,归口单位将结合具体产品开展技术验证工作。
与此同时,中检院归口单位在今年年初面向社会启动了2022年度标准立项征集工作,共收到立项提案20余份,提案内容涉及基础通用要求、临床试验特殊要求、软件开发管理、算法性能测试、数据集专用要求等主题。部分提案内容参考了国外2020年发布的技术文献,与国际前沿的接轨程度有所提升,反映了国内各界对标准研究的极高热情。为了确保提案遴选的科学性和高效性,中检院依据医疗器械标准制修订工作规范,在6月底举行线上线下相结合的标准研讨会,组织归口单位专家组进行专题研究和投票,将按照标准制定程序办理后续事宜。
开展合作推进标准研究
在推进国内标准研究的同时,归口单位也在积极拓展国际合作。2021年3月,国家药监局和国家标准委批复同意由中检院专家加入国际电工委员会I EC/TC62医用电气技术委员会的软件网络与人工智能顾问团,参与I EC在医疗器械创新领域的国际标准研究。在顾问团的首个正式研究报告中,中检院承担了部分章节的编写和校对任务,宣传了我国在人工智能医疗器械监管与标准化方面取得的研究成果,获得了顾问团的认可。
中检院牵头的IEEE人工智能医疗器械标准也取得了显著的进展。在近期的工作组会议上,来自中国、美国、德国、荷兰等国的10余个成员单位对IEEE P2802 人工智能医疗器械质量评价术语标准的技术内容进行了审议并达成共识,即将提交IEEE进行文稿格式审查,启动外部投票与征求意见进程。该标准在起草阶段即获得了国际同行的关注,已被美国国家标准与技术研究院(NIST)的人工智能标准体系规划、美国FDA的机器学习/人工智能行动计划、ANSI CTA 2089-1标准等文件引用。该标准在凝聚我国国内行业共识的基础上形成初稿,在国际交流的背景下进行了修改完善。它的起草与发布有助于增进国内外的标准协调与合作。今年,IEEE P2801数据集质量管理标准草案也有了新的版本,起草组即将对它进行组内的技术审议。
搭建平台推动标准落地
为了促进标准的落地应用、提升产品检测服务能力,中检院在科技部重点研发计划项目的资助下,正在建设医学人工智能产品检测平台,面向科研院所、企业、临床机构、检测机构等开展应用示范。平台使用中心化云端部署的模式,使用私用数据和公有数据相结合的渠道,打通数据集开发与质控、数据标注、测试方案定制、算法指标评估、对抗测试等关键环节,形成可定制、标准化的产品测试服务模式,满足产品上市前测试、临床在用质控、真实世界性能监测、算法更新与再评价等阶段的评价需求,以支持人工智能产品的全生命周期质量控制。
在开发阶段,项目组集成了智能检索、智能标注、对抗攻击等先进技术,扩展了产品鲁棒性、临床性能动态评估等方面的评价能力。在项目参与单位的共同努力下,包含数据入库、人员管理、检测业务申请、待测算法部署、数据中台、检测报告编辑等在内的主要模块基本达到中期设计指标,平台处于联合调试和内测阶段。目前,已有10余家来自企业、检测机构、临床机构的用户参与平台的调试,待测产品涉及肺部影像、眼底彩照、电子病历等数据模态。同时,项目组完成4个单模态典型样板数据集、2个多模态典型样板数据集,为数据集的社会共筹共建模式提供了参照。平台预计在今年10月份正式上线并面向社会征集应用示范单位,提供公益技术服务,支持标准的应用落地和宣贯培训。
我国人工智能医疗器械标准化工作在理论与实践两方面协同推进。随着人工智能医疗器械产业的发展壮大和监管科学研究的推进,我国人工智能医疗器械标准化工作将逐步走向自主创新的道路,为行业和监管发展提供技术保障。
文|中国食品药品检定研究院 王浩 李佳戈 李静莉
来源|中国医药报