澳大利亚报告：医疗人工智能在立法与监管中的七大安全与可靠性挑战

本报告是澳大利亚政府针对医疗健康领域中安全、负责任的人工智能（AI）立法与监管审查的最终成果。在全球人工智能技术浪潮席卷各行各业的背景下，医疗健康领域因其数据的敏感性、决策的攸关性以及对人类福祉的直接影响，成为AI应用中最受关注也最具挑战性的领域之一。本报告系统性地审视了澳大利亚现有的法律框架，并通过广泛的公众咨询收集了各方利益相关者的意见。其核心目标是评估AI技术在医疗领域的应用对现行法律法规带来的冲击，识别现有立法中存在的差距与不足，并探索非监管措施在促进技术健康发展中的潜在作用。最终，报告提出了一系列切实可行的建议，旨在为澳大利亚构建一个既能拥抱创新、又能确保安全与责任的医疗AI生态系统。

澳大利亚政府的总体战略：在创新与信任之间寻求平衡

报告首先阐明了澳大利亚政府在人工智能领域的顶层设计与总体战略，其核心理念是在积极拥抱AI带来的巨大机遇的同时，构建和维护公众对这项技术的信任。为了实现这一双重目标，政府已采取五大关键行动步骤：

1. 明确监管框架： 为AI的开发者、使用者和投资者提供清晰、可预测的法律环境。
2. 推广最佳治理实践： 支持和鼓励企业与机构采纳负责任的AI治理模式和道德准则。
3. 促进AI能力建设： 投资于教育、培训和基础设施，提升国家整体的AI技术实力和应用水平。
4. 树立政府典范： 推动政府部门自身率先垂范，在公共服务中负责任地使用AI技术。
5. 深化国际合作： 积极参与全球AI治理对话，与其他国家共同制定国际标准和规范。

在2024-25财年的预算分配中，政府明确将优先审查消费者法、知识产权法以及医疗健康相关法律，以评估其在AI时代的适用性。卫生部发起的公众咨询正是这一战略的具体体现，旨在为澳大利亚医疗环境中AI的立法与监管提供更清晰、更有力的指引。

七大核心发现：挑战与对策

报告的核心部分详细阐述了七项主要发现，揭示了当前医疗AI在立法与监管层面面临的核心症结。

发现一：现行监管格局的复杂性与局限性

• 内容概述： 澳大利亚的医疗监管是一个由联邦、州和地区法律交织而成的复杂网络。现有的全国性法律框架，如《隐私法》、《消费者法》、《医疗用品法》以及针对医疗专业人员的法规，均对医疗AI的应用产生影响。卫生部审查的法律大多侧重于管理层面，支撑着老年护理、国民医疗保险福利（Medicare）、药品福利、个人电子健康记录（My Health Record）等核心医疗系统。报告认为，现有法律框架在一定程度上可以适用，但可能需要进行一些技术性修订以增强其明确性。
• 深度解读与扩充： 这种“多头管理、层层交织”的监管格局构成了第一重挑战。它可能导致监管真空（某些新型AI应用不属于任何现有法规的管辖范围）或监管重叠（同一款AI产品需同时满足多个不同甚至冲突的法规要求），这不仅增加了创新者的合规成本，也让使用者感到困惑。报告提出的**“全面的AI保障框架”**（包括上市前审批和上市后监督）正是为了弥补这一短板，为那些未被现有法规明确覆盖的医疗AI产品（如一些辅助诊断软件、健康管理算法等）提供一个统一、清晰的监管路径，从而在鼓励创新的同时建立公众信任。

发现二：亟需国家层面的AI医疗政策领导力

• 内容概述： 公众咨询明确指出，业界和公众普遍期望政府能在国家层面提供统一、集中的政策指导，以确保AI技术带来的惠益能够在澳大利亚医疗体系内得到公平分配。各方广泛支持制定专门的AI医疗指南，以应对医疗领域的特殊复杂性，并扩展国家AI中心现有建议的深度和广度。
• 深度解读与扩充： 缺乏统一的国家级政策领导力是第二大挑战。这意味着不同地区、不同医院可能会采用各自的标准来评估和部署AI技术，导致技术孤岛和数据壁垒，最终影响医疗服务的连续性和公平性。因此，国家层面的指导不仅仅是发布一份文件，更需要涵盖以下关键领域：
  • 数据伦理与安全： 针对敏感医疗数据在AI技术中的使用，制定明确的道德、安全和责任规范。
  • 治理风险管理： 识别并应对医疗服务机构在采纳和实施AI时面临的独特治理风险（如算法责任归属、决策流程变更等）。
  • 影响评估： 建立基于证据的评估体系，深入了解AI对不同人群（特别是弱势群体）的实际影响。
  • 前瞻性指导： 紧跟AI技术的快速迭代，对具有广泛影响的新兴产品（如生成式AI在临床咨询中的应用）提供及时指导。
  • 专业领域影响： 分析AI对放射科、病理科、全科医学等不同医疗专业领域的具体影响和变革路径。

发现三：安全实施所需的资源与支持严重不足

• 内容概述： 报告发现，关于如何安全、负责任地实施AI技术，存在显著的知识鸿沟。市场上缺乏高质量、与时俱进的指南来支持医疗机构进行循证的AI部署。此外，对医疗场景中“人机交互”的考量也远远不够。
• 深度解读与扩充： 这是实践层面的核心挑战。一个算法在实验室里表现优异，不代表它能在繁忙、复杂的临床环境中安全有效地运行。因此，指导和支持体系应覆盖AI产品的整个生命周期：
  • 环境适用性评估： 指导医院如何评估AI技术是否适合其特定的工作流程和患者群体。
  • 数据质量验证： 提供工具和标准，用于评估训练和验证AI所用数据集的质量、相关性和代表性。
  • 持续性能监控： 建立对AI输出准确性的持续监控和反馈机制。
  • 产品选型支持： 帮助医疗机构选择能够满足特定人群和医疗服务需求的AI产品。
  • 人机协作培训： 为医护人员提供培训，支持他们作为“人机协作团队”的一部分来使用AI，理解其能力边界并进行有效监督。
  • 临床试点支持： 为AI在临床环境中的部署提供试点支持和效果评估框架。

发现四：医疗专业人员与消费者需要高质量、可信赖的信息来源

• 内容概述： 报告强调，建立一个集中的、高质量且可信赖的信息来源，对于支持消费者和临床医生就AI产品做出明智决策至关重要。当前，关于医疗AI的低质量和误导性信息泛滥，可能对决策产生负面影响。
• 深度解读与扩充： 信息不对称和信息污染是推广负责任AI的一大障碍。医生可能因缺乏可靠信息而不敢使用新技术，患者则可能因错误信息而产生不切实际的期望或恐惧。使用AI生成医疗信息本身也可能产生低质量的输出。因此，一个权威的信息平台至关重要，它能提供：
  • 产品透明度报告： 公布已获批AI产品的性能数据、适用范围和局限性。
  • 科普材料： 为公众提供易于理解的关于医疗AI工作原理、风险和益处的材料。
  • 临床指南： 为医生提供关于如何将特定AI工具整合到临床路径中的循证指南。

发现五：AI的潜在惠益缺乏充分证据支持

• 内容概述： 目前，能够充分支持AI在医疗领域带来潜在惠益的证据仍然不足。报告建议建立基础性要素，如一个包含各种定性和定量指标的“惠益框架”，以便更清晰地洞察AI能为医疗健康带来的价值。
• 深度解读与扩充： “炒作”多于“实证”是当前AI领域普遍存在的问题。为了让AI的价值真正落地，需要一个系统性的惠益评估框架。这不仅能帮助利益相关者识别AI在医疗系统中最有效的应用场景（例如，是用于提升诊断效率，还是优化资源调度？），还能为政府和私营部门的投资决策提供依据，并确保AI带来的好处能够公平地分配给社会各阶层，而非仅仅集中在少数资源丰富的地区或机构。

发现六：必须加强数据与知情同意管理

• 内容概述： 在AI的整个生命周期中，数据和知情同意的风险必须得到妥善管理。法规应明确规定AI在何时、如何访问和使用数据，以及谁对患者数据的负责任使用承担最终责任。
• 深度解读与扩充： 数据是AI的燃料，也是风险的核心来源。这一发现触及了最敏感的伦理和法律问题：
  • 数据所有权与使用权： 必须厘清患者数据的所有权归属，并围绕AI的数据使用，强化患者的知情同意实践，确保患者真正理解其数据将被如何使用。
  • 治理框架： 治理框架需要解决与数据偏见（训练数据未能代表所有人群，导致算法对某些群体不公）、数据准确性、数据嵌入和数据访问相关的风险。
  • 合成数据： 报告提到，使用“合成数据”（人工生成但统计学特征与真实数据相似的数据）可以在一定程度上解决医疗研究中数据访问和代表性的挑战。
  • 供应链透明度： 强制性的保障措施，包括数据治理措施和供应链透明度，有助于降低在医疗这种高风险环境中使用AI的相关风险。

发现七：建立激励机制以支持最佳实践

• 内容概述： 报告建议建立一个激励框架，以鼓励行业提供专为澳大利亚市场量身定制的高质量AI技术。
• 深度解读与扩充： 仅靠监管的“大棒”是不够的，还需要激励的“胡萝卜”。通过设立奖励、提供资金支持或简化审批流程等方式，激励企业开发具有高质量、高准确性、高安全性及强适用性的AI产品。这不仅有助于确保所有澳大利亚人都能从技术进步中受益，还能通过“良币驱逐劣币”的市场效应，降低低质量产品可能带来的伤害风险。

公众咨询的关键主题：来自一线的关切

报告还总结了公众咨询中反复出现的几个关键主题，这些主题生动地反映了社会各界对医疗AI的真实看法和担忧：

• 对AI的理解水平不一： 许多利益相关者坦言对AI缺乏了解，或主要依赖媒体信息，这表明公众教育和科普工作任重道远。
• 偏见、同意与透明度： 这是公众最主要的关切。许多受访者强调，AI产品的开发需要更好地代表澳大利亚的人口特征，并确保患者在AI使用方面给予了充分的知情同意。
• 数据安全： 数据隐私和安全是不可逾越的红线。
• 循证基础： 公众和专业人士都希望看到更多关于AI有效性和安全性的可靠证据。
• 人机交互与“人在环路”： 几乎所有受访者都认为，在涉及患者安全的高风险医疗场景中，必须保留人类的参与和最终决策权（即“人在环路”，Human in the loop）。这不仅是技术问题，更是关乎责任、信任和伦理的核心原则。

结论：迈向负责任的医疗AI未来

报告的最终结论是，澳大利亚现有的法律框架在很大程度上能够适应AI的应用，但需要进行一些技术性和定义性的修订以增强其清晰度。更重要的是，仅靠修补现有法律是不够的，必须通过全面的AI保障框架和非监管措施（如行业标准、教育培训、激励机制）来进一步加强保护。

最终目标是建立一个能够公平地实现AI惠益、同时确保医疗领域AI应用安全、可靠、负责任的生态系统。报告强调，为此必须建立强大的证据基础，提供高质量的可信信息，并激励行业采纳最佳实践。这为澳大利亚乃至全球其他国家在AI时代的医疗治理提供了一份深思熟虑的路线图。

参考文献

Safe and Responsible Artificial Intelligence in Health Care