自主AI医生基准测试：与认证临床医生在虚拟急性护理中的现实验证

亮点

• 在500个现实世界的虚拟急性护理案例中，多代理LLM驱动的AI系统展示了与认证临床医生相当的诊断和治疗性能。
• AI系统实现了99.2%的指南一致治疗兼容性，并且没有出现任何临床不支持（幻觉）建议。
• 专家评审发现，在超过三分之一的不一致案例中，AI在遵循最新指南和管理复杂、非典型病例方面优于人类临床医生。
• AI生成的临床文档在语义上与人类笔记高度一致，尽管语言和结构存在差异。

研究背景与临床挑战

全球医疗系统正面临来自老龄化人口、日益增长的医疗需求和持续的临床医生短缺的压力。预计到2030年，全球将短缺1100万医疗工作者，仅美国到2034年就将面临12.4万名医生的缺口。此外，临床医生目前约有50%的时间用于行政和文档任务，导致倦怠率接近46%。传统的干预措施，如扩大医学院招生或扩展远程医疗服务，实施缓慢且范围有限。

基于大型语言模型（LLM）的自主AI系统正在成为一种有前景的解决方案，有可能大规模自动化临床推理、文档和工作流程。然而，迄今为止，尚无端到端完全自主的LLM基础AI系统经过严格的现实临床基准测试。以往的研究主要依赖于模拟、小样本或特定专科的病例，缺乏可重复或临床可行的错误分类标准。本研究旨在通过直接比较自主AI医生系统与持证临床医生在现实世界中的虚拟急性护理环境，填补这一空白。

研究设计与方法

这项回顾性、观察性研究分析了2025年3月第一周连续进行的500次完全去标识化的虚拟急性护理咨询。这些病例来自一家主要的远程医疗服务提供商，代表了广泛未分化的急性表现。

研究的专有AI系统称为“Doctronic”，是一个云原生、模块化平台，由超过100个大型语言模型代理组成，每个代理模拟多学科临床团队中的不同角色。该系统自主完成了全面的历史采集、数据综合、符合指南的临床推理、治疗计划制定，并生成了结构化的SOAP（主观、客观、评估、计划）文档。

性能与同期管理相同患者会诊的认证临床医生进行了基准测试。关键评估指标包括：

• 诊断一致性：使用盲法LLM基础裁决（GPT-4.0）和人类专家评审进行评估。
• 治疗计划兼容性和安全性：通过指南依从性和临床合理性进行测量。
• 文档深度、清晰度和一致性：使用表面级文本（TF-IDF、Jaccard）和语义（嵌入余弦相似性）分析进行比较。
• 临床错误类型和频率：重点关注“临床幻觉”——无支持或虚构的诊断/治疗。

为了确保稳健和无偏见的评估，实施了双重评审过程：GPT-4.0作为盲法主审，由认证医师确认裁决和错误分类。

关键发现

• 诊断和治疗一致性：在81%的病例中，Doctronic的主要诊断与人类临床医生完全匹配。在95.4%的病例中，Doctronic的前四项鉴别诊断中至少有一项与医生的诊断重叠。
• 指南依从性治疗：在500对病例中，496对（99.2%）AI生成的治疗计划被认为是临床兼容且指南一致的。
• 零临床幻觉：在整个研究中，Doctronic没有生成任何缺乏临床证据支持的诊断或治疗计划——这是该领域前所未有的安全结果。
• 专家评审不一致病例：在97例诊断不一致的病例中，认证专家认为AI的表现优于人类临床医生的有35例（36.1%），特别是在指南依从性和非典型表现管理方面。只有9例（9.3%）倾向于人类临床医生。其余病例中，诊断实际上是等效的（由于临床医生笔记中的低特异性而未被识别）或因记录不足无法做出明确判断。
• 文档分析：AI生成的SOAP笔记与人类笔记的表面级文本相似性较低，表明风格和格式存在差异。然而，语义相似性得分较高，证实了AI传达的临床推理和治疗意图与人类实践实质上是一致的。

专家评论与临床意义

这项研究是首次大规模、现实世界的自主、代理型AI医生系统在急性虚拟护理中的验证。研究结果强调了几个关键的转化洞见：

• 多代理、LLM驱动的AI现在可以在常规急性护理场景中匹配并在某些领域超越人类临床表现。特别是，AI系统化整合最新指南并保持一致性，可能减少常见的人类错误，尤其是在复杂或模棱两可的病例中。
• 缺乏临床幻觉是患者安全的重要里程碑，解决了AI在一线护理中应用的主要障碍。
• 尽管风格不同，AI生成的文档在临床上是稳健和一致的——可能减轻导致医生倦怠的行政负担。
• 此类系统可以作为前线分流工具或医生辅助工具，提高资源有限环境或非工作时间的可及性和效率。在高收入医疗系统中，其主要用途可能是优化工作流程，使临床医生能够专注于复杂、长期或高接触的患者互动。

然而，必须承认局限性。该研究集中在急性虚拟护理，可能不适用于住院、程序性或慢性病管理领域。评估是回顾性的，仅限于可用的文档；需要实时、前瞻性的试验来评估患者结局。人类监督对于伦理、法律和以患者为中心的护理仍然至关重要。

结论

这项具有里程碑意义的基准测试研究为临床AI系统的透明、可重复评估建立了新的标准。多代理、LLM基础的AI医生现在可以在虚拟急性护理中实现——有时甚至超越——认证临床医生的表现。随着医疗系统应对劳动力短缺和需求增加，此类自主AI解决方案为从实验室创新到现实世界临床影响提供了有希望的、基于证据的路径。

参考文献

• Hashim Hayat, Maksim Kudrautsau, Evgeniy Makarov, Vlad Melnichenko, Tim Tsykunou, Piotr Varaksin, Matt Pavelle, Adam Z. Oskowitz. Toward the Autonomous AI Doctor: Quantitative Benchmarking of an Autonomous Agentic AI Versus Board-Certified Clinicians in a Real World Setting. medrxiv, doi: https://doi.org/10.1101/2025.07.14.25331406
• IF: NA NA NA
• World Health Organization. Global strategy on human resources for health: Workforce 2030. Geneva: WHO; 2016.
• Shanafelt TD, et al. Burnout and Satisfaction With Work-Life Balance Among US Physicians Relative to the General US Population. Arch Intern Med. 2012;172(18):1377-1385.