Nhấn mạnh
- Các mô hình AI bị thiên vị hệ thống đã làm giảm độ chính xác chẩn đoán của các bác sĩ đối với các nguyên nhân phổ biến gây suy hô hấp cấp tính.
- Việc cung cấp giải thích do AI tạo ra không làm giảm đáng kể tác động tiêu cực của sự thiên vị.
- Sự phụ thuộc quá mức của các bác sĩ vào AI vẫn tiếp tục, ngay cả khi giải thích chỉ ra lỗi của mô hình.
- Nghiên cứu nhấn mạnh những rủi ro tiềm ẩn của việc triển khai hỗ trợ quyết định AI chưa được kiểm chứng đầy đủ trong môi trường lâm sàng.
Nền tảng
Công cụ trí tuệ nhân tạo (AI) và học máy ngày càng được sử dụng để hỗ trợ các bác sĩ trong quá trình chẩn đoán, nhằm cải thiện độ chính xác và hiệu quả. Tuy nhiên, việc đưa AI vào quyết định lâm sàng không phải không có rủi ro. Sự thiên vị hệ thống—lỗi được gây ra bởi dữ liệu huấn luyện không đại diện hoặc phát triển mô hình không đúng—có thể lan truyền qua các kết quả AI, dẫn đến lỗi chẩn đoán và gây hại cho bệnh nhân. Các hướng dẫn quản lý gần đây đã ủng hộ việc sử dụng giải thích do AI tạo ra như một biện pháp bảo vệ, nhưng hiệu quả của chiến lược này vẫn chưa rõ ràng.
Bệnh nhân nội trú mắc suy hô hấp cấp tính, thường do viêm phổi, suy tim hoặc bệnh phổi tắc nghẽn mạn tính (COPD), cần được chẩn đoán kịp thời và chính xác để có chăm sóc tốt nhất. Lỗi trong bối cảnh này có thể dẫn đến điều trị không phù hợp, tăng tỷ lệ mắc bệnh và chi phí y tế. Việc điều tra cách các công cụ AI, đặc biệt là những công cụ có sự thiên vị đã biết, ảnh hưởng đến hiệu suất chẩn đoán là vấn đề lâm sàng cấp bách.
Tổng quan và thiết kế phương pháp học
Jabbour et al. đã tiến hành một nghiên cứu khảo sát lâm sàng ngẫu nhiên (JAMA, 2023) để đánh giá tác động của cả mô hình AI chuẩn và bị thiên vị hệ thống đối với độ chính xác chẩn đoán của các bác sĩ. Khảo sát được thực hiện từ tháng 4 năm 2022 đến tháng 1 năm 2023 tại 13 bang Hoa Kỳ, bao gồm 457 bác sĩ nội trú—bác sĩ, y tá chuyên khoa và trợ lý bác sĩ. Người tham gia được ngẫu nhiên hóa để nhận dự đoán AI có hoặc không kèm theo giải thích.
Mỗi bác sĩ xem xét chín tình huống được xây dựng kỹ lưỡng về bệnh nhân nội trú mắc suy hô hấp cấp tính. Mỗi tình huống bao gồm các triệu chứng, kết quả khám, kết quả xét nghiệm và chụp X-quang ngực. Đối với mỗi tình huống, các bác sĩ đánh giá xác suất của ba chẩn đoán mục tiêu: viêm phổi, suy tim hoặc COPD. Hai tình huống được trình bày mà không có đầu vào AI (điểm chuẩn), sáu tình huống bao gồm dự đoán AI (ba không thiên vị, ba bị thiên vị hệ thống), và một tình huống liên quan đến tư vấn đồng nghiệp giả lập. Điểm cuối chính là độ chính xác chẩn đoán: tỷ lệ chẩn đoán đúng trên tổng số đánh giá.
Kết quả chính
Độ chính xác chẩn đoán cơ bản cho ba tình trạng là 73%. Khi được trình bày với dự đoán của mô hình AI chuẩn (không thiên vị), độ chính xác của các bác sĩ cải thiện nhẹ—tăng 2,9% so với điểm chuẩn mà không có giải thích và 4,4% có giải thích. Tuy nhiên, việc tiếp xúc với dự đoán của mô hình AI bị thiên vị hệ thống đã dẫn đến giảm đáng kể hiệu suất: độ chính xác chẩn đoán giảm 11,3% mà không có giải thích và 9,1% có giải thích so với điểm chuẩn.
Phân tích thống kê cho thấy sự giảm độ chính xác chủ yếu là do giảm độ đặc hiệu—các bác sĩ dễ mắc lỗi chẩn đoán dương tính giả khi theo dõi lời khuyên của AI bị thiên vị. Đáng chú ý, việc cung cấp giải thích do AI tạo ra không giảm đáng kể những tác hại này. Ngay cả khi giải thích chỉ ra rằng mô hình tập trung vào vùng hình ảnh không liên quan, các bác sĩ thường không phát hiện được lỗi cơ bản và tiếp tục dựa vào kết quả AI.
Nhận thức cơ chế và bối cảnh bệnh lý
Các mô hình AI, đặc biệt là những mô hình phân tích dữ liệu hình ảnh, có thể vô tình học các mối liên hệ không nhân quả từ bộ dữ liệu huấn luyện—như các yếu tố hình ảnh hoặc yếu tố nhân khẩu học. Sự thiên vị hệ thống xuất hiện khi các mô hình này luôn phân loại sai dựa trên các đặc điểm bị lỗi. Trong nghiên cứu này, các mô hình bị thiên vị đã mắc lỗi theo cách không rõ ràng đối với các bác sĩ, dẫn đến giảm độ đặc hiệu chẩn đoán.
Sự thiếu giảm thiểu của giải thích có thể phản ánh các thiên vị nhận thức như thiên vị tự động hóa (phụ thuộc quá mức vào đầu ra thuật toán) hoặc cố định, nơi các bác sĩ tập trung vào các gợi ý của AI bất chấp bằng chứng trái chiều. Hơn nữa, độ phức tạp kỹ thuật hoặc bề ngoài của giải thích có thể hạn chế tính thực tế của chúng, đặc biệt nếu các bác sĩ không có thời gian hoặc kiến thức để đánh giá chúng một cách phê phán trong quá trình chăm sóc hàng ngày.
Ý nghĩa lâm sàng
Những kết quả này đưa ra cảnh báo về việc áp dụng không phê phán các công cụ chẩn đoán AI trong thực hành thực tế. Mặc dù AI có hứa hẹn hỗ trợ hiệu suất của các bác sĩ, các mô hình AI bị thiên vị hệ thống có thể làm giảm chất lượng chăm sóc—đặc biệt khi các bác sĩ không nhận thức được hoặc không thể bù đắp cho những khuyết điểm này. Nghiên cứu đề xuất rằng giải thích, ít nhất là như hiện tại, có thể không đủ để ngăn chặn sự lan truyền của lỗi chẩn đoán do AI gây ra.
Đối với các bác sĩ nội trú và đội ngũ chăm sóc cấp cứu, điều này nhấn mạnh tầm quan trọng của sự cảnh giác lâm sàng và hoài nghi khi diễn giải các khuyến nghị được hỗ trợ bởi AI. Hệ thống y tế nên ưu tiên kiểm chứng bên ngoài nghiêm ngặt và đánh giá sự thiên vị của các công cụ AI trước khi triển khai, và các bác sĩ có thể受益于针对AI解释局限性的教育。
限制和争议
必须考虑几个限制。该研究使用了基于网络的情景，而不是实时临床互动，这可能高估或低估了AI相对于实际实践的影响。医生队列偏向年轻，可能不反映执业住院医师的经验分布。此外，该研究集中在三种常见疾病的诊断决策上，结果可能不适用于其他疾病或专业领域。
关于AI解释的最佳设计和透明度也存在持续的争论。一些专家主张更交互式或情境敏感的解释框架，而另一些专家则认为，模型固有的透明度永远无法替代严格的临床监督。
专家评论或指南定位
未参与该研究的医院医学专家Suman Pal博士指出：“有趣的是，解释并没有显著减轻系统性偏见AI模型预测导致的医生准确性下降。”目前来自FDA等监管机构的专业指南强调可解释性，但尚未规定减轻偏见的有效性标准。
结论
AI诊断模型中的系统性偏见可以显著降低医生的准确性，简单的解释框架可能不足以防止伤害。随着AI在医院护理中更加深入地集成，强大的验证、透明度和医生教育将是最大化利益并最小化风险的关键。未来的研究应集中于开发和测试更有效的策略，以识别和纠正临床工作流程中的AI驱动偏见。
参考文献
1. Jabbour S, Fouhey D, Shepard S, Valley TS, Kazerooni EA, Banovic N, Wiens J, Sjoding MW. Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study. JAMA. 2023 Dec 19;330(23):2275-2284. doi:10.1001/jama.2023.22295.
2. Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat Med. 2019;25(1):44-56. doi:10.1038/s41591-018-0300-7.
3. U.S. Food & Drug Administration. Artificial Intelligence and Machine Learning in Software as a Medical Device. FDA; 2021.