Báo cáo Úc: Bảy thách thức lớn về lập pháp và quy định đối với trí tuệ nhân tạo an toàn và đáng tin cậy trong y tế

Giới thiệu

Báo cáo này là kết quả cuối cùng của việc đánh giá luật pháp và quy định về trí tuệ nhân tạo (AI) an toàn và có trách nhiệm trong lĩnh vực y tế do chính phủ Úc thực hiện. Báo cáo phân tích các khuôn khổ pháp lý hiện hành của Úc và thu thập ý kiến ​​của các bên liên quan thông qua tham vấn công chúng để đánh giá tác động của các ứng dụng AI trong y học đối với các luật và quy định hiện hành, đồng thời khám phá vai trò tiềm năng của các biện pháp không quy định. Tập trung của báo cáo là xác định các khoảng trống và thiếu sót trong luật pháp hiện hành và đề xuất các khuyến nghị nhằm thúc đẩy việc áp dụng AI an toàn và có trách nhiệm hơn trong lĩnh vực y tế.

Chiến lược tổng thể của Chính phủ Úc

Báo cáo bắt đầu bằng cách nêu rõ chiến lược tổng thể của chính phủ Úc trong lĩnh vực AI, nhằm tận dụng lợi ích của AI đồng thời xây dựng lòng tin của công chúng. Chính phủ đã thực hiện năm bước hành động: cung cấp sự rõ ràng về quy định; hỗ trợ và thúc đẩy quản trị tốt nhất; thúc đẩy khả năng sử dụng AI; đặt chính phủ làm mô hình; và khởi xướng hợp tác quốc tế. Các khoản phân bổ ngân sách cho năm 2024-25 nhằm ưu tiên việc xem xét các luật về người tiêu dùng, sở hữu trí tuệ và y tế để hiểu tính phù hợp của chúng đối với AI. Bộ Y tế đã tiến hành tham vấn công chúng nhằm làm rõ và tăng cường luật pháp và quy định về AI trong môi trường y tế Úc.

Kết luận chính

Hạt nhân của báo cáo bao gồm bảy kết luận chính:

Kết luận 1: Cảnh quan quy định hiện tại

Việc quản lý y tế tại Úc là một mạng lưới phức tạp bao gồm luật pháp bang/địa phương và quốc gia. Các khuôn khổ quốc gia hiện hành (như luật bảo mật, luật người tiêu dùng, luật hàng hóa y tế, và quy định liên quan đến nhân viên y tế) ảnh hưởng đến việc sử dụng AI trong y tế. Hầu hết các luật được Bộ Y tế xem xét đều mang tính quản lý, hỗ trợ các hệ thống y tế cốt lõi như chăm sóc người cao tuổi, quyền lợi Medicare, quyền lợi dược phẩm, Hồ sơ Y tế Của Tôi, và các định danh y tế. Một số sửa đổi kỹ thuật nhỏ có thể cần thiết để tăng cường sự rõ ràng. Đối với các sản phẩm y tế không được bao phủ bởi các quy định hiện hành, các biện pháp bảo vệ AI toàn diện (bao gồm các yêu cầu trước và sau thị trường) có thể cung cấp sự rõ ràng để xây dựng lòng tin và thúc đẩy đổi mới.

Kết luận 2: Sự lãnh đạo về chính sách y tế AI quốc gia

Tham vấn công chúng đã xác định nhu cầu về sự hướng dẫn chính sách quốc gia và trung tâm để thúc đẩy lợi ích công bằng từ AI trong lĩnh vực y tế Úc. Có sự ủng hộ rộng rãi đối với các hướng dẫn AI giải quyết các phức tạp của y tế và mở rộng các khuyến nghị hiện có từ Trung tâm AI Quốc gia. Điều này có thể bao gồm các sáng kiến ​​liên quan đến việc sử dụng an toàn, bảo mật và có trách nhiệm dữ liệu y tế nhạy cảm trong công nghệ AI; các rủi ro quản trị độc đáo liên quan đến việc áp dụng và triển khai AI trong dịch vụ y tế; hiểu biết bằng chứng về tác động của AI đối với các nhóm dân số cụ thể; hướng dẫn kịp thời về các sản phẩm mới có tác động rộng rãi để theo kịp sự đổi mới AI nhanh chóng; và tác động của AI đối với các chuyên ngành y tế khác nhau.

Kết luận 3: Nguồn lực và hỗ trợ cho việc triển khai an toàn

Có một khoảng trống về kiến thức xung quanh việc triển khai AI an toàn và có trách nhiệm. Thiếu các hướng dẫn chất lượng cao, cập nhật hỗ trợ việc triển khai dựa trên bằng chứng của AI trong y tế, cũng như xem xét về tương tác giữa con người và máy móc trong các cơ sở y tế. Hướng dẫn về việc đánh giá và xác nhận các công nghệ AI mới trong suốt chu kỳ sản phẩm có thể bao gồm: đánh giá sự phù hợp của môi trường sử dụng AI; đánh giá chất lượng và tính liên quan của dữ liệu được sử dụng để đào tạo và xác minh; theo dõi độ chính xác của đầu ra; hỗ trợ lựa chọn sản phẩm đáp ứng nhu cầu của các nhóm dân số và dịch vụ y tế cụ thể; hỗ trợ triển khai AI trong các nhóm con người-máy móc; và hỗ trợ thử nghiệm triển khai AI trong môi trường lâm sàng.

Kết luận 4: Cần thông tin chất lượng cao và đáng tin cậy cho nhân viên y tế và người tiêu dùng

Một nguồn thông tin chất lượng cao và đáng tin cậy tập trung sẽ hỗ trợ người tiêu dùng và bác sĩ đưa ra quyết định thông thái về các sản phẩm AI. Sự tồn tại của thông tin kém chất lượng và gây hiểu lầm về AI trong y tế có thể ảnh hưởng tiêu cực đến việc ra quyết định. Hơn nữa, việc sử dụng AI để tạo thông tin về y tế có thể dẫn đến đầu ra kém chất lượng. Truy cập các nguồn thông tin đáng tin cậy, chính xác, đáng tin cậy và kịp thời về AI trong y tế là cần thiết để hỗ trợ việc sử dụng an toàn và có trách nhiệm.

Kết luận 5: Thực hiện lợi ích

Hiện tại, không có đủ bằng chứng để hỗ trợ các lợi ích tiềm năng của AI trong y tế. Thiết lập các yếu tố cơ bản, chẳng hạn như một khung lợi ích với nhiều chỉ số định tính và định lượng, sẽ cung cấp thông tin về những lợi ích mà AI có thể mang lại cho y tế. Điều này sẽ giúp các bên liên quan xác định các ứng dụng hiệu quả nhất của AI trong các hệ thống y tế và hỗ trợ các quyết định đầu tư và phân phối công bằng lợi ích của AI.

Kết luận 6: Tăng cường quản lý dữ liệu và sự đồng ý có thông tin

Các rủi ro liên quan đến dữ liệu và sự đồng ý có thông tin cần được quản lý tốt trong suốt vòng đời của AI. Các quy định nên nêu rõ khi và cách AI truy cập và sử dụng dữ liệu, và ai chịu trách nhiệm về việc sử dụng có trách nhiệm dữ liệu của bệnh nhân. Điều quan trọng là phải làm rõ ai sở hữu dữ liệu của bệnh nhân và tăng cường các thực hành sự đồng ý có thông tin của bệnh nhân liên quan đến việc sử dụng dữ liệu AI. Các khung quản trị cần giải quyết các rủi ro liên quan đến sự thiên lệch dữ liệu, độ chính xác dữ liệu, việc nhúng dữ liệu và quyền truy cập dữ liệu. Một số phản hồi cho thấy việc triển khai các nguồn dữ liệu tổng hợp có thể giải quyết một số thách thức liên quan đến quyền truy cập và đại diện dữ liệu trong nghiên cứu y tế. Các biện pháp bảo vệ bắt buộc toàn diện, bao gồm các biện pháp quản trị dữ liệu và minh bạch chuỗi cung ứng, có thể giúp giảm thiểu các rủi ro liên quan đến việc sử dụng AI trong các môi trường có rủi ro cao.

Kết luận 7: Động lực để hỗ trợ các thực hành tốt nhất

Một khung động lực để thúc đẩy ngành cung cấp các công nghệ AI chất lượng cao phù hợp với thị trường Úc có thể khuyến khích các thực hành tốt nhất. Động lực cho việc phát triển AI tốt nhất và cung cấp các thực hành có chất lượng cao, độ chính xác cao, an toàn và khả năng áp dụng có thể giúp đảm bảo lợi ích cho tất cả người dân Úc. Điều này cũng giúp giảm thiểu rủi ro gây hại từ các sản phẩm chất lượng thấp.

Các chủ đề chính từ tham vấn công chúng

Báo cáo cũng thảo luận về các chủ đề chính xuất hiện từ tham vấn công chúng, bao gồm mức độ hiểu biết về AI, sự thiên lệch, sự đồng ý và minh bạch, dữ liệu, cơ sở bằng chứng, và tương tác giữa con người và máy móc. Kết quả tham vấn cho thấy các mức độ hiểu biết khác nhau về AI giữa các bên liên quan, với nhiều người bày tỏ sự thiếu hiểu biết hoặc phụ thuộc vào thông tin từ truyền thông. Sự thiên lệch, sự đồng ý và bảo mật dữ liệu là những mối quan tâm chính, với nhiều người trả lời nhấn mạnh cần có sự đại diện tốt hơn của dân số Úc trong việc phát triển sản phẩm AI và đảm bảo sự đồng ý có thông tin từ bệnh nhân về việc sử dụng AI. Gần như tất cả các người trả lời đều cho rằng sự tham gia của con người trong quá trình ra quyết định (“con người trong vòng lặp”) là cần thiết trong các tình huống y tế có rủi ro cao liên quan đến sự an toàn của bệnh nhân.

Kết luận

Báo cáo kết luận rằng khung pháp lý hiện hành của Úc phần lớn có thể thích ứng với việc áp dụng AI; tuy nhiên, một số sửa đổi kỹ thuật và định nghĩa là cần thiết để tăng cường sự rõ ràng. Ngoài ra, các biện pháp bảo vệ AI toàn diện và các biện pháp không quy định có thể tăng cường thêm các biện pháp bảo vệ để đảm bảo việc áp dụng AI an toàn và có trách nhiệm hơn trong lĩnh vực y tế, đồng thời thực hiện công bằng lợi ích của AI. Báo cáo nhấn mạnh tầm quan trọng của việc thiết lập một cơ sở bằng chứng mạnh mẽ, cung cấp thông tin đáng tin cậy chất lượng cao, và khuyến khích các thực hành tốt nhất trong ngành.