Một nghiên cứu mới xem xét cách các mô hình ngôn ngữ lớn hoạt động trong nhiều bối cảnh y tế, bao gồm cả các trường hợp phòng cấp cứu thực sự – trong đó ít nhất một mô hình dường như chính xác hơn bác sĩ con người.
Nghiên cứu được công bố trên tạp chí Science tuần này và đến từ một nhóm nghiên cứu do các bác sĩ và nhà khoa học máy tính tại Trường Y Harvard và Trung tâm Y tế Beth Israel Deaconess dẫn đầu.
Các nhà nghiên cứu cho biết họ đã tiến hành nhiều thử nghiệm khác nhau để đo lường xem các mô hình của OpenAI so với các bác sĩ con người như thế nào.
Trong một thí nghiệm, các nhà nghiên cứu tập trung vào 76 bệnh nhân đến phòng cấp cứu của Beth Israel, so sánh các chẩn đoán do hai bác sĩ điều trị đưa ra với các chẩn đoán do mô hình o1 và 4o của OpenAI tạo ra.
Những chẩn đoán này được đánh giá bởi hai bác sĩ tham gia khác, những người không biết chẩn đoán nào đến từ con người và chẩn đoán nào đến từ AI.
Nghiên cứu cho biết: “Tại mỗi điểm tiếp xúc chẩn đoán, o1 hoặc hoạt động tốt hơn hoặc ngang bằng với hai bác sĩ tham gia và 4o,” đồng thời cho biết thêm rằng sự khác biệt “đặc biệt rõ ràng ở điểm tiếp xúc chẩn đoán đầu tiên (phân loại ER ban đầu), nơi có ít thông tin nhất về bệnh nhân và mức độ khẩn cấp nhất để thực hiện anh ấy đã quyết định đúng.” Trong thông cáo báo chí của Trường Y Harvard về nghiên cứu, các nhà nghiên cứu nhấn mạnh rằng họ hoàn toàn không “xử lý trước dữ liệu”, các mô hình AI được trình bày cùng thông tin có sẵn trong hồ sơ y tế điện tử tại thời điểm mỗi lần chẩn đoán.
Với thông tin đó, mô hình o1 đã quản lý để đưa ra “chẩn đoán chính xác hoặc rất gần” trong 67% trường hợp phân loại, so với một bác sĩ có chẩn đoán chính xác hoặc gần đúng là 55% trường hợp và với bác sĩ kia đạt được mục tiêu 50% thời gian.
Arjun Manrai, người đứng đầu phòng thí nghiệm AI tại Trường Y Harvard và là một trong những tác giả chính của nghiên cứu, cho biết trong thông cáo báo chí: “Chúng tôi đã thử nghiệm mô hình AI dựa trên hầu hết mọi tiêu chuẩn và nó đã làm lu mờ cả các mô hình trước đó cũng như các tiêu chuẩn cơ bản của bác sĩ của chúng tôi”.
Nói rõ hơn, nghiên cứu không khẳng định rằng AI đã sẵn sàng đưa ra quyết định sinh tử thực sự trong phòng cấp cứu.
Thay vào đó, họ cho biết những phát hiện này cho thấy “nhu cầu cấp thiết về các thử nghiệm trong tương lai để đánh giá các công nghệ này trong môi trường chăm sóc bệnh nhân trong thế giới thực”.
Các nhà nghiên cứu cũng lưu ý rằng họ chỉ nghiên cứu cách các mô hình hoạt động khi được cung cấp thông tin dựa trên văn bản và “các nghiên cứu hiện tại cho thấy rằng các mô hình nền tảng hiện tại bị hạn chế hơn trong việc suy luận về các đầu vào phi văn bản.” Adam Rodman, bác sĩ của Beth Israel, đồng thời là một trong những tác giả chính của nghiên cứu, nói với Guardian rằng “hiện tại không có khuôn khổ chính thức nào cho trách nhiệm giải trình” xung quanh các chẩn đoán bằng AI và bệnh nhân vẫn “muốn con người hướng dẫn họ vượt qua các quyết định sống hay chết [và] hướng dẫn họ vượt qua các quyết định điều trị đầy thách thức”.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.
Anthony Ha là biên tập viên cuối tuần của TechCrunch. Trước đây, anh từng làm phóng viên công nghệ tại Adweek, biên tập viên cấp cao tại VentureBeat, phóng viên chính quyền địa phương tại Hollister Free Lance và phó chủ tịch nội dung tại một công ty VC.
Anh ấy sống ở thành phố New York. Bạn có thể liên hệ hoặc xác minh khả năng tiếp cận của Anthony bằng cách gửi email tới
[email protected].
StrictlyVC Athens là người tiếp theo. Nghe những hiểu biết sâu sắc chưa được lọc trực tiếp từ các nhà lãnh đạo công nghệ của Châu Âu và kết nối với những người đang định hình những gì phía trước.
Khóa tại chỗ của bạn trước khi nó biến mất. Uber muốn biến hàng triệu tài xế của mình thành mạng lưới cảm biến cho các công ty xe tự lái Connie...
trên các mô hình OpenAI Tim Fernholz Amazon, Meta tham gia cuộc chiến để chấm dứt sự thống trị của Google Pay, PhonePe ở Ấn Độ Jagmeet Singh Trên khán đài, Elon Musk không thể thoát khỏi dòng tweet của chính mình Tim Fernholz
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.