Nội dung bài viết
Nhà phát triển Firefox cho biết họ đã “hoàn toàn tin tưởng” vào khả năng phát hiện lỗi được hỗ trợ bởi AI.
Sự hoài nghi hiện rõ khi CTO của Mozilla vào tháng trước tuyên bố rằng việc phát hiện lỗ hổng được hỗ trợ bởi AI có nghĩa là “ngày số 0 đã được đánh số” và “những người bảo vệ cuối cùng cũng có cơ hội giành chiến thắng một cách dứt khoát”.
Rốt cuộc, nó trông giống như một phần của một mô hình quá quen thuộc: Cherry chọn một số kết quả ấn tượng mà AI đạt được, loại bỏ bất kỳ bản in đẹp nào có thể vẽ nên một bức tranh có sắc thái hơn và để cho sự cường điệu tiếp tục.
Lưu tâm đến sự hoài nghi, Mozilla hôm thứ Năm đã cung cấp cái nhìn hậu trường về việc sử dụng Anthropic Mythos—một mô hình AI để xác định các lỗ hổng phần mềm—để tìm ra 271 lỗi bảo mật của Firefox trong hai tháng.
Trong một bài đăng, các kỹ sư của Mozilla cho biết bước đột phá cuối cùng mà họ đạt được chủ yếu là kết quả của hai điều: (1) cải tiến bản thân các mô hình và (2) việc Mozilla phát triển một “khai thác” tùy chỉnh hỗ trợ Mythos khi nó phân tích mã nguồn Firefox.
Các kỹ sư cho biết những bàn chải trước đây của họ có khả năng phát hiện lỗ hổng được hỗ trợ bởi AI có nhiều “sự cố không mong muốn”. Thông thường, ai đó sẽ nhắc một mô hình phân tích một khối k mã.
Sau đó, mô hình sẽ tạo ra các báo cáo lỗi có thể đọc được một cách hợp lý và thường ở quy mô chưa từng có. Tuy nhiên, khi các nhà phát triển con người điều tra sâu hơn, họ sẽ phát hiện ra một tỷ lệ lớn các chi tiết đã bị ảo giác.
Sau đó, con người sẽ cần phải đầu tư công sức đáng kể vào việc xử lý các báo cáo về lỗ hổng bảo mật theo cách truyền thống. Kỹ sư xuất sắc của Mozilla Brian Grinstead cho biết trong một cuộc phỏng vấn rằng công việc của Mozilla với Mythos lại khác.
Yếu tố khác biệt lớn nhất là việc sử dụng khai thác tác nhân, một đoạn mã bao quanh LLM để hướng dẫn nó thực hiện một loạt nhiệm vụ cụ thể.
Để việc khai thác như vậy trở nên hữu ích, nó đòi hỏi các nguồn lực đáng kể để tùy chỉnh nó theo ngữ nghĩa, công cụ và quy trình cụ thể của dự án mà nó sẽ được sử dụng. Grinstead mô tả khai thác mà nhóm của ông đã xây dựng là "mã điều khiển LLM để hoàn thành mục tiêu.
Nó đưa ra các hướng dẫn mô hình (ví dụ: 'tìm lỗi trong tệp này'), cung cấp cho nó các công cụ (ví dụ: cho phép nó đọc/ghi tệp và đánh giá các trường hợp kiểm thử), sau đó chạy nó theo vòng lặp cho đến khi hoàn thành." Việc khai thác đã cho phép Mythos truy cập vào cùng các công cụ và quy trình mà các nhà phát triển Mozilla của con người sử dụng, bao gồm cả tốc độ.
bản dựng Firefox chính thức mà họ sử dụng để thử nghiệm. Với các dây nịt này, miễn là bạn có thể xác định tín hiệu thành công hoặc tín hiệu xác minh nhiệm vụ rõ ràng và xác định, bạn có thể tiếp tục yêu cầu nó tiếp tục hoạt động.
Trong trường hợp của chúng tôi, khi chúng tôi đang tìm kiếm các vấn đề về an toàn bộ nhớ, chúng tôi có bản dựng Firefox khử trùng và nếu bạn làm nó gặp sự cố thì bạn sẽ thắng.
Chúng tôi chỉ cho tác nhân đó tới một tệp nguồn và nói: "chúng tôi biết có vấn đề trong tệp này, vui lòng đi tìm nó." Nó sẽ tạo ra các trường hợp thử nghiệm. Chúng tôi có các hệ thống và công cụ làm mờ hiện có để có thể chạy các thử nghiệm đó.
Nó sẽ nói: “Tôi nghĩ sẽ có vấn đề ở đây nếu tôi tạo HTML chính xác như vậy.” Nó gửi tới một công cụ, công cụ đó nói có hoặc không. Nếu công cụ nói có thì sẽ có một số xác minh bổ sung.
Việc xác minh bổ sung được thực hiện dưới dạng LLM thứ hai đánh giá kết quả đầu ra từ LLM đầu tiên. Điểm cao mang lại cho các nhà phát triển sự tự tin như họ khi xem các báo cáo được tạo thông qua các phương pháp khám phá truyền thống hơn.
Ông nói: “Xét về các lỗi xuất hiện ở phía bên kia, hầu như không có kết quả dương tính giả nào. Chế độ xem hậu trường hôm thứ Năm bao gồm việc hiển thị các báo cáo đầy đủ của Bugzilla về 12 trong số 271 lỗ hổng Mozil la được phát hiện bằng cách sử dụng Mythos và ở mức độ thấp hơn là Claude Opus 4.6.
Các trường hợp thử nghiệm—có nghĩa là HTML hoặc mã khác kích hoạt tình trạng bộ nhớ không an toàn—được cung cấp trong mỗi trường hợp và đáp ứng cùng tiêu chí mà Mozilla yêu cầu đối với tất cả các lỗi được coi là lỗ hổng bảo mật trong Firefox.
Ít nhất một nhà nghiên cứu hôm thứ Năm cho biết rằng nhìn lướt qua các báo cáo cho thấy chúng “khá ấn tượng”.
Grinstead cho biết, không giống như lần tiết lộ lỗ hổng bảo mật trước đây, các chi tiết được cung cấp bởi phân tích Mythos hướng dẫn khai thác và được xác nhận bởi LLM thứ hai, cuối cùng được đưa vào các báo cáo, mang lại mức độ tin cậy mà nhóm của anh ấy không có trước đây.
Ông nói: “Đó là điều quan trọng đã mở ra khả năng hoạt động ở quy mô mà chúng tôi đang hoạt động hiện nay”.
“Nó mang lại cho kỹ sư một tay quay mà họ có thể kéo và nói: 'Đúng, cái này có vấn đề', sau đó bạn có thể lặp lại mã và biết rõ ràng khi nào bạn đã sửa nó và cuối cùng đưa trường hợp thử nghiệm vào cây sao cho bạn không hồi quy nó." Như đã lưu ý trước đó, việc Mozilla mô tả việc phát hiện lỗ hổng được hỗ trợ bởi AI như một yếu tố thay đổi cuộc chơi đã vấp phải sự hoài nghi lớn trong nhiều quý.
Các nhà phê bình ban đầu chế giễu được cung cấp khi Mozilla không nhận được chỉ định CVE cho bất kỳ lỗ hổng nào trong số 271 lỗ hổng. Tuy nhiên, giống như nhiều nhà phát triển, Mozilla không có được danh sách CVE cho các lỗi bảo mật được phát hiện nội bộ.
Thay vào đó, chúng được gói thành một bản vá duy nhất. Thông thường, các báo cáo của Bugzilla trình bày chi tiết về những “bản tổng hợp” này sẽ bị ẩn trong vài tháng sau khi được sửa để bảo vệ những người chậm vá lỗi.
Bây giờ Mozilla đã tiết lộ hàng tá trong số đó, những nhà phê bình đó chắc chắn sẽ cho rằng chúng cũng đã được chọn lọc kỹ càng và che giấu những kết quả kém chính xác hơn.
Trong số 271 lỗi được tìm thấy khi sử dụng Mythos, có 180 lỗi ở mức cao giây, chỉ định cao nhất của Mozilla đối với các lỗ hổng được báo cáo nội bộ. Những loại lỗ hổng này có thể bị khai thác thông qua hành vi thông thường của người dùng, chẳng hạn như duyệt một trang web.
(Xếp hạng cao hơn duy nhất, quan trọng theo giây, được dành riêng cho các ngày không.) 80 điểm khác ở mức trung bình giây và 11 điểm ở mức thấp giây. Các nhà phê bình đã đúng khi tiếp tục đẩy lùi.
Sự cường điệu hóa là một phương pháp quan trọng để thổi phồng mức định giá vốn đã cao ngất ngưởng của các công ty AI. Với những lời khen ngợi sâu rộng mà Mozilla dành cho Mythos, thật dễ dàng để những người đáng tin cậy hơn tự hỏi: Đổi lại nó sẽ nhận được gì?
Còn lâu mới giải quyết được cuộc tranh luận, công phu... ns có thể chỉ gây thêm tranh cãi.
Tuy nhiên, khi nghe Grinstead kể lại, các chi tiết là bằng chứng rõ ràng về tính hữu ích của khám phá được hỗ trợ bởi AI và động lực của Mozilla rất đơn giản.
“Mọi người hơi khó chịu vì những cam kết cẩu thả này vào năm ngoái nên chúng tôi cảm thấy điều quan trọng là phải thể hiện một số công việc của mình, vạch trần một số lỗi và nói về nó chi tiết hơn một chút như một cách để hy vọng thúc đẩy một số hành động hoặc tiếp tục cuộc trò chuyện,” anh nói.
"Không có góc độ tiếp thị nào ở đây. Nhóm của chúng tôi đã hoàn toàn đồng tình với cách tiếp cận này.
Chúng tôi đang cố gắng truyền tải thông điệp về kỹ thuật này nói chung chứ không phải bất kỳ nhà cung cấp mô hình, công ty cụ thể nào hay bất kỳ thứ gì tương tự." Ars Technica đã tách tín hiệu khỏi tiếng ồn trong hơn 25 năm.
Với sự kết hợp độc đáo giữa hiểu biết về kỹ thuật và mối quan tâm sâu rộng đến nghệ thuật và khoa học công nghệ, Ars là nguồn đáng tin cậy trong biển thông tin. Suy cho cùng, bạn không cần phải biết mọi thứ, chỉ cần biết những gì quan trọng.
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.