Nội dung bài viết
Các nhà nghiên cứu và phòng thí nghiệm AI đã có những bước nhảy vọt trong việc đánh giá các mô hình AI về mọi mặt, từ sự an toàn và tuân thủ đến tính đồng bộ và liên kết.
Nhưng có vẻ như các công ty và nhà phát triển đang phải đối mặt với một nhu cầu cụ thể mới: đảm bảo hệ thống AI của họ hoạt động như dự định cho sản phẩm hoặc dịch vụ cụ thể của họ.
Trong nỗ lực làm cho quá trình kiểm tra đó trở nên đơn giản hơn, hôm thứ Ba, Microsoft đã công bố ASSERT, viết tắt của Ghi điểm theo hướng thích ứng để kiểm tra đánh giá và hồi quy.
Microsoft cho biết, khung nguồn mở giúp việc đánh giá hành vi AI dành riêng cho ứng dụng trở nên dễ dàng bằng cách sử dụng AI để biến các mô tả bằng ngôn ngữ tự nhiên, cấp cao về mục tiêu, chính sách hoặc hành vi dự định thành các bài kiểm tra kỹ lưỡng, có tính điểm có thể được điều tra.
ASSERT lấy các mô tả bằng ngôn ngữ đơn giản về hành vi và chính sách dự kiến của mô hình AI, biến chúng thành một tập hợp có cấu trúc gồm các hành vi có thể chấp nhận và không thể chấp nhận, tạo ra các kịch bản vấn đề và trường hợp thử nghiệm, chạy chúng với hệ thống đích và chấm điểm kết quả.
Nó cũng có thể ghi lại các đường dẫn mà hệ thống AI thực hiện, bao gồm các hành động trung gian và lệnh gọi công cụ, để các nhà phát triển có thể kiểm tra xem lỗi xảy ra ở đâu.
Nhà phát triển cũng có thể cung cấp bối cảnh hệ thống ls và các ràng buộc nữa, nếu họ muốn tùy chỉnh thêm nội dung đánh giá.
Ví dụ: nhà phát triển có thể chỉ định rằng tác nhân AI nghiên cứu tài liệu không nên gửi email cho những người bên ngoài công ty và nên giới hạn thông tin bí mật cho các giám đốc điều hành cấp C và cung cấp các bản tóm tắt ngắn gọn có lưu ý đến bối cảnh trước đó.
ASSERT sẽ sử dụng các quy tắc đó để tạo các trường hợp thử nghiệm nhằm kiểm tra xem hệ thống có tuân thủ các quy tắc đó một cách liên tục hay không.
Theo Microsoft, khuôn khổ này sẽ lấp đầy khoảng trống mà các đánh giá rộng hơn, tổng quát hơn không thể thực hiện được khi các mô hình AI dự định hoạt động theo cách được định hình bởi bối cảnh, chính sách và công cụ của ứng dụng hoặc sản phẩm.
Sarah Bird, giám đốc sản phẩm của AI có trách nhiệm tại Microsoft cho biết: “Một trong những điều chúng tôi học được là việc đánh giá là vô cùng quan trọng để đưa ra quyết định đúng đắn”.
“Bởi vì nếu bạn không hiểu hành vi của hệ thống AI thì thật khó để biết liệu nó có đáp ứng tiêu chuẩn của tổ chức của bạn hay không… Điều chúng tôi nhận thấy là nếu bạn thực sự muốn có một hệ thống đáng tin cậy, bạn nên đánh giá nhiều khía cạnh hơn dành riêng cho ứng dụng.” Bird cho biết ASSERT có thể được sử dụng để đánh giá các hệ thống khi chúng đang hoạt động.
ng được xây dựng, sau khi triển khai và thậm chí để theo dõi liên tục. Việc phát hành diễn ra trong bối cảnh sự thay đổi dần dần nhưng rộng hơn trong ngành AI.
Khi các mô hình ngày càng có nhiều khả năng hơn, các nhà nghiên cứu đang tập trung vào thử nghiệm lặp lại và kiểm tra hồi quy, với HELM của Stanford, AILuminate của MLCommons và các nhóm đánh giá như METR triển khai các điểm chuẩn để đo lường cách các mô hình hoạt động trong các điều kiện khác nhau.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.
Ram là một phóng viên và biên tập viên tài chính và công nghệ. Ông đưa tin về M&A, vốn cổ phần, tin tức pháp lý và thị trường nợ ở Bắc Mỹ và Châu Âu tại Reuters và Acuris Global, đồng thời cũng viết về du lịch, du lịch, giải trí và sách.
Bạn có thể liên hệ hoặc xác minh khả năng tiếp cận của Ram bằng cách gửi email [email protected]. Tìm hiểu sâu hơn về những yếu tố cần thiết để mở rộng quy mô và thành công từ các nhà lãnh đạo tại Mach Industries, Founders Fund và Shinkei Systems.
Thông qua các cuộc trò chuyện thẳng thắn bên lò sưởi và kết nối mạng có tác động cao, bạn sẽ có được những hiểu biết sâu sắc có giá trị và các kết nối mới. 'Thật là một trò đùa': Phương thức thanh toán dựa trên mã thông báo mới của GitHub Copilot khiến các ...
4/7 Trợ lý AI Gemini Spark hoạt động và nó thực sự khá hữu ích Tên lửa Glenn mới của Sarah Perez Blue Origin phát nổ trong quá trình thử nghiệm ở Florida Sean O'Kane Anthropic phát hành Opus 4.8 với công cụ 'quy trình làm việc năng động' mới Russell Brandom
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.