Nội dung bài viết
Điểm chuẩn của chính phủ Estonia cho thấy hàng chục mô hình chống lại “các câu chuyện chiến lược” của Nga như thế nào.
Khi ngày càng có nhiều người dựa vào các mô hình ngôn ngữ lớn để đưa ra câu trả lời nhẹ nhàng cho các câu hỏi phức tạp, chính quyền các bang lo lắng một cách dễ hiểu về việc những LLM đó phun ra những gì họ coi là tuyên truyền nguy hiểm do đối thủ nước ngoài quảng bá.
Để giúp giải quyết vấn đề này, Viện Ngôn ngữ Estonia (ELI) do chính phủ tài trợ đã đưa ra một tiêu chuẩn mới về “Kháng chiến tuyên truyền” xếp hạng hàng chục LLM về khả năng tránh “đảm nhận các quan điểm về các chủ đề mà Liên bang Nga sử dụng trong các câu chuyện chiến lược của mình”.
Là một cựu thành viên của Liên Xô mới độc lập được vài thập kỷ, nhiều người Estonia đặc biệt cảnh giác với những gì họ coi là những lời tường thuật sai sự thật được quảng bá từ người hàng xóm rộng lớn và thường xuyên hiếu chiến của họ ở phía đông.
Cùng với tập thể phòng thủ Propastop của Estonia do tình nguyện viên điều hành, ELI đã xác định 14 hạng mục chính trong đó họ cho rằng các hoạt động gây ảnh hưởng của Nga đang cố gắng gây ảnh hưởng đến các cuộc thảo luận của công chúng.
Những điều này bao gồm từ những tường thuật về tình trạng hiện tại của Crimea và những lời biện minh cho cuộc chiến ở Ukraine cho đến lịch sử của NATO và những lời biện minh cho việc sáp nhập Nga. n của các nước vùng Baltic trong Thế chiến thứ hai.
Đối với mỗi loại tuyên truyền, các nhà nghiên cứu đã phát triển các câu hỏi riêng biệt có tính trung lập, thiên về “giả định sai lầm” dựa trên tuyên truyền của Nga hoặc nhằm cố tình khơi gợi thông tin sai lệch rõ ràng từ LLM.
Các câu hỏi được cung cấp cho các mô hình bằng tiếng Anh, tiếng Estonia và tiếng Nga và được đánh giá bởi một mô hình AI riêng biệt (được hiệu chỉnh để phù hợp với các chuyên gia Propastop) dựa trên khả năng của mô hình trong việc “đẩy lùi các câu chuyện tuyên truyền mà không cần trợ giúp từ bên ngoài” từ tìm kiếm trên web hoặc các công cụ bên ngoài khác.
Các mẫu Claude của Anthropic có xu hướng hoạt động tốt nhất trong số các mẫu biên giới độc quyền trên tiêu chuẩn mới này, với nhiều phiên bản gần đây của các mẫu Sonnet và Opus chiếm sáu trong số 10 vị trí hàng đầu.
Opus 4.7, mô hình hoạt động tốt nhất về tổng thể, đã nhận được điểm “Gương mẫu” được xếp hạng cao nhất cho câu trả lời của nó cho đầy đủ 77% câu hỏi (và điểm “tầm thường” ở mức trung bình chỉ trên 2%) cho điểm cuối cùng trung bình là 94,9 trên 100 trên điểm chuẩn.
Các mẫu máy mở, bao gồm Nemotron của Nvidia và Qwen của Alibaba, cho thấy kết quả tốt có thể so sánh với các mẫu tốt nhất của Anthropic. GPT-5.4—mô hình hoạt động tốt nhất của OpenAI—cũng thực hiện tương đối đánh giá rất tốt, đưa ra câu trả lời “Mẫu mực” cho 54% câu hỏi và đạt điểm trung bình 88,9.
Không có gì ngạc nhiên khi các mô hình biên giới gần đây cho thấy xu hướng phản đối tuyên truyền của Nga mạnh mẽ hơn nhiều so với các mô hình chỉ cách đây vài năm. Claude 3.5 Haiku—mẫu được đánh giá cao nhất ra mắt vào năm 2024—chỉ nhận được xếp hạng trung bình là 73,1 trên điểm chuẩn.
Dấu hiệu đó sẽ đưa nó vào vị trí thứ ba dưới cùng trong số các mẫu được phát hành vào năm 2026 theo chỉ số này. Nhưng sự cải thiện đó theo thời gian không đồng đều ở tất cả các nhà sản xuất LLM.
LLM chống tuyên truyền mạnh nhất của Google, Gemini 2.5 Pro, hiện đã gần một năm tuổi và chỉ đạt điểm chuẩn là 82, phần lớn là do tính nhạy cảm đặc biệt với những lời nhắc có từ ngữ ác ý.
Mẫu thử nghiệm gần đây nhất của Google, Gemini 3.5 Flash, chỉ đạt điểm chuẩn 73, tương đương với các mẫu Anthropic ra mắt gần hai năm trước.
Trong một bài đăng hỗ trợ trên blog Propastop, tổ chức này nhấn mạnh có bao nhiêu người mẫu tỏ ra ít phản kháng hơn nhiều đối với tuyên truyền của Nga khi bị thẩm vấn bằng tiếng Nga.
Gemini 3.5 Flash của Google nhận được điểm chuẩn bằng tiếng Nga thấp hơn đáng kể so với tiếng Anh, cũng như các mẫu máy có trọng lượng mở như của Moonshot. Flash bước 3.5 của Kimi K2 và StepFun.
Tất nhiên, những gì một quốc gia coi là tuyên truyền, một quốc gia khác có thể coi là một tập hợp các chân lý văn hóa quan trọng mà LLM nên hỗ trợ và phản ánh.
Một nghiên cứu gần đây của giáo sư Gregory Asmolov tại Đại học King's phân tích cách chính phủ Nga, thông qua các liên minh kỹ thuật gần đây với các nước BRICS khác, đang tìm cách tác động đến các mô hình AI bằng cách đưa ra các quan điểm chính trị xã hội cụ thể "nhạy cảm về mặt văn hóa" đối với quan điểm của Nga.
Ars Technica đã tách tín hiệu khỏi tiếng ồn trong hơn 25 năm. Với sự kết hợp độc đáo giữa hiểu biết về kỹ thuật và mối quan tâm sâu rộng đến nghệ thuật và khoa học công nghệ, Ars là nguồn đáng tin cậy trong biển thông tin.
Suy cho cùng, bạn không cần phải biết mọi thứ, chỉ cần biết những gì quan trọng.
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.