Nội dung bài viết
Một trong những điểm hấp dẫn nhất của các hệ thống AI hiện đại là khả năng thích ứng với người dùng. Mỗi khi trợ lý AI đảm nhận một nhiệm vụ cho bạn, nó cũng sẽ điều chỉnh theo phong cách và sở thích của bạn, được kết hợp làm bối cảnh cho các nhiệm vụ trong tương lai.
Với nhiều ngữ cảnh hơn và sự hiểu biết tốt hơn về người dùng, mô hình có thể trở nên tốt hơn mỗi khi bạn sử dụng nó, hoặc ít nhất đó là lý thuyết. Nghiên cứu mới cho thấy khả năng thích ứng của các mô hình có thể là một điều may mắn lẫn lộn.
Hôm thứ Tư, các nhà nghiên cứu tại công ty AI Writer đã xuất bản hai bài báo cho thấy các hệ thống bộ nhớ phổ biến có thể làm cho các mô hình trở nên tồi tệ hơn như thế nào, kéo chúng đến những quan niệm sai lầm hoặc hiểu lầm do người dùng đưa ra.
Khi đầu vào của người dùng lấp đầy nhiều cửa sổ ngữ cảnh của mô hình, mô hình sẽ phát triển đồng bộ hơn — và ít cam kết về độ chính xác hơn.
Dan Bikel, trưởng bộ phận AI của Writer, người làm việc trên báo cáo, cho biết: “Chúng tôi muốn có thể mô tả tần suất một mô hình sẽ chú ý đến sở thích của người dùng một cách hữu ích so với việc đưa ra một câu trả lời có thể sai”.
Như Bikel đã nói với TechCrunch, “với mỗi lần lưu trữ bổ sung các tùy chọn của người dùng và truy xuất chúng, bạn đang gặp phải rủi ro ngày càng tăng”.
Trong một biến thể, các nhà nghiên cứu đã thử nghiệm AI mô hình hóa bằng cách ghi lại rằng cuốn sách yêu thích của người dùng là Station Eleven, sau đó yêu cầu người mẫu đặt tên cho cuốn sách đen tối bán chạy nhất.
Người mẫu có xu hướng nêu tên Station Eleven trong câu trả lời của họ nhiều hơn, mặc dù câu hỏi không liên quan đến cuốn sách yêu thích của người dùng. Xu hướng tăng lên khi sử dụng các công cụ nén bộ nhớ như Mem0 và Zep.
Như bài báo đã nêu, “về cơ bản, tất cả các hệ thống bộ nhớ đều gặp khó khăn trong việc phân biệt bối cảnh liên quan với các điểm neo không liên quan, làm suy yếu nghiêm trọng tính đa dạng và tính sáng tạo, đồng thời tạo ra những xu hướng thiên vị ngoài ý muốn có thể hạn chế tiện ích của hệ thống,” bài báo viết.
Bài viết thứ hai cho thấy động lực tương tự có thể chủ động làm suy giảm hiệu suất như thế nào, khiến người dùng có những quan niệm sai lầm về tài chính và sau đó thách thức mô hình phân tích hiệu suất của công ty. Mô hình càng có nhiều bối cảnh thì nó càng hoạt động kém.
Bài đăng viết: “Không có bộ nhớ hoặc khả năng cá nhân hóa, mô hình AI sẽ đánh giá chính xác rằng công ty là một doanh nghiệp thâm dụng vốn và có tỷ lệ khách hàng rời bỏ cao”.
“Nhưng khi những tính năng đó được bật, nó sẽ vui vẻ thay đổi câu trả lời của mình để đồng ý với lỗi của người dùng hoặc cung cấp cho họ câu trả lời sai dựa trên ý nghĩa của nó.
đánh giá những sở thích trước đây của họ.” Đáng chú ý, nghiên cứu không xem xét mô hình Opus 4.8 gần đây của Anthropic, vốn được đào tạo để tích cực chống lại các lỗi đầu vào như những lỗi đã trình bày. Các mô hình được các nhà nghiên cứu phát hiện đều đúng trên các mô hình khác nhau.
Đó là minh chứng cho thấy bối cảnh AI có thể được cân bằng một cách tinh tế như thế nào và các công cụ hữu ích có thể gây ra những hậu quả không lường trước được như thế nào nếu chúng phá vỡ sự cân bằng đó.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.
Tìm hiểu sâu hơn về những gì cần thiết để mở rộng quy mô và thành công từ các nhà lãnh đạo tại Mach Industries, Founders Fund và Shinkei Systems.
Thông qua các cuộc trò chuyện thẳng thắn bên lò sưởi và kết nối mạng có tác động cao, bạn sẽ có được những hiểu biết sâu sắc có giá trị và các kết nối mới.
Google vừa bắn một phát súng cảnh báo trong cuộc chiến giá đăng ký AI Lucas Ropek Connie Loizos WWDC 2026: Mọi thứ được công bố trên Siri AI, iOS 27, Apple Intelligence, v.v.
Morgan Little Aisha Malik Anthropic's Claude Fable 5 là phiên bản của Mythos mà công chúng có thể truy cập ngày nay Rebecca Bellan Các công cụ nguồn mở của Microsoft đã bị hack để đánh cắp mật khẩu của nhà phát triển AI Zack Whittaker Googl...
aceX 920 triệu đô la mỗi tháng cho máy tính Sean O'Kane Mira Murati trở lại tâm điểm chú ý, Connie Loizos cẩn thận
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.