Nội dung bài viết
Subquadratic hiện đã chia sẻ thêm thông tin chi tiết về mẫu mới của mình. Nhưng một số vẫn còn hoài nghi.
Công ty khởi nghiệp AI Subquadratic có trụ sở tại Miami đã thoát khỏi chế độ lén lút vào tháng trước với một tuyên bố khổng lồ. Nó thông báo rằng họ đã giải quyết được nút thắt toán học đã kìm hãm các mô hình ngôn ngữ lớn trong gần một thập kỷ.
Các chi tiết còn mỏng và nhiều người không bị thuyết phục. Nhưng Subquadratic đã bắt đầu mang lại biên lai, chia sẻ kết quả đánh giá độc lập về công nghệ mới của mình.
Kết quả cho thấy tuyên bố của công ty có thể đáng được chú ý. Theo Subquadratic, họ đã phát triển một loại LLM mới, được gọi là SubQ, nhanh hơn, rẻ hơn và sử dụng ít năng lượng hơn bất kỳ mẫu nào khác trên thị trường.
Công ty cũng tuyên bố rằng SubQ có thể xử lý số lượng văn bản cùng lúc nhiều gấp 12 lần so với hầu hết các mẫu máy khác, cho phép nó thực hiện một loạt các tác vụ nặng về dữ liệu, chẳng hạn như phân tích hàng trăm tài liệu hoặc toàn bộ cơ sở mã.
Hơn nữa, Subquadratic cho biết, SubQ thực hiện điều này trong khi ít nhiều phù hợp với hiệu suất của các mô hình tốt nhất do Google DeepMind, OpenAI và Anthropic đưa ra trong các nhiệm vụ chính như mã hóa.
Vấn đề là lúc đầu công ty đã cung cấp có rất ít bằng chứng cho những tuyên bố của nó ngoài một số điểm kiểm tra tự công bố. Và nó vẫn chưa cung cấp rộng rãi SubQ để mọi người tự mình dùng thử.
Vì vậy, không có gì ngạc nhiên khi những tuyên bố của Subquadratic gặp phải sự hoài nghi. Dan McAteer, một kỹ sư trí tuệ nhân tạo, đã nắm bắt được phản hồi tổng thể về X: “SubQ là bước đột phá lớn nhất kể từ Transformer ...
hoặc đó là AI Theranos.” Một tháng sau, công ty đã công bố thêm thông tin về mô hình của mình, bao gồm cả kết quả của các thử nghiệm độc lập bổ sung do công ty bên thứ ba Appen thực hiện.
Alex Whedon, đồng sáng lập và giám đốc công nghệ Subquadratic cho biết: “Chúng tôi mong đợi sự hoài nghi lành mạnh”.
“Nhìn lại, việc công bố các điểm chuẩn của bên thứ ba cùng với thông báo ban đầu sẽ loại bỏ phần lớn sự hoài nghi, đó là lý do tại sao chúng tôi dành thời gian để đảm bảo mọi kết quả trong tương lai đều được xác minh đầy đủ trước khi đưa ra.” Subquadratic đã yêu cầu Appen, công ty đánh giá mô hình của các công ty khác, chạy thử nghiệm trên SubQ.
Các kết quả dường như ủng hộ rất nhiều tuyên bố của Subquadratic. Jeanine Sinanan-Singh, giám đốc nghiên cứu AI tổng quát của Appen cho biết: “Điều đó thực sự thú vị đối với tôi, nó đã xác nhận kiến trúc của họ”.
rch. Cô nói thêm: “Tôi đã nghĩ, ‘Chà, đây có thể là yếu tố thay đổi cuộc chơi’, bởi vì các người mẫu đang phải vật lộn với tốc độ và sự kém hiệu quả”.
“Nhưng khi bạn có những kết quả gây sốc, điều đó thực sự không đáng tin cậy khi bạn tự nói ra điều đó.” SubQ sẽ không thay thế các mô hình hàng đầu hiện có nhưng nó có thể mang lại tốc độ tăng đáng kể với mức chi phí thông thường cho một số tác vụ nhất định.
Tuy nhiên, Subquadratic khẳng định rằng về lâu dài, bước đột phá của nó có thể thay đổi cách xây dựng LLM. Justin Dangel, người đồng sáng lập và Giám đốc điều hành của công ty cho biết: “Chúng tôi hy vọng mình đang khởi đầu một kỷ nguyên mới về hiệu quả.
“Chúng tôi không nghĩ sẽ có ai chế tạo máy biến áp trong vài năm nữa.” Để hiểu lý do tại sao các tuyên bố của Subquadratic lại là vấn đề lớn, hãy cùng tìm hiểu cách hoạt động của hầu hết các LLM.
Cơ chế chính bên trong LLM là một loại mạng lưới thần kinh được gọi là máy biến áp, vận hành một quá trình được gọi là sự chú ý dày đặc. LLM ngày nay thường kết nối nhiều máy biến áp lại với nhau.
(Bài báo nền tảng của kỷ nguyên LLM, được các nhà nghiên cứu tại Google xuất bản vào năm 2017, có tựa đề “Sự chú ý là tất cả những gì bạn cần.”) Sự chú ý dày đặc hoạt động như thế này: Khi một máy biến áp xử lý một đoạn văn bản, trước tiên nó sẽ mã hóa từng từ (hoặc một phần của từ, được gọi là mã thông báo) ) với một số.
Để nắm bắt được ý nghĩa của toàn bộ văn bản, nó sẽ nhân từng số đó với mọi số khác của văn bản đó. Ví dụ: một đoạn văn bản dài 10.000 từ sẽ tạo ra gần 50 triệu phép nhân riêng lẻ.
Đó là rất nhiều tính toán và lý do chính khiến LLM là những kẻ khét tiếng quyền lực. “Nếu bạn muốn tóm tắt The Great Gatsby, bạn phải nhìn từ đầu tiên và từ cuối cùng, sau đó bạn phải xem xét mọi sự kết hợp khác,” Dangel nói.
Khi độ dài của văn bản tăng lên, số lượng tính toán tăng vọt. Đó là vì mỗi số bổ sung phải được nhân với tất cả các số trước đó.
Nhân đôi số từ và bạn sẽ tăng gần gấp bốn lần số lượng phép tính, một tỷ lệ tăng được gọi là khai triển bậc hai. (Bạn có thể tự hình dung điều này: Vẽ một vòng tròn và đánh dấu các chấm xung quanh cạnh của nó.
Mỗi dấu chấm là một mã thông báo. Sau đó, vẽ các đường giữa các cặp dấu chấm để thể hiện phép nhân của hai mã thông báo đó.
Một vòng tròn có năm dấu chấm sẽ có 10 đường cắt ngang.
Tạo thành 10 dấu chấm và bạn sẽ có 45 dòng, 20 dấu chấm và bạn sẽ có 190 dòng, v.v.) Giải pháp của Subquadratic là loại bỏ sự chú ý dày đặc, đồng vận hành lại máy biến áp, thiên về cái được gọi là sự chú ý thưa thớt, giúp giảm số lượng tính toán cần thiết.
Thay vì nhân số được gán cho mỗi mã thông báo với mọi số khác, sự chú ý thưa thớt chỉ chọn một số số để nhân. Ý tưởng là không phải tất cả các mối quan hệ giữa các từ trong một đoạn văn bản đều quan trọng.
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.