Nội dung bài viết
Cloudflare vừa ban hành cho ngành AI một thời hạn mới để tách các trình thu thập dữ liệu web được sử dụng cho mục đích tìm kiếm truyền thống, như Google Tìm kiếm, khỏi các trình thu thập thông tin được sử dụng cho các đại lý và đào tạo AI.
Công ty đã thông báo vào thứ Tư rằng bắt đầu từ ngày 15 tháng 9 năm 2026, cài đặt mặc định của Cloudflare sẽ chặn các trình thu thập thông tin “sử dụng hỗn hợp” khỏi bất kỳ trang nào lưu trữ quảng cáo.
Điều đó có nghĩa là các trình thu thập thông tin kết hợp tìm kiếm, sử dụng tác nhân và đào tạo sẽ bị chặn thu thập thông tin các trang web này theo mặc định, trừ khi chủ sở hữu trang web điều chỉnh các cài đặt khác.
Công ty cho biết những thay đổi về cài đặt mặc định này sẽ áp dụng cho khách hàng mới của Cloudflare, các trang web mới do khách hàng hiện tại thiết lập và tất cả khách hàng miễn phí hiện có.
Động thái này có thể tác động đến cách các nhà cung cấp mô hình AI có thể truy cập nội dung web cho mục đích đào tạo và giúp hỗ trợ các dịch vụ đại lý của họ.
Cloudflare chỉ ra rằng hầu hết chủ sở hữu trang web muốn nội dung của họ có thể được khám phá thông qua tìm kiếm và thường là thông qua các dịch vụ AI, nhưng họ muốn có biện pháp bảo vệ chống lại việc tài sản trí tuệ của họ bị cung cấp miễn phí.
Cloudflare đặc biệt gọi “công cụ tìm kiếm lớn nhất thế giới” (rõ ràng là tài liệu tham khảo của Google!) có quyền truy cập vào “thông tin nhiề... n" hơn các công ty AI khác vì gã khổng lồ tìm kiếm khiến khách hàng khó có thể được khám phá nếu không sử dụng AI.
Google trước đây đã phản đối sự khái quát hóa này, lưu ý rằng họ cung cấp một bot có tên Google Extended cho phép chủ sở hữu trang web chọn không tham gia sử dụng nội dung của họ cho mục đích đào tạo cũng như các sản phẩm và dịch vụ AI như Gemini Apps và Vertex API.
Việc sử dụng nó không ảnh hưởng đến việc đưa trang web vào Google Tìm kiếm. Tuy nhiên, Googlebot hàng đầu của gã khổng lồ công nghệ này sẽ thu thập dữ liệu cho Tìm kiếm, bao gồm các tính năng AI như Tổng quan về AI và Chế độ AI.
"Bây giờ rằng phần lớn lưu lượng truy cập trên Internet không phải của con người, chúng ta phải tiến xa hơn và hành động nhanh hơn để một hệ sinh thái bền vững có thể xuất hiện,” đồng sáng lập và Giám đốc điều hành Cloudflare, Matthew Prince, cho biết trong thông báo về tin tức này, đề cập đến cột mốc gần đây khi bot lần đầu tiên vượt qua lưu lượng truy cập trực tuyến của con người.
Sự thay đổi đó dự kiến sẽ không xảy ra cho đến năm sau. Chúng tôi hy vọng rằng những thay đổi mặc định được đề xuất của chúng tôi sẽ khuyến khích các trình thu thập thông tin có mục đích sử dụng hỗn hợp "Tách biệt việc tìm kiếm khỏi việc sử dụng và đào tạo tác nhân", Prince nói.
Trong khi Cloudflare cung cấp một số sản phẩm để giúp người dùng khởi chạy hệ thống AI của riêng họ, công ty cũng đã phát hành một loạt công cụ giúp các nhà xuất bản có nhiều quyền kiểm soát hơn đối với nội dung của họ trong kỷ nguyên AI.
Trong những năm gần đây, Cloudflare đã tung ra các công cụ để chống lại các bot AI, bao gồm cả một thị trường cho phép các trang web tính phí các bot AI để thu thập dữ liệu, được gọi là Pay Per Crawl.
Công ty cho biết, công cụ này hiện cũng đang phát triển thành "Trả tiền cho mỗi lần sử dụng", điều này sẽ cho phép các nhà xuất bản tính phí AI các công ty khi nội dung của họ tạo ra giá trị, không chỉ khi nó được tìm nạp.
Thay đổi này cũng có thể giúp tiết kiệm băng thông và tài nguyên tính toán của nhà xuất bản cho các nhà cung cấp mô hình AI, vì dữ liệu của Cloudflare cho thấy rằng hơn 50% lưu lượng thu thập dữ liệu từ trình thu thập dữ liệu AI được dành để tìm nạp lại các trang không thay đổi.
Để thực hiện điều này, Cloudflare ban đầu đang làm việc với hai đối tác là Ceramic.ai và You.com. Cloudflare cho biết một phần nội dung cao cấp của họ.
Các công ty AI khác có thể tùy chỉnh mô hình này để phù hợp với cách họ hoạt động. bài viết, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ.
Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi. Cơ hội cuối cùng để tiết kiệm tới $190 tại Hội nghị thượng đỉnh dành cho người sáng lập TechCrunch.
Tham gia cùng hơn 1.000 nhà sáng lập và quỹ đầu tư mạo hiểm ở tất cả các giai đoạn để có được những hiểu biết sâu sắc và kết nối mở rộng quy mô trong thế giới thực. Tiết kiệm kết thúc vào ngày 26 tháng 6, 11:59 tối.
PT. Busy Bar mới của Flipper Device là một màn hình có thể tùy chỉnh để tăng năng suất Ivan Mehta Ford thuê lại các kỹ sư 'râu xám' sau khi AI thất bại Máy làm đá nugget thông minh của Anthony Ha Govee khiến mọi đồ uống có đá đều có cảm giác như một Aisha Malik sang trọng
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.