cuộc chiến dữ liệu web: ai sẽ thắng - các công ty ai hay chủ sở hữu trang web?

• Báo cáo mới từ Data Provenance Initiative chỉ ra rằng nhiều tổ chức cảm thấy bị đe dọa bởi AI tạo sinh đang có biện pháp ngăn chặn việc thu thập dữ liệu của họ.

• Robots.txt là một tệp máy đọc được mà các bot thu thập sử dụng để xác định có nên thu thập các phần nhất định của một trang web hay không. Gần đây, nhiều trang web đã bắt đầu sử dụng robots.txt để hạn chế bot, đặc biệt là các trang web kiếm tiền từ quảng cáo và paywall.

• Trong vòng chưa đầy một năm, khoảng 5% dữ liệu trong bộ dữ liệu C4 phổ biến đã bị thu hồi nếu tuân thủ các tùy chọn của các trang web cơ sở. Con số này tăng lên 25% đối với 2.000 trang web hàng đầu trong bộ dữ liệu.

• Sự phân bố dữ liệu huấn luyện cho các mô hình tôn trọng robots.txt đang nhanh chóng chuyển dịch từ các trang tin tức chất lượng cao, trang web học thuật, diễn đàn và mạng xã hội sang các trang web tổ chức và cá nhân cũng như thương mại điện tử và blog.

• Các công ty AI lớn có thể sẽ cấp phép dữ liệu trực tiếp hoặc đầu tư nhiều hơn vào việc thu thập dữ liệu liên tục từ các nguồn có giá trị do người dùng tạo ra như YouTube, GitHub và Reddit.

• Dữ liệu tổng hợp đang được các công ty lớn sử dụng với số lượng lớn. Nó có cả cơ hội và thách thức, bao gồm nguy cơ suy thoái mô hình do huấn luyện trên dữ liệu tổng hợp kém chất lượng.

• Vẫn còn nhiều dữ liệu chưa khai thác, nhưng phần lớn bị ẩn trong các tệp PDF, kênh độc quyền hoặc định dạng khó trích xuất. Các công ty sẽ đầu tư nhiều hơn vào việc tìm cách trích xuất dữ liệu này.

• Xu hướng hạn chế trong robots.txt và điều khoản dịch vụ dự kiến sẽ tiếp tục tăng, nhưng có thể bị ảnh hưởng bởi các yếu tố bên ngoài như luật pháp, chính sách công ty và áp lực cộng đồng.

• Cần có các tiêu chuẩn mới để cho phép người tạo nội dung thể hiện tùy chọn của họ về việc sử dụng dữ liệu một cách chi tiết hơn. Tuy nhiên, không rõ ai sẽ là người tạo ra hoặc thực thi các tiêu chuẩn này.

📌 Cuộc chiến dữ liệu web đang leo thang giữa các công ty AI và chủ sở hữu trang web. 25% dữ liệu từ 2.000 trang web hàng đầu đã bị hạn chế trong vòng 1 năm. Các công ty AI lớn có thể sẽ cấp phép dữ liệu trực tiếp hoặc tìm kiếm nguồn dữ liệu thay thế như dữ liệu tổng hợp, trong khi vẫn cần có tiêu chuẩn mới về quyền sử dụng dữ liệu.

Citations:
[1] https://ppl-ai-file-upload.s3.amazonaws.com/web/direct-files/131695/c712ee64-82b4-4d1b-9f76-7c735850c3ec/paste.txt

https://spectrum.ieee.org/web-crawling