Google Deepmind ra mắt công cụ kiểm tra tính xác thực cho ChatGPT và các mô hình ngôn ngữ lớn

- Google DeepMind giới thiệu SAFE (Search-Augmented Factuality Evaluator), một hệ thống dựa trên AI để kiểm tra tính xác thực của nội dung do các mô hình ngôn ngữ lớn (LLM) như ChatGPT tạo ra.
- SAFE giải quyết vấn đề thiếu chính xác của nội dung do LLM tạo ra, vốn thường đòi hỏi phải kiểm tra thủ công.
- SAFE sử dụng một LLM để phân tích các câu trả lời thành từng thông tin riêng lẻ, sau đó kiểm tra chéo với kết quả tìm kiếm để xác minh tính xác thực, tương tự như quy trình kiểm tra thông tin của con người.
- Qua thử nghiệm trên khoảng 16.000 khẳng định từ nhiều LLM, SAFE có sự đồng thuận 72% với đánh giá của con người. Trong các trường hợp bất đồng, SAFE chính xác hơn 76% so với người đánh giá.
- DeepMind công khai mã nguồn của SAFE trên GitHub để cộng đồng AI có thể sử dụng rộng rãi khả năng kiểm tra tính xác thực này.
- SAFE sử dụng LLM như GPT-4 để chia nhỏ câu trả lời thành từng thông tin, sau đó gửi truy vấn tìm kiếm đến Google Search để xác định tính chính xác dựa trên kết quả tìm kiếm.
- DeepMind đề xuất mở rộng chỉ số F1 như một chỉ số tổng hợp để đánh giá tính xác thực của nội dung dài, cân bằng giữa độ chính xác (tỷ lệ thông tin được hỗ trợ) và độ bao phủ (độ dài mong muốn của câu trả lời).
- Thử nghiệm cho thấy các tác nhân LLM có khả năng đạt hiệu suất vượt trội so với con người trong việc kiểm tra tính xác thực. SAFE phù hợp 72% với người chú thích và chính xác hơn 76% trong 100 trường hợp gây tranh cãi.
- SAFE hiệu quả hơn 20 lần so với người chú thích trong khi vẫn duy trì hiệu suất mạnh mẽ, là một giải pháp tiết kiệm chi phí.
- So sánh trên 13 mô hình ngôn ngữ cho thấy mối tương quan giữa kích thước mô hình và hiệu suất tính xác thực, với các mô hình lớn hơn thường vượt trội hơn.

📌 Google DeepMind giới thiệu SAFE, một hệ thống dựa trên AI để kiểm tra tính xác thực của nội dung do các mô hình ngôn ngữ lớn (LLM) như ChatGPT tạo ra. Với khả năng kiểm tra tính xác thực vượt trội 76% so với con người và hiệu quả gấp 20 lần, SAFE hứa hẹn nâng cao đáng kể độ tin cậy và khả năng ứng dụng của nội dung do AI tạo ra, đồng thời tiết kiệm chi phí so với đánh giá thủ công.

https://www.techtimes.com/articles/303080/20240330/google-deepmind-develops-ai-fact-checker-llms-safe.htm