Google Cloud ra mắt dịch vụ đánh giá AI tạo sinh giúp doanh nghiệp chọn LLM phù hợp

• Google Cloud đã giới thiệu dịch vụ đánh giá AI tạo sinh mới trên nền tảng Vertex AI, nhằm giúp doanh nghiệp xác định liệu một mô hình ngôn ngữ lớn (LLM) có phù hợp cho một trường hợp sử dụng cụ thể hay không.

• Dịch vụ này cũng hiệu quả trong việc hạn chế ảo giác - những phản hồi hoặc kết quả sai lệch mà LLM có thể tạo ra khi đầu vào trở nên phức tạp.

• Dịch vụ cung cấp hai chức năng chính: Đánh giá điểm (Pointwise) và Đánh giá cặp (Pairwise).

• Đánh giá điểm giúp người dùng hiểu mô hình hoạt động tốt như thế nào cho trường hợp sử dụng cụ thể của họ. Nó có hai chế độ:
  - Chế độ nhanh: cho phép người dùng tinh chỉnh chất lượng prompt thông qua quy trình tương tác thời gian thực.
  - Chế độ pipeline: cho phép đánh giá kỹ lưỡng hơn bằng cách sử dụng bộ dữ liệu ground truth lớn hơn.

• Đánh giá cặp giúp so sánh hai mô hình với nhau, sử dụng cả phương pháp dựa trên autorater và dựa trên ground truth.

• Google sử dụng các mô hình LLM độc quyền như Gemini hoặc PaLM làm autorater để đánh giá.

• Dịch vụ này có thể giúp doanh nghiệp tránh các lỗi kinh doanh tốn kém do sử dụng mô hình chưa được kiểm tra kỹ lưỡng.

• Mục tiêu dài hạn của dịch vụ là hỗ trợ đánh giá trong toàn bộ vòng đời phát triển AI tạo sinh, từ lựa chọn mô hình nền tảng đến tùy chỉnh.

• Các đối thủ cạnh tranh của Google như AWS và Microsoft cũng đang cung cấp các công cụ đánh giá AI tạo sinh tương tự:
  - AWS cung cấp khả năng đánh giá mô hình trong Amazon Bedrock và thư viện đánh giá LLM mã nguồn mở FMEval.
  - Microsoft cung cấp tính năng đánh giá hiệu suất mô hình trong Azure AI Studio.

📌 Google Cloud ra mắt dịch vụ đánh giá AI tạo sinh mới trên Vertex AI, giúp doanh nghiệp chọn LLM phù hợp và hạn chế ảo giác. Dịch vụ cung cấp đánh giá điểm và cặp, sử dụng autorater như Gemini. AWS và Microsoft cũng có công cụ tương tự trên nền tảng của họ.

https://www.infoworld.com/article/3483406/what-is-google-clouds-generative-ai-evaluation-service.html