Apple ra mắt ToolSandbox: AI nguồn mở vẫn thua xa mô hình đóng

• Các nhà nghiên cứu tại Apple đã giới thiệu ToolSandbox, một tiêu chuẩn đánh giá mới nhằm đánh giá toàn diện hơn khả năng của các trợ lý AI trong thế giới thực.

• ToolSandbox bao gồm 3 yếu tố quan trọng thường thiếu trong các tiêu chuẩn đánh giá khác: tương tác có trạng thái, khả năng hội thoại và đánh giá động.

• Tiêu chuẩn mới này nhằm mô phỏng các tình huống thực tế chặt chẽ hơn. Ví dụ, nó có thể kiểm tra xem một trợ lý AI có hiểu rằng cần bật dịch vụ di động của thiết bị trước khi gửi tin nhắn văn bản hay không.

• Các nhà nghiên cứu đã thử nghiệm nhiều mô hình AI khác nhau bằng ToolSandbox, cho thấy khoảng cách đáng kể về hiệu suất giữa các mô hình độc quyền và nguồn mở.

• Phát hiện này thách thức các báo cáo gần đây cho rằng AI nguồn mở đang nhanh chóng bắt kịp các hệ thống độc quyền.

• Nghiên cứu của Apple cho thấy ngay cả các trợ lý AI tiên tiến nhất cũng gặp khó khăn với các tác vụ phức tạp liên quan đến phụ thuộc trạng thái, chuẩn hóa và các tình huống thiếu thông tin.

• Thú vị là nghiên cứu phát hiện ra rằng các mô hình lớn hơn đôi khi hoạt động kém hơn các mô hình nhỏ hơn trong một số tình huống nhất định, đặc biệt là những tình huống liên quan đến phụ thuộc trạng thái.

• Việc giới thiệu ToolSandbox có thể có tác động sâu rộng đến việc phát triển và đánh giá các trợ lý AI. Bằng cách cung cấp môi trường kiểm tra thực tế hơn, nó có thể giúp các nhà nghiên cứu xác định và giải quyết các hạn chế chính trong các hệ thống AI hiện tại.

• Nhóm nghiên cứu đã thông báo rằng khung đánh giá ToolSandbox sẽ sớm được phát hành trên Github, mời cộng đồng AI rộng lớn hơn xây dựng và tinh chỉnh công trình quan trọng này.

• Mặc dù các phát triển gần đây trong AI nguồn mở đã tạo ra sự phấn khích về việc dân chủ hóa quyền truy cập vào các công cụ AI tiên tiến, nghiên cứu của Apple nhắc nhở rằng vẫn còn những thách thức đáng kể trong việc tạo ra các hệ thống AI có khả năng xử lý các tác vụ phức tạp trong thế giới thực.

📌 Apple giới thiệu ToolSandbox, tiêu chuẩn đánh giá mới cho trợ lý AI. Kết quả cho thấy khoảng cách lớn giữa mô hình độc quyền và nguồn mở. Các mô hình lớn hơn không phải lúc nào cũng hoạt động tốt hơn trong các tác vụ phức tạp. ToolSandbox sẽ sớm được phát hành trên Github để cộng đồng AI tiếp tục phát triển.

https://venturebeat.com/ai/apple-toolsandbox-reveals-open-source-ai-behind-proprietary-models/