Mô hình ChatGLM của Trung Quốc vượt trội GPT-4 trên nhiều bài kiểm tra

- Bài báo nghiên cứu gần đây cho biết mô hình ngôn ngữ ChatGLM mới nhất của Đại học Thanh Hoa và Zhipu AI đạt hoặc vượt trội hơn GPT-4 trên nhiều bài kiểm tra và tác vụ.
- Mô hình GLM-4 được tiền huấn luyện trên 10 nghìn tỷ token dữ liệu đa ngôn ngữ và được tinh chỉnh thêm bằng kỹ thuật học có giám sát và học tăng cường từ phản hồi của con người.
- Trên các bài kiểm tra học thuật tiếng Anh chuẩn về kiến thức, toán, lập luận và lập trình, GLM-4 đạt hiệu suất tương đương GPT-4 và các mô hình tiên tiến khác như Gemini 1.5 Pro và Claude 3 Opus. GLM-4 đạt 83,3% trên MMLU (so với 86,4% của GPT-4), 93,3% trên GSM8K (so với 92,0%) và 84,7% trên bộ BIG-Bench khó (so với 83,1%).
- Về khả năng tuân theo hướng dẫn bằng cả tiếng Anh và tiếng Trung, GLM-4 ngang bằng GPT-4 Turbo theo bài đánh giá IFEval. Trên bài đánh giá AlignBench về sự phù hợp ngôn ngữ tiếng Trung trên các lĩnh vực như toán, logic và kiến thức chuyên môn, GLM-4 vượt trội hơn GPT-4 và các mô hình khác.
- Phiên bản GLM-4 All Tools có thể tự động sử dụng các công cụ bên ngoài như trình duyệt web, trình thông dịch Python và mô hình chuyển văn bản thành hình ảnh để hoàn thành các tác vụ phức tạp nhiều bước. Nó ngang bằng và trong một số trường hợp còn vượt trội hơn GPT-4 All Tools về khả năng thu thập thông tin và giải quyết vấn đề toán học.
- Đại học Thanh Hoa đã mở mã nguồn nhiều mô hình GLM, với hơn 10 triệu lượt tải xuống trong năm 2023. Nhóm nghiên cứu dự định tiếp tục cải thiện khả năng của mô hình đồng thời thúc đẩy truy cập mở vào các công nghệ AI ngôn ngữ tiên tiến.

📌 Mô hình ChatGLM của Trung Quốc đã vượt trội GPT-4 trên nhiều bài kiểm tra chuẩn, đặc biệt là về khả năng tuân theo hướng dẫn và sự phù hợp ngôn ngữ tiếng Trung. GLM-4 được tiền huấn luyện trên 10 nghìn tỷ token dữ liệu đa ngôn ngữ và có thể tự động sử dụng các công cụ bên ngoài để hoàn thành tác vụ phức tạp. Đại học Thanh Hoa cam kết thúc đẩy truy cập mở vào công nghệ AI ngôn ngữ tiên tiến.

https://analyticsindiamag.com/chinese-built-chatglm-exceeds-gpt-4-across-several-benchmarks/