- QwQ-32B-Preview là một mô hình AI lý luận mới được phát triển bởi đội ngũ Qwen của Alibaba, ra mắt vào ngày 27 tháng 11 năm 2024.
- Mô hình sở hữu 32.5 tỷ tham số, cho phép xử lý các văn bản dài lên đến khoảng 32.000 từ.
- Được thử nghiệm, QwQ-32B-Preview ghi điểm tốt hơn so với các mô hình lý luận o1-preview và o1-mini của OpenAI trong một số bài kiểm tra như AIME và MATH.
- AIME sử dụng các mô hình AI khác để đánh giá hiệu suất, trong khi MATH là tập hợp các bài toán từ vựng.
- QwQ-32B-Preview có khả năng giải quyết các câu đố logic và các bài toán toán học khá khó nhờ vào khả năng lý luận của nó.
- Mặc dù hiệu suất ấn tượng, mô hình cũng gặp một số vấn đề như chuyển ngôn ngữ không mong muốn, bị kẹt trong các vòng lặp và kém hiệu quả trong các tác vụ cần lý luận thường thức.
- QwQ-32B-Preview có điểm nổi bật là khả năng tự kiểm tra tính chính xác của thông tin, điều này giúp tránh được nhiều vấn đề mà các mô hình AI thông thường gặp phải, mặc dù thời gian xử lý có thể lâu hơn.
- Mô hình này có sẵn để tải xuống và sử dụng trên nền tảng phát triển AI Hugging Face, nhưng chỉ một số thành phần của nó được công khai, khiến việc tái tạo hoặc hiểu rõ cách hoạt động bên trong không khả thi.
- QwQ-32B-Preview rơi vào giữa mức độ mở, cho phép ứng dụng thương mại nhưng không hoàn toàn công khai các yếu tố chính của mô hình.
- Sự chú ý ngày càng tăng vào các mô hình lý luận xảy ra trong bối cảnh nhiều lý thuyết về quy luật mở rộng đang bị xem xét lại, với các báo cáo cho thấy rằng sự cải tiến hiệu suất ở một số phòng lab AI lớn đang chững lại.
- Các tổ chức lớn ngoài OpenAI và các công ty Trung Quốc như Google đã bắt đầu mở rộng nỗ lực phát triển các mô hình lý luận và công nghệ tính toán thêm vào thời điểm kiểm tra.
📌 QwQ-32B-Preview của Alibaba, với 32.5 tỷ tham số, vượt trội hơn OpenAI ở nhiều bài kiểm tra, mặc dù vẫn gặp một số hạn chế trong lý luận thông thường. Mô hình có sẵn trên Hugging Face với giấy phép Apache 2.0 cho ứng dụng thương mại.
https://techcrunch.com/2024/11/27/alibaba-releases-an-open-challenger-to-openais-o1-reasoning-model/