Các công ty AI Trung Quốc đang "lách luật" thông minh để vượt qua lệnh cấm chip của Mỹ

• Các mô hình AI hàng đầu hiện nay phụ thuộc vào số lượng lớn GPU (đơn vị xử lý đồ họa) tiên tiến. Các công ty phương Tây dễ dàng tiếp cận GPU, như Meta dự định tích trữ 600.000 GPU H100 của Nvidia trước cuối năm nay.

• Tuy nhiên, các công ty công nghệ Trung Quốc khó tiếp cận GPU do lệnh cấm bán bộ xử lý hiệu năng cao của Mỹ từ tháng 10/2022. Thay vào đó, họ tập trung tối ưu hóa nguồn lực hạn chế.

• DeepSeek, một startup ở Hàng Châu, đã phát triển mô hình DeepSeek-v2.5 có hiệu suất ngang ngửa các mô hình nguồn mở hàng đầu trong lập trình và xử lý ngôn ngữ Anh-Trung. DeepSeek chỉ có khoảng 10.000 GPU cũ của Nvidia.

• DeepSeek sử dụng phương pháp "mixture of experts", chia mô hình thành nhiều mạng chuyên biệt cho từng vấn đề. Mô hình có 236 tỷ tham số nhưng chỉ sử dụng dưới 1/10 cho mỗi lần xử lý thông tin mới. Nó cũng nén dữ liệu đầu vào để xử lý hiệu quả hơn.

• MiniCPM, một mô hình nguồn mở của Đại học Thanh Hoa và startup ModelBest, có hiệu suất xử lý ngôn ngữ tương đương các mô hình lớn hơn dù chỉ có 2,4 tỷ và 1,2 tỷ tham số. MiniCPM cũng kết hợp phương pháp mixture-of-experts và nén dữ liệu đầu vào.

• Kích thước nhỏ giúp MiniCPM phù hợp cho thiết bị cá nhân. Phiên bản di động hỗ trợ đa ngôn ngữ và làm việc với nhiều loại dữ liệu như văn bản, hình ảnh, âm thanh.

• Các công ty phương Tây cũng đang thử nghiệm các phương pháp tương tự:
- FlashAttention-3 của Together.ai, Meta và Nvidia tối ưu hóa cho GPU H100 của Nvidia.
- JEST của Google DeepMind sử dụng dữ liệu chất lượng cao ban đầu trước khi mở rộng sang dữ liệu lớn hơn, chất lượng thấp hơn.
- Microsoft phát hành mô hình nhỏ Phi-3 mini với khoảng 4 tỷ tham số.

• Đối với các công ty Trung Quốc, việc tối ưu hóa hiệu quả là bắt buộc do hạn chế tiếp cận phần cứng. Tuy nhiên, điều này có thể mang lại lợi thế khi thúc đẩy cải tiến hiệu quả.

📌 Lệnh cấm chip của Mỹ đã thúc đẩy các công ty AI Trung Quốc đổi mới, tập trung vào tối ưu hóa phần mềm thay vì phần cứng. Các phương pháp như "mixture of experts", nén dữ liệu đã giúp mô hình nhỏ như DeepSeek-v2.5 và MiniCPM đạt hiệu suất cao. Xu hướng này cũng đang ảnh hưởng đến các công ty phương Tây.

https://www.economist.com/science-and-technology/2024/09/19/chinas-ai-firms-are-cleverly-innovating-around-chip-bans