Ampere sắp tung CPU 256 nhân, liệu có đủ sức cạnh tranh GPU trong suy luận AI?
- Ampere Computing đang chuẩn bị ra mắt CPU AmpereOne-3 với 256 nhân, hứa hẹn mang lại hiệu năng suy luận AI gấp 3-4 lần so với thế hệ trước.
- Tuy nhiên, Nvidia cũng đang thu hẹp khoảng cách với GPU Blackwell B100 mới, cung cấp khả năng xử lý FP4 và hiệu năng suy luận gấp 5 lần.
- Trước đây, CPU Altra 80 nhân của Ampere Computing cho thấy hiệu năng suy luận trên đồng đô la ngang ngửa với GPU T4 của Nvidia, trừ hệ thống nhận dạng giọng nói tự động OpenAI Whisper.
- Khi GPT-4 ra mắt, việc suy luận yêu cầu 8-16 GPU để đạt thời gian phản hồi dưới 200 mili giây, hiện nay con số này là khoảng 32 GPU.
- Intel và IBM cũng đang bổ sung các đơn vị tính toán ma trận vào các bộ xử lý Xeon 5 (trước đây là Xeon SP) và Power10 tương ứng.
- Mặc dù xu hướng sử dụng GPU cho suy luận AI đang gia tăng, CPU vẫn đóng vai trò quan trọng trong các trung tâm dữ liệu doanh nghiệp chạy các mô hình AI quy mô vừa phải với hàng chục đến hàng trăm tỷ tham số.
📌 Ampere Computing đang chuẩn bị tung ra CPU 256 nhân AmpereOne-3, hứa hẹn cạnh tranh mạnh mẽ với GPU trong lĩnh vực suy luận AI. Tuy nhiên, Nvidia cũng đang thu hẹp khoảng cách với GPU Blackwell B100 mới, cung cấp hiệu năng suy luận gấp 5 lần. Mặc dù xu hướng sử dụng GPU ngày càng tăng, CPU vẫn giữ vai trò quan trọng trong các trung tâm dữ liệu doanh nghiệp với các mô hình AI quy mô vừa phải.
Citations:
[1] Ampere Readies 256-Core CPU Beast, Awaits The AI Inference Wave https://www.nextplatform.com/2024/04/16/ampere-readies-256-core-cpu-beast-awaits-the-ai-inference-wave/
Thảo luận
Follow Us
Tin phổ biến
