AI chips-hardware-compute

View All
Jensen Huang, CEO Nvidia chia sẻ về vấn đề ảo giác AI, nhu cầu điện toán tăng vọt

- Jensen Huang, CEO Nvidia nhận định ngành công nghiệp cần vài năm nữa mới có thể giải quyết vấn đề ảo giác AI - hiện tượng AI tạo ra thông tin sai để lấp đầy khoảng trống kiến thức

- Nhu cầu điện toán AI tăng gấp 4 lần mỗi năm. Trong 10 năm, con số này đã tăng 1 triệu lần, góp phần đẩy cổ phiếu Nvidia tăng 300 lần

- Huang chia sẻ 3 lĩnh vực phát triển AI hiện nay:
  + Pre-training: AI tiếp nhận và khám phá kiến thức từ dữ liệu toàn cầu
  + Post-training: AI đào sâu kỹ năng cụ thể thông qua học tăng cường
  + Test time scaling: AI "suy nghĩ" để giải quyết vấn đề theo từng bước

- Đóng góp lớn nhất của Nvidia là giảm chi phí điện toán xuống 1 triệu lần trong 10 năm qua, giúp machine learning phát triển mạnh mẽ

- Câu chuyện thú vị về cách Huang theo đuổi vợ:
  + Gặp vợ khi mới 17 tuổi (vợ 19 tuổi)
  + Dùng chiêu bài "làm bài tập cùng nhau mỗi chủ nhật"
  + Hứa sẽ trở thành CEO lúc 30 tuổi để thuyết phục vợ kết hôn

📌 Nvidia đã giảm chi phí điện toán AI 1 triệu lần trong 10 năm qua nhưng vẫn cần vài năm nữa để giải quyết vấn đề ảo giác AI. Jensen Huang thành công trong cả sự nghiệp lẫn tình yêu nhờ tầm nhìn xa và chiến lược thông minh.

https://www.tomshardware.com/tech-industry/artificial-intelligence/jensen-says-we-are-several-years-away-from-solving-the-ai-hallucination-problem-in-the-meantime-we-have-to-keep-increasing-our-computation

Phương pháp mới có thể giảm 95% năng lượng tiêu thụ cho ứng dụng AI, nhưng cần phần cứng chuyên dụng mới

- BitEnergy AI giới thiệu phương pháp tính toán mới có tên Linear-complexity multiplication, có khả năng giảm 95% năng lượng tiêu thụ cho các ứng dụng AI

- Phương pháp này thay thế cách tính nhân dấu phẩy động (floating-point multiplication - FPM) truyền thống bằng phép cộng số nguyên

- FPM hiện được sử dụng phổ biến trong AI vì cho phép xử lý số liệu rất lớn hoặc rất nhỏ với độ chính xác cao, tuy nhiên tiêu tốn nhiều năng lượng nhất trong quá trình xử lý AI

- Theo các nhà nghiên cứu, phương pháp mới không ảnh hưởng đến hiệu suất của ứng dụng AI

- Thách thức lớn nhất là phương pháp này đòi hỏi phần cứng khác với hiện tại. Các ứng dụng AI hiện nay chạy trên phần cứng được tối ưu hóa cho tính toán dấu phẩy động như GPU của Nvidia

- Đội nghiên cứu cho biết phần cứng cần thiết đã được thiết kế, chế tạo và thử nghiệm, nhưng vẫn cần được cấp phép và chưa rõ khi nào sẽ có mặt trên thị trường

- Dữ liệu cho thấy riêng ChatGPT tiêu thụ khoảng 564 MWh điện mỗi ngày, đủ cung cấp cho 18.000 hộ gia đình Mỹ

- Các chuyên gia dự đoán trong vài năm tới, các ứng dụng AI có thể tiêu thụ khoảng 100 TWh điện hàng năm, tương đương với ngành đào Bitcoin

📌 BitEnergy AI phát triển phương pháp Linear-complexity multiplication giúp giảm 95% năng lượng tiêu thụ cho AI. Tuy nhiên cần phần cứng chuyên dụng mới thay thế GPU hiện tại. ChatGPT hiện tiêu thụ 564 MWh điện/ngày và dự kiến toàn ngành AI sẽ tiêu thụ 100 TWh điện/năm trong tương lai gần.

https://www.techradar.com/pro/this-new-method-could-reduce-the-energy-needs-of-ai-applications-by-95

Kế hoạch tham vọng của Amazon: Chi 8 tỷ USD đầu tư vào chip AI để cạnh tranh với Nvidia

- Amazon đang nỗ lực giành thị phần trong thị trường chip AI trị giá hơn 100 tỷ USD do Nvidia thống trị

- Tại phòng thí nghiệm ở Austin, Texas, đội ngũ kỹ sư Amazon đang phát triển thế hệ chip AI mới nhất - Trainium2

- Rami Sinno, kỹ sư gốc Lebanon, đang chịu trách nhiệm thiết kế và thử nghiệm chip, với mục tiêu đưa Trainium2 vào hoạt động ổn định trong các trung tâm dữ liệu vào cuối năm nay

- Amazon đã triển khai nhiều chip AI nhất trong số các nhà cung cấp điện toán đám mây lớn (AWS, Microsoft Azure, Google Cloud Platform)

- James Hamilton, phó chủ tịch cấp cao của Amazon, là người thuyết phục Jeff Bezos bắt đầu sản xuất chip từ 10 năm trước

- Amazon đã mua lại startup Annapurna Labs với giá 350 triệu USD vào năm 2015 để phát triển chip cho trung tâm dữ liệu

- Trainium2 có hiệu suất gấp 4 lần và bộ nhớ gấp 3 lần so với thế hệ trước

- Amazon đã bắt đầu chuyển Trainium2 đến các trung tâm dữ liệu ở Ohio, với kế hoạch kết nối thành cụm lên đến 100.000 chip

- Anthropic, đối tác của Amazon, đã nhận được khoản đầu tư 8 tỷ USD và cam kết sử dụng chip Trainium cho phát triển trong tương lai

- Thách thức lớn nhất là phát triển phần mềm Neuron SDK để dễ dàng sử dụng như bộ công cụ của Nvidia

📌 Amazon đang đẩy mạnh cuộc đua chip AI với Nvidia thông qua Trainium2 có hiệu suất gấp 4 lần thế hệ trước, đầu tư 8 tỷ USD vào Anthropic và mục tiêu kết nối 100.000 chip thành cụm. Tuy nhiên, họ cần cải thiện phần mềm Neuron SDK để thu hút khách hàng từ Nvidia.

 

https://www.bloomberg.com/news/features/2024-11-24/amazon-plans-to-rival-nvidia-with-its-own-ai-chips

Trung tâm dữ liệu cho AI có thể tiêu thụ điện hơn cả một thành phố

- Nhu cầu năng lượng của trung tâm dữ liệu phục vụ trí tuệ nhân tạo đang gia tăng mạnh mẽ, có thể vượt qua mức tiêu thụ điện của một số thành phố lớn tại Mỹ.
- Các nhà phát triển trung tâm dữ liệu cho biết năng lượng tiêu thụ của họ có thể đạt tới 1 gigawatt, tương đương với tiêu thụ điện hàng năm của khoảng 700.000 hộ gia đình.
- Thực tế hiện tại cho thấy năng lượng tái tạo chưa đủ để đáp ứng nhu cầu điện năng ngày càng tăng của các trung tâm dữ liệu, buộc phải sử dụng khí tự nhiên.
- Các công ty như Amazon Web Services tại Virginia đang yêu cầu một lượng điện năng tương đương với sản lượng của nhiều lò phản ứng hạt nhân.
- Họ cho rằng việc duy trì năng lượng ổn định cho trung tâm dữ liệu là vấn đề quan trọng, ảnh hưởng đến an ninh kinh tế và quốc gia.
- Trung tâm dữ liệu đang mở rộng ra ngoài Virginia vào các khu vực mới như Arizona và Nevada do hạn chế về đất đai và điện năng.
- Một trung tâm dữ liệu có công suất 1 gigawatt tương đương với tiêu thụ điện của thành phố khoảng 1,8 triệu dân.
- Các công ty công nghệ lớn đang chuyển hướng sang các nguồn năng lượng đáng tin cậy hơn như năng lượng hạt nhân để giảm phụ thuộc vào khí đốt tự nhiên.
- Mặc dù có sự chuyển hướng, nhưng việc xây dựng các nhà máy điện hạt nhân mới thường gặp khó khăn về chi phí và thời gian.
- Ngành công nghiệp đang hướng tới việc giảm thiểu tác động môi trường thông qua các công nghệ mới như lưu trữ năng lượng và thu hồi carbon.

📌 Nhu cầu năng lượng của trung tâm dữ liệu phục vụ trí tuệ nhân tạo hiện đang vượt qua mức tiêu thụ của nhiều thành phố, với công suất lên tới 1 gigawatt, trong khi năng lượng tái tạo không đủ đáp ứng. Các công ty đang phải dựa vào khí tự nhiên và tìm kiếm các giải pháp năng lượng bền vững hơn trong tương lai.

 

https://www.cnbc.com/2024/11/23/data-centers-powering-ai-could-use-more-electricity-than-entire-cities.html

Nhật Bản đầu tư 65 tỷ USD vào AI và chip, nhằm khôi phục vị thế công nghệ toàn cầu

- Nhật Bản chuẩn bị gói đầu tư 10 nghìn tỷ yên (tương đương 65 tỷ USD) vào chip bán dẫn và AI, dự kiến được phê duyệt trong tuần này

- Gói đầu tư nhằm hai mục tiêu chính:
  + Lấy lại vị thế dẫn đầu công nghệ toàn cầu
  + Đối phó với thách thức từ dân số già và suy giảm

- SoftBank và Nvidia vừa công bố kế hoạch xây dựng "lưới AI" trên toàn quốc, bao gồm siêu máy tính sử dụng chip AI Blackwell mới nhất

- Microsoft cũng đã đầu tư vào Nhật Bản đầu năm nay, hợp tác với OpenAI

- Chính phủ cam kết hỗ trợ 4 nghìn tỷ yên để tăng gấp ba doanh số chip sản xuất trong nước vào năm 2030

- TSMC đã khai trương nhà máy chip trị giá 8,6 tỷ USD tại Nhật Bản vào tháng 2/2024 và lên kế hoạch xây dựng cơ sở thứ hai

- Thách thức chính là nguồn năng lượng:
  + Nhật Bản phụ thuộc nhiều vào nhiên liệu hóa thạch nhập khẩu
  + Các nhà máy chip và trung tâm dữ liệu AI tiêu thụ nhiều điện
  + Tại Đài Loan, TSMC chiếm 8% lượng điện tiêu thụ

- Luật bản quyền Nhật Bản thân thiện với AI, cho phép các công ty AI đào tạo trên dữ liệu có bản quyền

- Thủ tướng Shigeru Ishiba cam kết thu hút hơn 50 nghìn tỷ yên đầu tư công-tư trong 10 năm tới cho AI và chip

📌 Nhật Bản đang đặt cược lớn vào công nghệ với 65 tỷ USD cho AI và chip, nhưng đối mặt thách thức về năng lượng. TSMC đã đầu tư 8,6 tỷ USD vào nhà máy đầu tiên, trong khi luật pháp thân thiện với AI tạo môi trường thuận lợi cho phát triển công nghệ.

https://www.dawn.com/news/1873651

Nvidia đứng trước áp lực khi các mô hình AI đối mặt với "bức tường" kỹ thuật

- Hội nghị thượng đỉnh về an toàn AI mới nhất đang diễn ra tại San Francisco, cùng với cuộc họp đầu tiên của Mạng lưới quốc tế các viện an toàn AI

- Các chuyên gia trong ngành AI đang thảo luận về sự chậm lại trong phát triển công nghệ, đặc biệt là trong việc huấn luyện mô hình ngôn ngữ lớn (LLM)

- Ilya Sutskever, đồng sáng lập OpenAI, nhận định kết quả huấn luyện AI đã đạt đến điểm bão hòa

- Các phòng thí nghiệm AI lớn như Google và Anthropic đang gặp khó khăn trong việc phát triển mô hình vượt trội hơn GPT-4 của OpenAI

- Các nhà sáng lập Andreessen Horowitz cũng ghi nhận sự suy giảm trong khả năng cải thiện của các mô hình AI

- Vấn đề cơ sở hạ tầng đang nổi lên: thiếu chip, thiếu năng lượng và khó khăn trong việc làm mát thiết bị

- Nvidia báo cáo khách hàng lo ngại về tình trạng quá nhiệt của GPU Blackwell khi kết nối thành cụm để cải thiện việc huấn luyện AI

- Cổ phiếu Nvidia đã tăng 190% trong năm nay, thu hút sự chú ý đặc biệt của nhà đầu tư

- Sam Altman, CEO OpenAI, phủ nhận việc AI đang chậm lại, khẳng định "không có bức tường nào"

- Eric Schmidt, cựu CEO Google, dự đoán sẽ có 2-3 bước tiến mới trong phát triển các mô hình lớn trong 5 năm tới

📌 Ngành công nghiệp AI đang đối mặt với thách thức kỹ thuật nghiêm trọng. Cổ phiếu Nvidia tăng 190% năm 2024 nhưng đang chịu áp lực lớn. Các công ty công nghệ lớn gặp khó trong việc cải thiện mô hình AI do hạn chế về hạ tầng và kỹ thuật.

https://www.thetimes.com/business-money/companies/article/all-eyes-on-nvidia-as-the-race-to-build-next-ai-model-hits-a-wall-vdwpnh582

NVIDIA tiết lộ công nghệ AI đột phá có thể thay đổi tương lai khoa học tại SC24

- Jensen Huang, CEO NVIDIA tuyên bố tại SC24 về vai trò quan trọng của siêu máy tính trong các đột phá khoa học và mở rộng tri thức nhân loại

- NVIDIA đã giảm chi phí điện toán xuống 1 triệu lần kể từ khi ra mắt CUDA năm 2006

- Công ty giới thiệu thư viện cuPyNumeric mới - phiên bản GPU tăng tốc của NumPy cho khoa học dữ liệu và học máy

- NVIDIA Omniverse Blueprint ra mắt quy trình tham chiếu giúp phát triển digital twin tương tác thời gian thực, tăng tốc mô phỏng lên đến 1.200 lần

- Công nghệ CUDA-Q hợp tác với Google giúp giảm thời gian tính toán mô phỏng lượng tử từ nhiều tuần xuống còn vài phút

- BioNeMo Framework nguồn mở tăng tốc huấn luyện gấp 2 lần trong phát triển thuốc

- DiffDock 2.0 nhanh hơn 6 lần so với phiên bản cũ trong dự đoán liên kết thuốc-protein

- Microservice ALCHEMI NIM ứng dụng AI tạo sinh trong hóa học để thiết kế và đánh giá vật liệu mới

- Earth-2 với hai microservice mới CorrDiff NIM và FourCastNet NIM tăng tốc mô hình hóa khí hậu lên 500 lần

- Hợp tác với Foxconn mở rộng sản xuất tại Mỹ, Mexico và Đài Loan

- GPU H200 NVL tăng tốc suy luận mô hình ngôn ngữ lớn lên 1,7 lần

- GB200 Grace Blackwell NVL4 Superchip tích hợp 4 GPU Blackwell, hiệu năng tăng gấp 2 lần, dự kiến ra mắt nửa sau 2025

📌 NVIDIA định hình lại tương lai khoa học với loạt đột phá công nghệ AI: tăng tốc mô phỏng lên 1.200 lần, giảm thời gian tính toán lượng tử từ tuần xuống phút, tăng tốc dự báo khí hậu 500 lần. Foxconn sẽ mở rộng sản xuất tại 3 quốc gia, GB200 Superchip mới có hiệu năng gấp đôi sẽ ra mắt 2025.

https://blogs.nvidia.com/blog/supercomputing-24/

Không chỉ trung tâm dữ liệu - Hạ tầng mạng cho AI cần được nâng cấp khẩn cấp với chi phí khổng lồ

- Làn sóng sử dụng AI sắp tới sẽ tạo áp lực lên khả năng mạng quốc gia, không chỉ ảnh hưởng đến trung tâm dữ liệu và lưới điện

- Thị trường mạng trung tâm dữ liệu toàn cầu trị giá 34,61 tỷ USD dự kiến đạt 118,94 tỷ USD vào năm 2033

- Đầu tư của doanh nghiệp vào switch trung tâm dữ liệu AI dự kiến tăng từ 127,2 triệu USD năm 2024 lên 1 tỷ USD vào năm 2027

- XAI của Elon Musk đã xây dựng cụm siêu máy tính với 100.000 GPU Nvidia tại Memphis chỉ trong 122 ngày

- Switch sẵn sàng cho AI có giá cao gấp 5 lần so với switch trung tâm dữ liệu truyền thống

- Nvidia cung cấp nền tảng mạng InfiniBand để di chuyển dữ liệu lớn giữa các GPU Nvidia

- Microsoft và Amazon đã chi hàng tỷ USD để xây dựng trung tâm dữ liệu riêng với GPU và mạng sẵn sàng cho AI

- Lumen đã ký thỏa thuận 5 tỷ USD để cung cấp kết nối cáp quang cho trung tâm dữ liệu AI của Microsoft

- Các công ty lớn sẽ bắt đầu xây dựng trung tâm dữ liệu riêng để huấn luyện và vận hành AI trong vài năm tới

- Infosys đã có cụm GPU riêng để xây dựng và huấn luyện các mô hình AI nhỏ và trung bình

📌 Nhu cầu nâng cấp hạ tầng mạng cho AI đang tăng mạnh với dự báo đạt 118,94 tỷ USD vào 2033. Các công ty công nghệ lớn đã đầu tư hàng tỷ USD, trong khi chi phí thiết bị mạng AI cao gấp 5 lần thiết bị thông thường. Xu hướng xây dựng trung tâm dữ liệu AI riêng sẽ tiếp tục tăng trong những năm tới.

https://www.wsj.com/articles/it-isnt-just-data-centersais-plumbing-needs-an-upgrade-2571425d

#WSJ

Cerebras phá vỡ kỷ lục thế giới: Tốc độ xử lý AI nhanh hơn 700 lần so với siêu máy tính mạnh nhất

- Cerebras đã đạt được thành tích vượt trội trong việc xử lý suy luận mô hình Llama-3.1 405B, tạo ra 970 token mỗi giây

- Hiệu năng của Cerebras cao hơn:
  + 12 lần so với GPU nhanh nhất
  + 6 lần so với đối thủ SambaNova
  + Gấp đôi tốc độ của GPU cloud khi chạy mô hình 1B

- Chi phí xử lý:
  + 6 USD/triệu token đầu vào 
  + 12 USD/triệu token đầu ra
  + Giá một hệ thống CS3: 2-3 triệu USD

- Ưu điểm công nghệ:
  + Sử dụng bộ nhớ SRAM trên chip
  + Băng thông bộ nhớ cao hơn 7.000 lần so với Nvidia H100
  + Độ trễ token đầu tiên chỉ bằng 1/2 so với Google Vertex

- Trong lĩnh vực mô phỏng động học phân tử:
  + Đạt 1,2 triệu bước mô phỏng/giây
  + Nhanh hơn 700 lần so với siêu máy tính Frontier
  + Rút ngắn thời gian mô phỏng từ 2 năm xuống còn 1 ngày

📌 Cerebras đã tạo ra bước đột phá với tốc độ xử lý 970 token/giây cho mô hình Llama-3.1 405B, nhanh hơn 12 lần so với GPU và 700 lần so với siêu máy tính Frontier trong mô phỏng động học phân tử. Công nghệ này mở ra tiềm năng mới cho AI đa tác vụ và suy luận chuỗi.

https://www.forbes.com/sites/karlfreund/2024/11/18/cerebras-now-the-fastest-llm-inference-processor--its-not-even-close

Thuế quan chip Đài Loan của Trump có thể gây tổn thất hàng tỷ USD cho ngành AI

- Tổng thống đắc cử Donald Trump đề xuất áp thuế quan lên hàng nhập khẩu, đặc biệt là chip từ Đài Loan thay vì thực hiện CHIPS Act

- Trump chỉ trích CHIPS Act - đạo luật được Biden ký năm 2022 nhằm đưa sản xuất bán dẫn về Mỹ là "rất tệ"

- Mức thuế dự kiến:
  + 10-20% cho tất cả hàng nhập khẩu
  + 60% cho hàng hóa từ Trung Quốc
  + Chưa công bố mức thuế cụ thể cho chip Đài Loan

- Thống kê năm 2021:
  + 44% chip logic nhập khẩu vào Mỹ đến từ Đài Loan
  + Nếu gián đoạn sản xuất, giá chip logic có thể tăng tới 59%

- Tác động tiềm tàng:
  + Ảnh hưởng đến biên lợi nhuận của Nvidia và AMD
  + Chi phí có thể được chuyển cho người tiêu dùng cuối
  + TSMC đang xây nhà máy ở Arizona, thuế quan có thể làm phức tạp thêm tiến trình

- Ý kiến chuyên gia:
  + Dan Newman (CEO Futurum Group): Trump khó thực hiện chính sách gây tổn hại kinh tế
  + Lori Yue (Đại học Columbia): Khả năng cao Trump sẽ áp thuế chip
  + Việc nới lỏng quy định AI dưới thời Trump có thể bù đắp tác động từ tăng giá
  
- Các công ty có thể chuyển sang sử dụng cơ sở sản xuất của Intel tại Mỹ

📌 Chính sách thuế quan chip Đài Loan của Trump có thể làm tăng 59% giá chip logic, ảnh hưởng trực tiếp đến 44% nguồn cung chip của Mỹ. Điều này tác động mạnh đến ngành AI và các "gã khổng lồ" như Nvidia, AMD, buộc họ tìm kiếm nguồn cung thay thế từ Intel.

https://finance.yahoo.com/news/how-the-trump-tariffs-on-taiwan-chips-could-hurt-the-ai-trade--and-the-likes-of-nvidia-153010013.html

GPU Blackwell của Nvidia gặp vấn đề quá nhiệt nghiêm trọng, buộc phải thiết kế lại giá đỡ máy chủ

- GPU Blackwell thế hệ mới của Nvidia đang đối mặt với vấn đề quá nhiệt nghiêm trọng khi lắp đặt trong giá đỡ máy chủ công suất cao

- Theo nguồn tin nội bộ, các GPU này gặp vấn đề khi sử dụng trong máy chủ chứa 72 bộ xử lý, với mức tiêu thụ điện lên đến 120kW mỗi giá đỡ

- Nvidia đã phải nhiều lần đánh giá lại thiết kế giá đỡ máy chủ do tình trạng quá nhiệt ảnh hưởng đến hiệu suất GPU và có nguy cơ gây hỏng linh kiện

- Công ty đã yêu cầu các nhà cung cấp thực hiện nhiều thay đổi về thiết kế để khắc phục vấn đề quá nhiệt

- Trước đó, Nvidia đã phải trì hoãn sản xuất Blackwell do lỗi thiết kế ảnh hưởng đến năng suất

- GPU B100 và B200 sử dụng công nghệ đóng gói CoWoS-L của TSMC để kết nối hai chiplet, hỗ trợ tốc độ truyền dữ liệu lên đến 10 TB/giây

- Sự không phù hợp về đặc tính giãn nở nhiệt giữa các chiplet GPU, cầu nối LSI và các thành phần khác dẫn đến biến dạng và lỗi hệ thống

- Phiên bản cuối cùng của GPU Blackwell mới bắt đầu sản xuất hàng loạt vào cuối tháng 10/2023

- Các khách hàng lớn như Google, Meta và Microsoft sử dụng GPU của Nvidia để huấn luyện các mô hình ngôn ngữ lớn mạnh nhất

📌 GPU Blackwell của Nvidia gặp khủng hoảng quá nhiệt với mức tiêu thụ 120kW/giá đỡ, buộc phải thiết kế lại nhiều lần và trì hoãn sản xuất từ tháng 10/2023, ảnh hưởng nghiêm trọng đến kế hoạch của các khách hàng lớn như Google, Meta, Microsoft.

https://www.tomshardware.com/pc-components/gpus/nvidias-data-center-blackwell-gpus-reportedly-overheat-require-rack-redesigns-and-cause-delays-for-customers

Trung tâm dữ liệu AI sẽ đòi hỏi đầu tư khổng lồ 100 tỷ USD từ 2027

- CEO Anthropic Dario Amodei dự báo quy mô đầu tư trung tâm dữ liệu AI sẽ tăng mạnh trong các năm tới
  
- Hiện tại, các công ty AI hàng đầu đang vận hành ở quy mô khoảng 1 tỷ USD

- Dự kiến đầu tư sẽ tăng lên vài tỷ USD trong năm 2025, trên 10 tỷ USD năm 2026 và đạt 100 tỷ USD từ năm 2027

- OpenAI đã công khai kế hoạch xây dựng trung tâm dữ liệu 100 tỷ USD với công suất 5GW, diện tích 2.787.100m2 và 2 triệu GPU

- Microsoft sẽ thuê trung tâm dữ liệu 1GW tại Texas do Crusoe xây dựng và Oracle sử dụng

- Anthropic đã huy động được 2,3 tỷ USD từ Google và 4 tỷ USD từ AWS

- AWS đang xem xét đầu tư thêm 1 tỷ USD vào Anthropic và yêu cầu công ty sử dụng chip Trainium

- AWS hiện đang xây dựng khu trung tâm dữ liệu trị giá 10 tỷ USD tại Quận Madison, Mississippi

- AWS cam kết đầu tư 100 tỷ USD vào trung tâm dữ liệu trong thập kỷ tới

- OpenAI và Google nhận thấy có giới hạn về quy mô - việc tăng năng lực tính toán cùng dữ liệu và mạng lưới không phải lúc nào cũng dẫn đến mô hình tốt hơn

📌 Các công ty AI đang chạy đua đầu tư hạ tầng với quy mô chưa từng có: từ 1 tỷ USD hiện tại lên 100 tỷ USD vào 2027. AWS dẫn đầu với cam kết 100 tỷ USD trong 10 năm tới. Tuy nhiên, việc mở rộng quy mô đang gặp thách thức về hiệu quả và giới hạn kỹ thuật.

https://www.datacenterdynamics.com/en/news/anthropic-ceo-ai-training-data-centers-to-be-10bn-in-2026-100bn-from-2027/

Bí mật đằng sau sức mạnh của Nvidia: Từ hàng giờ xuống vài giây với tính toán song song

- Tại hội nghị khoa học dữ liệu ở Manhattan đầu tháng 11, gian hàng Nvidia thu hút đông đảo người quan tâm đến khả năng tính toán song song

- Nvidia sản xuất GPU (graphics processing units), các chip máy tính có khả năng xử lý nhiều tác vụ cùng lúc, khác với CPU thông thường chỉ xử lý từng tác vụ một

- Rick Ratzel, quản lý kỹ thuật của Nvidia đã thực hiện demo về khả năng xử lý dữ liệu của GPU:
  + Phân tích bộ dữ liệu đánh giá phim với 330.000 người dùng
  + Thời gian xử lý bằng CPU truyền thống: 2 giờ
  + Sau khi tối ưu hóa còn 1 giờ
  + Khi chuyển sang GPU: chỉ mất chưa đầy 2 giây

- Tính toán song song đã có từ thập niên 1980 nhưng gần đây mới phổ biến nhờ:
  + GPU dễ tiếp cận hơn thông qua các nhà cung cấp điện toán đám mây
  + Các nhà khoa học dữ liệu có thể thực hiện nhiều thử nghiệm hơn
  + Tiết kiệm thời gian đáng kể cho các dự án

- GPU của Nvidia đóng vai trò quan trọng trong:
  + Xây dựng và vận hành các mô hình AI như GPT-4 của OpenAI
  + Tối ưu hóa chuỗi cung ứng
  + Phát hiện gian lận trực tuyến
  + Quảng cáo internet phù hợp

📌 Nvidia đã trở thành công ty giá trị nhất thế giới nhờ công nghệ GPU cho phép tính toán song song, giúp rút ngắn thời gian xử lý dữ liệu từ hàng giờ xuống còn vài giây. Khả năng này đặc biệt quan trọng trong kỷ nguyên AI, khi việc xử lý khối lượng dữ liệu khổng lồ trở nên thiết yếu.

https://www.businessinsider.com/nvidia-gpus-cpus-parallel-computing-2024-11

Bi kịch ở Mexico: Khi người dân khát nước, Microsoft dùng nước để làm mát DC AI

• Thị trấn Colón với 67.000 dân đang phải đối mặt với hạn hán nghiêm trọng, 2 đập nước gần như cạn kiệt[1].

• Microsoft đã xây dựng trung tâm dữ liệu hyperscale đầu tiên tại Mexico, đầu tư hàng tỷ USD vào bang Querétaro.

• Các trung tâm dữ liệu cần lượng lớn nước sạch để làm mát thiết bị. Google tăng 20% lượng nước sử dụng năm 2022, Microsoft tăng 34%.

• Người dân địa phương phụ thuộc vào nước đóng chai và xe bồn chở nước. Một chủ nhà hàng phải vác nước từ nhà đến quán cách 8 ngày/lần.

Các công ty công nghệ không minh bạch về lượng nước sử dụng. Microsoft từ chối cung cấp thông tin, Amazon tuyên bố công nghệ không cần nước.

Dự án chỉ tạo ra 2.000 việc làm trực tiếp, chủ yếu dành cho người có bằng Thạc sĩ/Tiến sĩ từ Mexico City.

• Nông dân địa phương như ông Guadalupe Hernández không hiểu AI là gì nhưng biết rõ về bất bình đẳng nguồn nước khi mùa màng thiệt hại.

Chính phủ Mexico ưu tiên thu hút các công ty công nghệ nhưng thiếu minh bạch và trách nhiệm giải trình về tác động môi trường.

📌 Microsoft đầu tư tỷ USD vào trung tâm dữ liệu AI tại Mexico, tiêu thụ lượng nước lớn trong bối cảnh hạn hán nghiêm trọng. Người dân địa phương thiếu nước sinh hoạt và sản xuất, trong khi các công ty công nghệ không minh bạch về mức độ sử dụng nguồn nước công cộng.

 

https://inthesetimes.com/article/microsoft-ai-data-center-water-climate

150MW điện cho trung tâm dữ liệu AI khổng lồ xAI, cho phép vận hành đồng thời 100.000 GPU

- Tennessee Valley Authority đã phê duyệt cung cấp 150MW điện cho trung tâm dữ liệu xAI của Elon Musk vào đầu tháng 11, tăng gấp 20 lần so với nguồn cung ban đầu 8MW

- Trung tâm dữ liệu này được xây dựng trong thời gian kỷ lục 19 ngày, so với thông thường mất 4 năm theo CEO Nvidia Jensen Huang

- Để vận hành 100.000 GPU đồng thời, xAI cần khoảng 155MW điện. Mức yêu cầu 150MW được xem là khá thận trọng

- Memphis Light, Gas & Water (MLGW) đã nâng cấp trạm biến áp lên 50MW trong mùa hè, nhưng vẫn chưa đủ để vận hành toàn bộ GPU

- Luật sư Amanda Garcia từ Southern Environmental Law Center bày tỏ lo ngại về việc TVA phê duyệt mà không nghiên cứu kỹ tác động đến cộng đồng địa phương

- CEO Doug McGowen của MLGW khẳng định nhu cầu điện của xAI vẫn nằm trong dự báo tải đỉnh và có thể mua thêm điện từ TVA nếu cần

- Các chuyên gia dự đoán trung tâm dữ liệu trong tương lai sẽ cần đến hàng gigawatt điện để huấn luyện mô hình AI

- Nhiều công ty công nghệ lớn như Amazon, Google, Microsoft và Oracle đang đầu tư vào năng lượng hạt nhân, nhưng phải mất 5 năm hoặc lâu hơn để triển khai

📌 Trung tâm dữ liệu AI của Elon Musk được cấp 150MW điện, đủ vận hành 100.000 GPU đồng thời. Dự án hoàn thành trong 19 ngày với nhiều lo ngại về tác động môi trường. Các công ty công nghệ lớn đang hướng đến năng lượng hạt nhân như giải pháp tương lai.

https://www.tomshardware.com/tech-industry/artificial-intelligence/elon-musks-massive-ai-data-center-gets-unlocked-xai-gets-approved-for-150mw-of-power-enabling-all-100-000-gpus-to-run-concurrently

Nhà mạng SoftBank nhận chip Nvidia Blackwell đầu tiên cho siêu máy tính AI

- SoftBank Corp sẽ nhận chip mới nhất từ thiết kế Blackwell của Nvidia cho siêu máy tính, theo thông báo từ hãng chip có trụ sở tại California.
- Masayoshi Son, CEO của SoftBank, đang tìm cách mở rộng ảnh hưởng của tập đoàn trong lĩnh vực trí tuệ nhân tạo (AI).
- Nvidia đã tổ chức một sự kiện AI tại Tokyo với sự tham gia của Son và Jensen Huang, CEO của Nvidia.
- Son đã đầu tư vào OpenAI và mua lại Graphcore, nhằm nâng cao vị thế của SoftBank trong lĩnh vực AI sau những năm khó khăn.
- Huang chia sẻ rằng Son đã từng đề nghị cho ông vay tiền để mua Nvidia khi giá trị của công ty chưa được thị trường đánh giá đúng.
- Đề nghị này được đưa ra sau khi Son mua lại công ty thiết kế chip Arm, nhưng sau đó ông đã bán bớt cổ phần Nvidia và gặp khó khăn trong việc bán Arm cho Nvidia do rào cản quy định.
- Nvidia, trước đây nổi tiếng với các chip đồ họa cho game, đã trở thành công ty giá trị nhất thế giới nhờ nhu cầu không ngừng cho các chip của mình.
- SoftBank đang hợp tác với Nvidia để thử nghiệm một mạng lưới có thể vận hành cả dịch vụ 5G và AI, nhằm tìm kiếm động lực tăng trưởng mới trong bối cảnh ngành viễn thông toàn cầu.
- Son cho biết ông cảm nhận được sự tương đồng giữa mình và Huang, trong khi Huang hài hước phản ứng rằng ông không thích hình ảnh con chó con mà Son miêu tả.

📌 SoftBank nhận chip Blackwell đầu tiên từ Nvidia cho siêu máy tính, đánh dấu bước tiến lớn trong lĩnh vực trí tuệ nhân tạo. Sự kiện diễn ra tại Tokyo với sự tham gia của Masayoshi Son và Jensen Huang, nhấn mạnh tầm quan trọng của AI trong tương lai công nghệ.

https://www.reuters.com/business/media-telecom/nvidia-softbank-pilot-worlds-first-ai-5g-telecom-network-2024-11-13/

Jensen Huang của NVIDIA: “Chúng ta đang bước vào kỷ nguyên Hyper Moore’s Law”

- Jensen Huang, giám đốc NVIDIA, khẳng định thời kỳ mở rộng chip truyền thống đang dần kết thúc, dẫn đến sự xuất hiện của "Hyper Moore’s Law."
- Ông nhấn mạnh rằng sự chuyển mình này đánh dấu một kỷ nguyên mới trong công nghệ máy tính, vượt ra ngoài mô hình cải tiến hiệu suất chip thông thường.
- Moore’s Law trước đây dựa vào việc mở rộng Dennard và các kỹ thuật VLSI của Carver Mead để tăng cường hiệu suất chip nhưng đã đạt đến giới hạn.
- Huang cho biết rằng cả hai kỹ thuật này đã không còn hiệu quả, và ngành công nghiệp cần phương pháp mới để phát triển.
- Ông đề xuất phương pháp "codesign," tức là phát triển đồng thời phần cứng và phần mềm để tối ưu hóa hiệu suất.
- Phương pháp này cho phép những đổi mới về độ chính xác trong tính toán, với sự chuyển đổi từ các phép toán số thực như FP64 xuống FP32 và thậm chí FP4.
- Huang cũng nhấn mạnh vai trò quan trọng của trung tâm dữ liệu trong sự phát triển này, với các chiến lược mở rộng sáng tạo và toàn diện.
- Trong năm nay, khi NVIDIA phát hành Blackwell, đã có ý kiến cho rằng Moore’s Law không còn tồn tại.
- Ông nêu rõ rằng trong vòng 8 năm qua, NVIDIA đã tăng gấp một nghìn lần sức mạnh tính toán, một bước tiến vượt bậc so với các tiêu chuẩn trước đây của Moore’s Law.
- Tuy nhiên, Huang cũng bày tỏ lo lắng vì nhu cầu của ngành công nghiệp vẫn chưa được đáp ứng đầy đủ, mặc dù có sự tăng trưởng ấn tượng về sức mạnh tính toán.

📌 Jensen Huang từ NVIDIA cho biết rằng "Hyper Moore's Law" sẽ dẫn dắt công nghệ máy tính, với sự phát triển gấp 1000 lần trong 8 năm qua, nhưng nhu cầu hiện tại vẫn chưa được đáp ứng.

https://analyticsindiamag.com/ai-news-updates/nvidias-jensen-huang-says-that-we-are-in-the-era-of-hyper-moores-law/

Cú trượt dài của Samsung: Mất 126 tỷ USD vì tụt hậu công nghệ bộ nhớ HBM cho AI

- Samsung Electronics đã mất vị trí dẫn đầu trong lĩnh vực bộ nhớ bán dẫn vào tay đối thủ SK Hynix, dẫn đến thiệt hại 126 tỷ USD vốn hóa thị trường

- Bộ nhớ băng thông cao (HBM) là thành phần quan trọng trong kiến trúc chip của Nvidia dùng để huấn luyện các mô hình AI lớn

- Samsung đã không đầu tư đúng mức vào HBM vì coi đây là sản phẩm thị trường ngách với chi phí phát triển cao

- SK Hynix đã nắm bắt cơ hội, tích cực phát triển chip HBM và được Nvidia phê duyệt sử dụng, thiết lập mối quan hệ chặt chẽ với công ty Mỹ

- Trong quý 3/2024, SK Hynix đạt lợi nhuận hoạt động kỷ lục nhờ thành công với HBM

- Samsung cho biết doanh số HBM tăng hơn 70% so với quý trước, sản phẩm HBM3E đang sản xuất hàng loạt

- Samsung đang phát triển HBM4 thế hệ tiếp theo, dự kiến sản xuất hàng loạt vào nửa sau 2025

- Khả năng phục hồi ngắn hạn của Samsung phụ thuộc vào việc được Nvidia phê duyệt làm nhà cung cấp HBM

- Samsung cho biết đã hoàn thành giai đoạn quan trọng trong quá trình đánh giá và kỳ vọng mở rộng doanh số từ quý 4/2024

📌 Samsung mất 126 tỷ USD vốn hóa do chậm đầu tư vào bộ nhớ HBM - công nghệ then chốt cho chip AI. SK Hynix vượt lên nhờ hợp tác sớm với Nvidia. Samsung kỳ vọng phục hồi từ Q4/2024 sau khi hoàn tất quá trình phê duyệt của Nvidia.

https://www.cnbc.com/2024/11/08/how-samsung-fell-behind-in-the-ai-boom-behind-rival-sk-hynix.html

Vì sao Nvidia đổi tên dòng sản phẩm flagship Blackwell Ultra?

- Nvidia vừa đổi tên dòng sản phẩm flagship Blackwell Ultra, trong đó B200 Ultra thành B300 và GB200 Ultra thành GB300

- Dự kiến dòng B300 sẽ ra mắt trong khoảng quý 2-3/2025, trong khi B200 và GB200 bắt đầu xuất xưởng từ quý 4/2024

- B300A nhắm đến đối tượng OEM, sản xuất từ quý 2/2025 khi dòng H200 giảm dần sản lượng

- Theo TrendForce, việc chuyển từ kế hoạch B200A sang B300A cho thấy nhu cầu GPU hạ cấp thấp hơn dự kiến

- Nvidia đang đầu tư cải thiện giải pháp NVL rack, hỗ trợ nhà cung cấp hệ thống server tối ưu hiệu năng và làm mát cho NVL72

- Thị phần GPU cao cấp của Nvidia dự kiến đạt 50% trong 2024, tăng 20% so với năm trước và có thể lên 65% vào 2025 nhờ nền tảng Blackwell

- Nhu cầu công nghệ CoWoS dự báo tăng 10% so với cùng kỳ khi Nvidia tập trung cung cấp B300 và GB300 cho các CSP lớn ở Bắc Mỹ

- Nvidia sẽ chiếm hơn 70% thị trường HBM toàn cầu trong năm tới, tăng 10% hàng năm

- Tất cả model B300 sẽ sử dụng HBM3e 12hi, đây là lần đầu Nvidia sản xuất hàng loạt sản phẩm stack 12hi

📌 Nvidia định hướng lại chiến lược sản phẩm Blackwell nhằm thống trị thị trường AI với mục tiêu chiếm 65% thị phần GPU cao cấp vào 2025. Công ty tập trung vào công nghệ CoWoS-L và HBM3e 12hi, dự kiến chiếm 70% thị trường HBM toàn cầu.

https://www.techradar.com/pro/nvidia-has-renamed-its-blackwell-ultra-product-series-heres-why

Thất bại của Intel: Chip AI Gaudi không đạt mục tiêu, thua lỗ 16,6 tỷ USD trong quý 3/2024

- Intel thông báo không thể đạt mục tiêu doanh thu 500 triệu USD từ chip AI Gaudi trong năm 2024, thấp hơn nhiều so với dự kiến ban đầu là 1-2 tỷ USD

- AMD đã đạt doanh thu 1 tỷ USD mỗi quý từ chip AI, trở thành sản phẩm tăng trưởng nhanh nhất trong lịch sử công ty

- CEO Pat Gelsinger cho biết việc chuyển đổi từ Gaudi 2 sang Gaudi 3 và khó khăn trong sử dụng phần mềm đã ảnh hưởng đến tốc độ áp dụng sản phẩm

- Intel báo cáo doanh thu quý 3/2024 đạt 13,3 tỷ USD, giảm 6% so với cùng kỳ năm trước

- Công ty ghi nhận khoản lỗ 16,6 tỷ USD do chi phí tái cấu trúc và giảm giá trị tài sản 18,5 tỷ USD

- Intel đang thực hiện kế hoạch cắt giảm chi phí 10 tỷ USD và sa thải hơn 15.000 nhân viên

- Công ty tái cơ cấu bằng cách:
  + Chuyển mảng điện toán biên vào nhóm Client Computing
  + Tích hợp các đội phần mềm vào các đơn vị kinh doanh cốt lõi
  + Tập trung vào ít dự án hơn, ưu tiên tối đa hóa giá trị nền tảng x86

📌 Intel đang phải đối mặt với khủng hoảng khi thua lỗ 16,6 tỷ USD trong quý 3/2024, không đạt mục tiêu doanh thu từ chip AI Gaudi và buộc phải tái cấu trúc toàn diện với việc sa thải 15.000 nhân viên, cắt giảm 10 tỷ USD chi phí để duy trì khả năng cạnh tranh.

https://www.theverge.com/2024/10/31/24284860/intel-gaudi-wont-meet-500-million-goal

Chip AI mới của Cerebras "đánh bại" Nvidia với tốc độ xử lý nhanh gấp 20 lần

• Cerebras Systems, công ty khởi nghiệp tại California, vừa công bố giải pháp Cerebras Inference với tốc độ nhanh gấp 20 lần so với GPU của Nvidia

• Công nghệ đột phá Wafer Scale Engine thế hệ thứ 3 tích hợp:
- 4 nghìn tỷ bóng bán dẫn
- 44GB SRAM tích hợp
- Không cần bộ nhớ ngoài, loại bỏ điểm nghẽn của GPU truyền thống

• Hiệu năng xử lý ấn tượng:
- 1.800 token/giây cho mô hình Llama3.1 8B
- 450 token/giây cho mô hình Llama3.1 70B

• So sánh kiến trúc:
- Cerebras: Thiết kế wafer đơn khối, tích hợp xử lý và bộ nhớ
- Nvidia: Kiến trúc đa chip kết nối qua NVLink, linh hoạt và dễ mở rộng

• Ưu điểm của Cerebras:
- Tốc độ xử lý AI inference vượt trội
- Độ trễ thấp nhờ tích hợp bộ nhớ
- Phù hợp với mô hình AI quy mô lớn

• Ưu điểm của Nvidia:
- Hệ sinh thái phần mềm phong phú
- Đa dụng từ game đến AI
- Khả năng ứng dụng rộng rãi

• AMD và Intel có thể đối mặt với sự cạnh tranh mạnh mẽ khi Cerebras ngày càng phát triển trong lĩnh vực ứng dụng AI hiệu năng cao

📌 Cerebras Systems đã tạo bước đột phá với chip AI tích hợp 4 nghìn tỷ bóng bán dẫn, nhanh gấp 20 lần GPU Nvidia. Công nghệ này đặc biệt phù hợp cho các mô hình AI lớn đòi hỏi xử lý thời gian thực, trong khi Nvidia vẫn duy trì lợi thế về tính đa năng và hệ sinh thái toàn diện.

https://www.barchart.com/story/news/29249699/new-ai-chip-leaves-nvidia-amd-and-intel-in-the-dust-with-20x-faster-speeds-and-over-4-trillion-transistors

Ấn Độ phát triển nền tảng cloud nguồn mở tích hợp AI nhằm cạnh tranh với Amazon, Google và Microsoft

• Sự bùng nổ của AI và số hóa nền kinh tế đang tạo ra nhu cầu chưa từng có về năng lực điện toán

• Amazon, Google và Microsoft hiện chiếm 67% thị phần điện toán đám mây toàn cầu, gây khó khăn cho việc phát triển các ứng dụng AI do chi phí cao

• Tổ chức phi lợi nhuận People+ai phát triển dự án Open Cloud Compute (OCC) nhằm tạo ra thị trường mở cho các nhà cung cấp dịch vụ điện toán đám mây kết hợp AI

• Trong lĩnh vực AI, độ trễ là vấn đề quan trọng với các ứng dụng như phân tích camera an ninh, đòi hỏi nguồn tính toán gần với người dùng

• Một nhóm sinh viên tại hackathon đã phát triển hệ thống AI phân tích sơ đồ kiến trúc hạ tầng đám mây và tự động thiết lập tài nguyên cần thiết

Chi phí triển khai AI trên nền tảng của nhà cung cấp Ấn Độ rẻ hơn đáng kể: 6 giờ sử dụng Jarvislab chỉ tốn dưới 100 rupee (khoảng 1,19 USD), so với 5 USD cho thiết lập cơ bản trên AWS

OCC đặc biệt phù hợp với các startup AI, doanh nghiệp nhỏ và sinh viên nghiên cứu AI - những đối tượng có ngân sách hạn chế

• Nền tảng sẽ sử dụng các giao thức và tiêu chuẩn mở để đảm bảo khả năng tương tác giữa các dịch vụ, cho phép người dùng dễ dàng chuyển đổi giữa các nhà cung cấp

• Dự án tích hợp các sáng kiến như Open Application Model và Cloud Native Computing Foundation để hỗ trợ phát triển AI

Mục tiêu cuối cùng là tạo ra hệ sinh thái mở cho phép các workload AI có thể di chuyển liền mạch giữa các nhà cung cấp

📌 Ấn Độ tiên phong trong việc dân chủ hóa điện toán đám mây và AI với dự án OCC. Nền tảng giúp tiết kiệm tới 76% chi phí triển khai AI, tạo cơ hội cho các nhà cung cấp địa phương cạnh tranh và thúc đẩy sự phát triển của AI tại các nước đang phát triển.

https://spectrum.ieee.org/cloud-computing-in-india

Cách mạng hóa thiết kế trung tâm dữ liệu: Khi AI đòi hỏi tăng hiệu năng gấp 1.000 lần

• AI đang yêu cầu tăng hiệu năng từ 100 đến 1.000 lần giữa các thế hệ, đặc biệt khi chuyển từ AI truyền thống sang AI tạo sinh

• Định luật Moore đang chậm lại, trong khi nhu cầu về hiệu năng phần cứng đang đẩy mức tiêu thụ điện năng và nhiệt lượng lên mức chưa từng có

• Các startup AI đã gặp nhiều thách thức:
- Nhiều công ty phát triển kiến trúc tùy chỉnh chỉ hiệu quả với một số ít mô hình
- Các startup còn sót lại như Cerebras, Groq và SambaNova đã chuyển sang xây dựng trung tâm dữ liệu để cung cấp AI dưới dạng dịch vụ

• Nvidia CEO Jensen Huang đề xuất khái niệm "trung tâm dữ liệu là đơn vị tính toán mới", phân loại thành:
- Trung tâm dữ liệu AI: xử lý đa dạng tác vụ bao gồm AI
- Nhà máy AI: tập trung vào khối lượng công việc AI đòi hỏi cao

Các thách thức chính trong thiết kế trung tâm dữ liệu AI:
- Nguồn điện: cần đặt gần các trạm phát điện hoặc lắp đặt thiết bị phát điện mới
- Quản lý nhiệt: chuyển từ làm mát bằng không khí sang làm mát bằng chất lỏng có thể tiết kiệm tới 40% điện năng cho máy chủ
- Thiết kế xử lý: cần đưa bộ nhớ, bộ xử lý, bộ tăng tốc và mạng lại gần nhau hơn

Xu hướng mới trong thiết kế chip:
- Tách biệt xử lý thành các bộ xử lý chuyên biệt
- Sử dụng DPU để giảm tải các tác vụ như lưu trữ, mạng và bảo mật
- Tối ưu hóa thiết kế ngay từ đầu thay vì cải tiến qua các thế hệ

📌 Trung tâm dữ liệu đang trải qua cuộc cách mạng thiết kế toàn diện để đáp ứng nhu cầu tăng hiệu nanwg gấp 1.000 lần của AI. Giải pháp đòi hỏi cách tiếp cận tổng thể từ cơ sở hạ tầng đến chip, với việc tối ưu hóa năng lượng và nhiệt là ưu tiên hàng đầu.

 

https://www.forbes.com/sites/tiriasresearch/2024/10/28/system-design-for-the-ai-era-data-centers-require-a-holistic-approach/

Khám phá cụm máy tính siêu cấp AI Colossus của Elon Musk với 100.000 GPU

• Siêu máy tính AI Colossus của xAI đã hoàn thành sau 122 ngày lắp đặt và hoạt động được gần 2 tháng

• Cấu trúc phần cứng:
- Mỗi máy chủ GPU sử dụng Nvidia HGX H100 chứa 8 GPU H100
- Mỗi rack chứa 8 máy chủ (64 GPU/rack)
- Tổng cộng hơn 1.500 rack GPU, xấp xỉ 200 dãy rack
- Lắp đặt 100.000 GPU chỉ trong 3 tuần

• Hệ thống làm mát:
- Sử dụng công nghệ làm mát bằng chất lỏng
- Mỗi máy chủ có hệ thống làm mát hot-swappable
- Có manifold 1U giữa các HGX H100
- Mỗi rack có hệ thống bơm dự phòng

• Kết nối mạng:
- Mỗi card đồ họa có NIC riêng 400GbE
- Mỗi máy chủ có thêm NIC 400Gb
- Tổng băng thông mỗi máy chủ HGX H100 đạt 3,6 Terabit/giây
- Sử dụng kết nối Ethernet thay vì InfiniBand

• Nguồn điện:
- Mỗi máy chủ có 4 nguồn điện dự phòng
- Sử dụng pin Tesla Megapack (3,9 MWh/pin) làm bộ đệm năng lượng
- 14 máy phát diesel được lắp đặt vào tháng 7

• Kế hoạch nâng cấp:
- Giai đoạn tiếp theo sẽ thêm 50.000 GPU H100 và 50.000 GPU H200
- Mục tiêu cuối cùng là đạt 300.000 GPU H200

📌 Colossus là siêu máy tính AI lớn nhất thế giới với 100.000 GPU H100, được sử dụng để huấn luyện chatbot Grok 3 và các mô hình AI tương lai. Hệ thống có kiến trúc độc đáo với làm mát bằng chất lỏng và băng thông mạng 3,6 Terabit/giây cho mỗi máy chủ.

https://www.tomshardware.com/desktops/servers/first-in-depth-look-at-elon-musks-100-000-gpu-ai-cluster-xai-colossus-reveals-its-secrets

Bất ngờ với chiến lược AI của gã khổng lồ Amazon: Chậm mà chắc!

• Matt Garman, CEO Amazon Web Services từ tháng 6/2024, đang chịu trách nhiệm định hướng việc ứng dụng AI trong dịch vụ điện toán đám mây

• Amazon không chậm trong việc triển khai AI tạo sinh mà đã có chiến lược riêng:
- Tập trung vào bảo mật và kiểm soát dữ liệu khách hàng
- Phát triển nền tảng cho phép khách hàng xây dựng các ứng dụng AI độc đáo
- Tin rằng sẽ có nhiều mô hình AI khác nhau thay vì chỉ một mô hình duy nhất

• Về vấn đề năng lượng:
- Amazon đã mua lò phản ứng hạt nhân nhỏ, dự kiến hoạt động từ 2030
- Hợp tác với Talend để tái sử dụng gần 1 gigawatt điện hạt nhân tại Pennsylvania
- Đang triển khai nhiều dự án năng lượng tái tạo trong ngắn hạn

• Quan điểm về quy định AI:
- Sẵn sàng tuân thủ các quy định của chính phủ
- Cảnh báo việc đặt ra quy định có thể vô tình tạo lợi thế cho Trung Quốc
- Cho rằng không nên không có quy định nào, nhưng cần thận trọng

• Chính sách làm việc tại văn phòng:
- Yêu cầu nhân viên làm việc 5 ngày/tuần tại văn phòng từ tháng 1/2025
- Lý do: tăng cường sáng tạo và tương tác giữa các nhóm
- Mô hình làm việc 3 ngày/tuần không hiệu quả do nhân viên chọn ngày khác nhau

📌 Amazon theo đuổi chiến lược AI thận trọng, tập trung vào nền tảng để khách hàng tự xây dựng ứng dụng AI. Công ty đầu tư vào năng lượng hạt nhân từ 2030 và yêu cầu nhân viên quay lại văn phòng 100% thời gian từ 2025 để tăng hiệu quả sáng tạo.

https://www.wsj.com/tech/ai/amazon-ai-cloud-matt-garman-4994447a

#WSJ

Quốc vương Đan Mạch ví Jensen Huang như một vị vua mặc áo khoác da khi khánh thành siêu máy tính AI Gefion

• Siêu máy tính AI Gefion được khánh thành tại Copenhagen với sự tham dự của CEO Nvidia Jensen Huang và Quốc vương Frederik X của Đan Mạch

Gefion được xây dựng trên nền tảng Nvidia DGX SuperPOD, trang bị 1.528 GPU Nvidia H100

• Mục tiêu của siêu máy tính là thúc đẩy nghiên cứu trong các lĩnh vực điện toán lượng tử, y học và năng lượng xanh

• Quốc vương Frederik X hài hước nhận xét về Jensen Huang: "Tôi cảm thấy không chỉ có một vị vua trong căn phòng này - vị vua còn lại đang mặc áo khoác da"

• Trung tâm AI Đan Mạch (DCAI) sở hữu và vận hành Gefion, là sự hợp tác giữa Quỹ Novo Nordisk và Quỹ Đầu tư Xuất khẩu Đan Mạch (EIFO)

Tổng vốn đầu tư ban đầu cho siêu máy tính:
- Quỹ Novo Nordisk: 600 triệu DKK (khoảng 87 triệu USD)
- EIFO: 100 triệu DKK (khoảng 14,5 triệu USD)

• EIFO nắm giữ 15% cổ phần trong DCAI

• Nvidia hiện đang dẫn đầu trong phát triển phần cứng AI, từng vượt qua Apple, Microsoft và Google để trở thành công ty có giá trị nhất thế giới

📌 Siêu máy tính Gefion với 1.528 GPU Nvidia H100 đánh dấu bước tiến quan trọng của Đan Mạch trong lĩnh vực AI, được đầu tư 101,5 triệu USD từ sự hợp tác công-tư, nhằm thúc đẩy nghiên cứu về điện toán lượng tử, y học và năng lượng xanh.

https://www.tomshardware.com/tech-industry/artificial-intelligence/nvidia-ceo-jensen-huang-and-the-king-of-denmark-plug-in-the-countrys-first-ai-supercomputer-gefion-leverages-1-528-nvidia-h100-ai-gpus

GPU cho trung tâm dữ liệu AI có tuổi thọ chỉ khoảng 3 năm

  • GPU cho trung tâm dữ liệu AI có tuổi thọ ngắn, chỉ khoảng 3 năm theo thông tin từ một kỹ sư của Google. Điều này đặt ra vấn đề lớn cho các công ty công nghệ khi họ đang đầu tư hàng tỷ USD vào phần cứng AI.
  • Nguồn thông tin này đến từ tài khoản TechFund, dẫn lời một kiến trúc sư AI của Alphabet. Theo đó, các trung tâm dữ liệu có mức sử dụng cao, như Lambda Labs và CoreWeave với mức sử dụng từ 60-70%, dễ gặp tình trạng hỏng hóc phần cứng trong thời gian ngắn hơn.
  • Lượng điện năng tiêu thụ lớn của GPU AI là nguyên nhân chính làm giảm tuổi thọ. Các GPU như dòng Hopper tiêu thụ tới 700W, trong khi dòng Blackwell thế hệ mới có thể lên đến 1.000W. Điều này gây ra áp lực nhiệt lớn lên các vi mạch silicon, tương tự như các GPU từng được dùng trong khai thác tiền điện tử, thường bị lỗi sau vài năm.
  • Chi phí khổng lồ cho phần cứng AI đang là gánh nặng cho các công ty lớn. OpenAI dự kiến lỗ 5 tỷ USD trong năm 2024, mặc dù chi phí phần cứng được Microsoft hỗ trợ đáng kể. Google đã chi 13,2 tỷ USD chỉ trong quý II năm 2024 và sẽ tiếp tục tăng chi tiêu. Nếu các GPU chỉ kéo dài ba năm, việc đầu tư vào AI sẽ trở thành gánh nặng chi phí liên tục thay vì khoản đầu tư dài hạn.
  • Các nhà đầu tư đang đặt câu hỏi về khả năng sinh lời của AI. Dù nhiều công ty cam kết phát triển các mô hình lớn hơn, việc đào tạo và vận hành chúng sẽ tiêu tốn hàng tỷ USD. Hơn nữa, với tuổi thọ ngắn của GPU, việc thay thế phần cứng sẽ trở thành nhu cầu liên tục.
  • Nvidia đang hưởng lợi lớn từ tình thế này. Giá trị của Nvidia đã vượt 3 nghìn tỷ USD vào tháng 6/2024, và nếu các công ty AI phải liên tục mua GPU mới, lợi nhuận của Nvidia sẽ tiếp tục tăng nhanh hơn.

📌

Tuổi thọ ngắn của GPU trong các trung tâm dữ liệu AI là vấn đề lớn cho ngành công nghệ, khiến chi phí phần cứng trở thành gánh nặng liên tục. Trong khi các công ty phải đối mặt với thách thức tài chính, Nvidia hưởng lợi từ nhu cầu thay thế liên tục. Điều này có thể định hình tương lai của thị trường AI, nơi đầu tư vào phần cứng trở thành cuộc đua không ngừng nghỉ.

https://www.extremetech.com/computing/data-center-ai-gpus-may-have-extremely-short-lifespans

Vì sao Intel bị bỏ lại phía sau trong cuộc đua chip AI?

  • Intel đã bỏ lỡ cơ hội lịch sử khi từ chối mua Nvidia vào năm 2005 với giá 20 tỷ USD. Lúc đó, Nvidia được coi là công ty chuyên về đồ họa, nhưng công nghệ chip của họ đã chứng minh tiềm năng lớn cho AI sau này.
  • Intel gặp nhiều thất bại chiến lược khi cố gắng phát triển chip đồ họa nội bộ thông qua dự án Larrabee. Dự án này tiêu tốn hàng trăm triệu USD nhưng bị hủy bỏ vào năm 2009 do không đáp ứng được kỳ vọng về hiệu năng.
  • Pat Gelsinger, CEO hiện tại của Intel, tin rằng Larrabee có thể đã thành công nếu được kiên nhẫn đầu tư. Tuy nhiên, sau khi rời Intel vào năm 2009, ông trở lại vào năm 2021 với nhiệm vụ phục hồi công ty, đối mặt với những thách thức lớn trong thời kỳ AI bùng nổ.
  • Intel đầu tư vào các công ty khởi nghiệp AI như Nervana Systems và Habana Labs, nhưng chiến lược thiếu nhất quán đã gây lãng phí thời gian và nguồn lực. Quyết định mua Habana Labs với giá 2 tỷ USD khiến Intel mất hai năm phát triển sản phẩm AI.
  • Nvidia đã vượt xa Intel nhờ đầu tư vào cả phần cứng lẫn phần mềm, hỗ trợ lập trình viên phát triển ứng dụng AI trên nền tảng của mình. Ngược lại, Intel chật vật trong việc tạo ra các sản phẩm AI cạnh tranh, dẫn đến việc thị phần của họ bị thu hẹp.
  • Mặc dù Intel nhận được hỗ trợ từ chính phủ Mỹ thông qua Đạo luật CHIPS, công ty vẫn gặp khó khăn trong việc bắt kịp các đối thủ châu Á về công nghệ sản xuất chip. Nhiều chip mới của Intel được sản xuất bởi TSMC, giảm lợi nhuận của công ty.
  • Cơ hội mới của Intel nằm trong việc phát triển các ứng dụng AI cho doanh nghiệp và trung tâm dữ liệu. Tuy nhiên, Nvidia đã xây dựng vị thế vững chắc trong thị trường AI, khiến Intel khó có thể bắt kịp trong thời gian ngắn.

📌 

Intel đã bỏ lỡ cơ hội dẫn đầu trong thị trường AI do các quyết định chiến lược sai lầm và thiếu kiên nhẫn đầu tư. Mặc dù công ty đang cố gắng phục hồi dưới sự lãnh đạo của Pat Gelsinger, Nvidia đã vượt xa trong cuộc đua AI. Với sự hỗ trợ của chính phủ và các chip mới như Gaudi 3, Intel hy vọng tìm thấy cơ hội trong ứng dụng AI cho doanh nghiệp, nhưng con đường phía trước vẫn rất gian nan.

https://www.nytimes.com/2024/10/24/technology/intel-ai-chips-mistakes.html

Nvidia thừa nhận lỗi thiết kế trong nền tảng AI Blackwell đã khiến sản xuất bị đình trệ

- Nvidia thừa nhận lỗi thiết kế trong nền tảng AI Blackwell đã khiến sản xuất bị đình trệ, gây ảnh hưởng đến khách hàng lớn như Google và Microsoft.  
- Jensen Huang, CEO Nvidia, cho biết sự phức tạp trong dự án với 7 thiết kế chip mới đã góp phần vào lỗi này, khẳng định “đây là lỗi 100% do Nvidia.”  
- Vấn đề bắt đầu xuất hiện từ tháng 8/2024, khiến cổ phiếu Nvidia giảm 8% khi có thông tin chậm giao hàng ba tháng. Nvidia đã hợp tác với TSMC để cải thiện tỷ lệ sản xuất.  
- Công ty đã thay đổi thiết kế mặt nạ GPU nhưng không cần thay đổi chức năng. Nvidia dự kiến sẽ tạo ra doanh thu hàng tỷ USD từ nền tảng Blackwell trong quý IV.  
- Jensen Huang khẳng định quá trình phục hồi đã thành công và sản xuất hiện đang ở "tốc độ đáng kinh ngạc" với nhu cầu vượt xa dự kiến.  
- Trong lần xuất hiện tại Đan Mạch để giới thiệu siêu máy tính Gefion, Huang nhấn mạnh: “Ai cũng muốn sở hữu nhiều nhất và sớm nhất.”  
- Cổ phiếu Nvidia giảm 3,3% vào giữa ngày thứ Tư nhưng vẫn tăng 189% từ đầu năm, với kỳ vọng cao trước báo cáo tài chính của các công ty công nghệ lớn.  
- Mặc dù có khủng hoảng ban đầu, Nvidia đã nhanh chóng phục hồi, đáp ứng nhu cầu thị trường ngày càng tăng đối với chip AI tiên tiến.

📌 Nvidia gặp khó khăn với lỗi thiết kế chip AI Blackwell, làm gián đoạn sản xuất, nhưng đã khắc phục thành công nhờ hợp tác với TSMC. Dù cổ phiếu có biến động, nhu cầu đối với Blackwell vẫn bùng nổ, củng cố vị thế của Nvidia trong lĩnh vực AI.

https://qz.com/nvidia-jensen-huang-design-flaw-blackwell-fault-ai-chip-1851679078

Saudi Arabia chọn chip AI Mỹ, từ chối hợp tác với Trung Quốc

• Giáo sư Edward Byrne, tân hiệu trưởng Đại học Khoa học và Công nghệ Vua Abdullah (Kaust) của Saudi Arabia, cam kết ngừng mọi hợp tác AI với Trung Quốc có thể ảnh hưởng đến việc tiếp cận chip do Mỹ sản xuất.

• Byrne nhấn mạnh sẽ ưu tiên quan hệ với Anh, châu Âu và Mỹ, đồng thời đảm bảo các nhà nghiên cứu tại Kaust có quyền truy cập công nghệ AI cần thiết.

• Ông cam kết tuân thủ nghiêm ngặt các quy định thương mại của Mỹ để duy trì hợp tác, nhưng vẫn thấy cơ hội hợp tác với Trung Quốc trong nhiều lĩnh vực không nhạy cảm.

• Mỹ đã thắt chặt kiểm soát giấy phép xuất khẩu chip AI tiên tiến nhằm ngăn chặn công nghệ rò rỉ sang Trung Quốc, gây lo ngại cho khu vực Trung Đông.

Microsoft, đã đầu tư 1,5 tỷ USD vào G42 - công ty AI lớn nhất ở UAE, yêu cầu làm rõ về việc vận chuyển chip AI đến khu vực.

• Người tiền nhiệm của Byrne, Tony Chan, đã mở rộng hợp tác với Trung Quốc, đặc biệt là dự án AI chung để xây dựng mô hình ngôn ngữ lớn tập trung vào tiếng Ả Rập có tên AceGPT.

• Kaust được thành lập năm 2009 với quỹ tài trợ 10 tỷ USD từ cố vương Abdullah, là trường đại học nghiên cứu sau đại học đầu tiên của Saudi Arabia.

• Saudi Arabia và UAE đang chạy đua phát triển AI và xây dựng quan hệ thương mại với cả Mỹ và Trung Quốc mà không làm mất lòng Washington - đối tác an ninh chính.

• Một quỹ Saudi trở thành nhà đầu tư nước ngoài duy nhất vào startup AI tạo sinh nổi bật nhất của Trung Quốc vào tháng 5/2023.

• Các quan chức cấp cao Saudi đang tích cực làm việc để đảm bảo tiếp cận chip AI tiên tiến do Mỹ sản xuất, đặc biệt là từ Nvidia.

• Saudi Arabia tổ chức hội nghị AI lớn ở Riyadh vào tháng trước, nơi Cơ quan Dữ liệu và Trí tuệ nhân tạo Saudi (SDAIA) trưng bày mô hình ngôn ngữ lớn tiếng Ả Rập và công bố thỏa thuận với Nvidia về 5.000 GPU.

• Một quan chức cho biết SDAIA đã có quyền truy cập 1.000 GPU từ Nvidia và lạc quan về việc tiếp cận thêm trong tương lai gần.

📌 Saudi Arabia đang cân bằng giữa hợp tác AI với Mỹ và Trung Quốc. Kaust cam kết tuân thủ quy định Mỹ để tiếp cận chip AI tiên tiến. Saudi đã đạt thỏa thuận 5.000 GPU với Nvidia và đang tích cực phát triển mô hình ngôn ngữ lớn tiếng Ả Rập, thể hiện tham vọng AI của quốc gia này.

https://www.ft.com/content/1652e551-dac7-40a5-9621-7453d13af613

#FT

Cuộc chiến chống độc quyền AI: Châu Á quyết tâm ngăn chặn sự thống trị của các bigtech!

• Các cơ quan quản lý cạnh tranh tại Nhật Bản và Hàn Quốc đã bắt đầu điều tra về tác động cạnh tranh của thị trường AI tạo sinh đang phát triển nhanh chóng.

• Ủy ban Thương mại Công bằng Nhật Bản (JFTC) bắt đầu nghiên cứu thị trường AI tạo sinh vào tháng 10/2024 để xem xét cạnh tranh ở các cấp độ cơ sở hạ tầng, mô hình và ứng dụng.

JFTC dự báo ngành AI tạo sinh tại Nhật sẽ tăng trưởng trung bình 47,2% mỗi năm từ 2023 đến 2030.

Tại cấp độ cơ sở hạ tầng, JFTC quan tâm đến vị thế thống trị của NVIDIA trong lĩnh vực GPU, sự khác biệt về dữ liệu huấn luyện giữa các mô hình quốc tế và Nhật Bản, cũng như khó khăn của các công ty Nhật trong việc giữ chân nhân tài AI.

• Ở cấp độ mô hình, JFTC nhận thấy các mô hình ngôn ngữ lớn quốc tế dẫn đầu về suy luận và đa ngôn ngữ, trong khi các công ty nội địa tập trung vào hiệu suất tiếng Nhật hoặc tạo ra các mô hình chuyên biệt.

• Tại cấp độ ứng dụng, JFTC muốn xác định các rào cản đối với doanh nghiệp và thách thức trong việc duy trì cạnh tranh công bằng.

JFTC cũng lo ngại về việc hạn chế tiếp cận GPU, ưu tiên dịch vụ của công ty, ràng buộc dịch vụ với việc sử dụng mô hình, hành vi song song sử dụng AI và độc quyền nhân tài thông qua hợp tác.

Ủy ban Thương mại Công bằng Hàn Quốc (KFTC) đã khởi động nghiên cứu thị trường AI vào tháng 8/2024, tập trung vào 50 công ty trong và ngoài nước.

• KFTC sẽ phân tích mối quan hệ kinh doanh, xu hướng cạnh tranh và xác định các vấn đề có thể làm suy yếu cạnh tranh.

Ủy ban Cạnh tranh và Người tiêu dùng Úc (ACCC) cũng đang theo dõi chặt chẽ sự phát triển của thị trường AI và sẽ xem xét các vấn đề cạnh tranh liên quan đến AI tạo sinh trong báo cáo vào tháng 3/2025.

• ACCC quan tâm đến rào cản gia nhập thị trường cao và khả năng các nền tảng kỹ thuật số lớn mở rộng quyền lực thị trường thông qua tích hợp các mô hình ngôn ngữ lớn.

📌 Các cơ quan quản lý cạnh tranh tại Nhật Bản, Hàn Quốc và Úc đang tích cực điều tra và giám sát thị trường AI tạo sinh đang phát triển nhanh chóng. Mục tiêu là ngăn chặn sự độc quyền, thúc đẩy cạnh tranh công bằng và đảm bảo lợi ích người tiêu dùng trong lĩnh vực công nghệ mới nổi này.

https://www.techrepublic.com/article/apac-concerns-foreign-ai-monopoly-competition/

AMD tung "vũ khí" mới trong cuộc đua AI: GPU Instinct MI325x có thể đánh bại Nvidia?

• AMD vừa công bố dòng GPU Instinct MI325x mới tại hội nghị Advancing AI ở San Francisco, nhắm đến việc tăng cường hiệu suất và hiệu quả cho các tác vụ AI phức tạp.

• Instinct MI325x được thiết kế đặc biệt để tăng tốc quá trình đào tạo mô hình nền tảng, tinh chỉnh và suy luận.

• GPU mới có bộ nhớ HBM3E 256GB với băng thông 6TB/s, cao hơn 1,8 lần về dung lượng và 1,3 lần về băng thông so với dòng H200 của Nvidia.

• Về khả năng suy luận LLM, MI325x có thể mang lại hiệu suất cao hơn 1,3 lần trên mô hình Mistral 7B và 1,2 lần trên Llama 3.1 70B.

• Dự kiến MI325x sẽ bắt đầu sản xuất vào Q4/2024 và có sẵn rộng rãi từ các nhà cung cấp nền tảng như Dell, HPE, Lenovo, Supermicro vào Q1/2025.

• AMD cũng hé lộ kế hoạch cho dòng Instinct MI350 thế hệ tiếp theo, dự kiến ra mắt vào nửa cuối năm 2025.

• MI350 sẽ dựa trên kiến trúc CDNA 4, hứa hẹn cải thiện hiệu suất suy luận gấp 35 lần so với các bộ tăng tốc dựa trên CDNA 3.

• Bộ nhớ của MI350 sẽ đạt 288GB HBM3E trên mỗi bộ tăng tốc.

• Động thái này của AMD thể hiện nỗ lực cạnh tranh mạnh mẽ với Nvidia trong lĩnh vực AI, đặc biệt là về hiệu suất và khả năng xử lý các mô hình ngôn ngữ lớn.

• Việc ra mắt liên tiếp các dòng GPU mới cho thấy AMD đang đẩy nhanh lộ trình phát triển của mình trong lĩnh vực AI.

📌 AMD tung ra GPU Instinct MI325x với bộ nhớ HBM3E 256GB, băng thông 6TB/s, vượt trội so với Nvidia H200. Dự kiến ra mắt Q4/2024, tiếp theo là MI350 vào 2025 với hiệu suất suy luận tăng 35 lần, thể hiện tham vọng dẫn đầu của AMD trong cuộc đua AI.

https://www.itpro.com/hardware/amds-new-instinct-gpus-might-just-blow-nvidia-out-of-the-water

Baidu ra mắt Baige 4.0, nâng cao hiệu suất cụm GPU với 99.5% hiệu quả đào tạo cho LLM

- Baige 4.0 của Baidu đạt hiệu suất đào tạo 99.5% cho LLMs trên hàng chục ngàn GPU.
- Nền tảng mới tập trung vào việc cải thiện độ ổn định và hiệu quả của cụm GPU.
- Tính năng nổi bật bao gồm giám sát cụm GPU, tự động phát hiện sự cố và di chuyển khối lượng công việc để ngăn chặn gián đoạn.
- Hệ thống cải thiện khả năng phát hiện và định vị lỗi, giảm thiểu thời gian chết tốn kém.
- Baige 4.0 có khả năng xử lý các cụm lên tới 100.000 GPU, mở rộng hạ tầng đào tạo AI.
- Hiệu suất suy diễn mô hình đã tăng gấp đôi trong suy diễn văn bản dài nhờ kỹ thuật phân tách kiến trúc và phân phối tải.
- Ngân hàng Tiết kiệm Bưu điện Trung Quốc sử dụng Baige để rút ngắn thời gian lặp mô hình từ 1,5 tháng xuống còn nửa ngày.
- Changan Automobile áp dụng Baige cho đào tạo mô hình lái xe tự động, nâng cao hiệu quả sử dụng sức mạnh tính toán.
- Các công ty khởi nghiệp như Shengshu Tech phát triển công cụ tạo video Vidu dựa trên Baige như một lựa chọn địa phương cho các mô hình quốc tế nổi tiếng.
- Qianfan 3.0 được nâng cấp với khả năng truy cập gần một trăm mô hình lớn như ERNIE, giảm chi phí gọi mô hình hơn 90%.
- Qianfan 3.0 hỗ trợ phát triển cả mô hình lớn và nhỏ trong các lĩnh vực như thị giác máy tính và xử lý ngôn ngữ tự nhiên.
- Nền tảng “AI Suda” cho phép doanh nghiệp xây dựng ứng dụng qua đối thoại ngôn ngữ tự nhiên, dễ dàng tiếp cận cho người không chuyên.
- Robin Li, CEO của Baidu, cho biết khoảng 18% kết quả tìm kiếm trực tuyến hiện tại được hỗ trợ bởi AI.
- Những cải tiến của Baidu trong Baige 4.0 và Qianfan 3.0 thể hiện sự ảnh hưởng ngày càng tăng của Trung Quốc trong cuộc đua AI toàn cầu.

📌 Baidu đã ra mắt Baige 4.0 với hiệu suất đào tạo LLMs đạt 99.5% trên hàng chục ngàn GPU và nâng cấp Qianfan 3.0 giúp giảm chi phí gọi mô hình hơn 90%. Những đổi mới này khẳng định vị thế cạnh tranh của Baidu trong lĩnh vực AI toàn cầu.

https://analyticsindiamag.com/ai-news-updates/baidu-launches-baige-4-0-for-boosting-gpu-cluster-efficiency-and-ai-platform-qianfan-3-0/

Eric Schmidt, cựu CEO Google, kêu gọi đầu tư mạnh vào cơ sở hạ tầng AI bất chấp tác động môi trường

• Eric Schmidt, cựu CEO Google, kêu gọi đầu tư toàn diện vào cơ sở hạ tầng AI, bất chấp mục tiêu khí hậu khó đạt được.

• Sự bùng nổ AI đã thúc đẩy chi tiêu cho các trung tâm dữ liệu, cung cấp sức mạnh tính toán cho các mô hình AI.

• Theo McKinsey, các trung tâm dữ liệu dự kiến sẽ tiêu thụ 35 gigawatt điện hàng năm vào năm 2030, tăng từ 17 gigawatt năm ngoái.

• Chính quyền Biden đặt mục tiêu ngành điện trung hòa carbon vào năm 2035 và nền kinh tế Mỹ đạt mức phát thải ròng bằng 0 vào năm 2050.

• Nhu cầu năng lượng lớn của AI đã khiến một số lãnh đạo AI chuyển sang nhiên liệu hóa thạch, đe dọa các mục tiêu phát thải ròng bằng 0.

Schmidt cho rằng có cách giảm thiểu tác động tiêu cực của AI đến môi trường, như sử dụng pin và đường dây điện tốt hơn để xây dựng trung tâm dữ liệu.

• Tuy nhiên, ông tin rằng sự phát triển của AI cuối cùng sẽ vượt qua các biện pháp phòng ngừa này.

• Schmidt nói: "Tất cả sẽ bị lấn át bởi nhu cầu to lớn của công nghệ mới này".

Ông cho rằng chúng ta sẽ không đạt được các mục tiêu khí hậu vì "chúng ta không được tổ chức để làm điều đó".

• Schmidt tuyên bố: "Tôi thà đặt cược vào AI giải quyết vấn đề còn hơn là hạn chế nó và gặp phải vấn đề".

• Năm 2022, Schmidt thành lập White Stork, một công ty quốc phòng phát triển máy bay không người lái được hỗ trợ bởi AI.

• Tại một bài giảng ở Đại học Stanford vào tháng 4, Schmidt nói rằng cuộc chiến ở Ukraine đã biến ông thành một "thương nhân vũ khí".

• Ông cũng cho biết White Stork sẽ "sử dụng AI theo những cách phức tạp, mạnh mẽ cho những cuộc chiến về cơ bản là robot này".

📌 Eric Schmidt, cựu CEO Google, ủng hộ phát triển AI toàn diện bất chấp tác động môi trường. Ông dự đoán trung tâm dữ liệu sẽ tiêu thụ 35 gigawatt điện năm 2030, gấp đôi hiện tại. Schmidt tin AI sẽ giải quyết vấn đề khí hậu, thay vì hạn chế phát triển nó.

https://www.businessinsider.com/eric-schmidt-google-ai-data-centers-energy-climate-goals-2024-10

NPU - "Bộ não AI" đang âm thầm xuất hiện trong mọi thiết bị điện tử của bạn

• NPU (Neural Processing Unit) là đơn vị xử lý thần kinh, một loại bộ xử lý chuyên dụng để tăng tốc các tác vụ AI.

NPU đã xuất hiện trên smartphone từ vài năm trước, gần đây bắt đầu phổ biến trên laptop và PC tiêu dùng.

• Các hãng lớn như Intel, AMD, Apple, Qualcomm đều đang tích hợp NPU vào chip của mình.

NPU đóng vai trò là bộ tăng tốc phần cứng cho AI, bổ sung cho CPU và GPU chứ không thay thế chúng.

• NPU phù hợp với các tác vụ lặp đi lặp lại, ít rẽ nhánh có điều kiện và xử lý lượng lớn dữ liệu.

• Kiến trúc NPU gồm nhiều đơn vị con song song, mỗi đơn vị có bộ nhớ cache riêng nhỏ.

NPU được thiết kế để mô phỏng cách xử lý thông tin của não bộ.

• Các hãng đều phát triển công cụ phần mềm riêng cho NPU của mình như AMD Ryzen AI, Intel OpenVINO.

• NPU đóng vai trò quan trọng trong xu hướng AI biên (edge AI), xử lý dữ liệu cục bộ nhanh hơn và bảo mật hơn.

• NPU hiện có mặt trong nhiều thiết bị tiêu dùng như smartphone, tablet, laptop, PC và cả trong trung tâm dữ liệu.

Dự kiến đến cuối năm 2026, 100% PC doanh nghiệp tại Mỹ sẽ có NPU tích hợp sẵn.

• Microsoft đã ra mắt dòng sản phẩm Copilot+ AI PC có tích hợp NPU để chạy trợ lý AI Copilot.

NPU xử lý các tác vụ AI suy luận (inference) ở quy mô nhỏ, khác với GPU xử lý huấn luyện AI quy mô lớn.

Qualcomm tích hợp NPU vào chip Snapdragon dưới dạng DSP Hexagon.

Apple gọi NPU trong chip A-series và M-series là Neural Engine.

Google phát triển TPU (Tensor Processing Unit) - một dạng NPU cho trung tâm dữ liệu.

📌 NPU đang trở thành công nghệ phổ biến trong các thiết bị điện tử, với 100% PC doanh nghiệp Mỹ dự kiến tích hợp NPU vào năm 2026. NPU mang lại khả năng xử lý AI cục bộ nhanh và bảo mật hơn, mở ra tiềm năng ứng dụng AI rộng rãi trên các thiết bị cá nhân.

https://www.extremetech.com/computing/what-is-an-npu

Đột phá: China Telecom huấn luyện LLM nghìn tỷ tham số trên chip Trung Quốc, thách thức lệnh cấm của Mỹ

• China Telecom, nhà mạng nhà nước Trung Quốc, đã công bố việc phát triển 2 mô hình ngôn ngữ lớn (LLM) được huấn luyện hoàn toàn trên chip sản xuất trong nước.

Mô hình đầu tiên là TeleChat2-115B, mô hình nguồn mở với hơn 100 tỷ tham số.

• Mô hình thứ hai chưa được đặt tên, được cho là có 1 nghìn tỷ tham số.

• Cả hai mô hình được huấn luyện bằng hàng chục nghìn chip sản xuất tại Trung Quốc.

• China Telecom tuyên bố rằng điều này "cho thấy Trung Quốc đã thực sự đạt được sự tự chủ hoàn toàn trong việc huấn luyện LLM trong nước".

• Động thái này là một thách thức đối với các quy định hạn chế xuất khẩu nghiêm ngặt của Mỹ, ngăn chặn việc tiếp cận các GPU cao cấp như Nvidia H100 và A100.

• Mặc dù China Telecom không chỉ rõ nhà cung cấp chip, nhưng có khả năng Huawei đã cung cấp phần lớn, nếu không muốn nói là tất cả.

• Huawei đang định vị mình như một giải pháp thay thế trong nước cho Nvidia.

• China Telecom trước đây đã tiết lộ rằng họ đang phát triển công nghệ LLM sử dụng chip Ascend do Huawei phát triển.

• Huawei gần đây đã bắt đầu gửi mẫu bộ xử lý Ascend 910C mới cho các công ty máy chủ và viễn thông Trung Quốc để thử nghiệm.

Nhiều công ty Trung Quốc, bao gồm ByteDance và Alibaba, đang chuyển sang sử dụng chip của Huawei để đáp ứng nhu cầu AI.

• ByteDance, chủ sở hữu của TikTok, được cho là đã đặt hàng 100.000 bộ xử lý Ascend.

• China Telecom cũng đang khám phá phần cứng từ Cambricon, một startup chip AI địa phương, để đa dạng hóa nguồn cung chip.

• Mặc dù có thị trường chợ đen sôi động cho GPU cao cấp của Nvidia tại Trung Quốc, nhiều công ty vẫn tuân thủ quy định và sử dụng GPU được phép có thông số kỹ thuật thấp hơn như Nvidia H20.

• Các công ty này muốn tránh rủi ro pháp lý và danh tiếng, đồng thời duy trì quyền truy cập vào hỗ trợ của Nvidia.

📌 China Telecom đã đạt được bước tiến quan trọng trong việc phát triển LLM tự chủ, với hai mô hình có 100 tỷ và 1 nghìn tỷ tham số được huấn luyện trên chip nội địa. Điều này thể hiện sự thách thức của Trung Quốc đối với lệnh cấm của Mỹ và sự trỗi dậy của Huawei như một đối thủ cạnh tranh tiềm năng của Nvidia trong lĩnh vực AI.

https://www.techradar.com/pro/one-of-the-worlds-largest-mobile-networks-will-train-its-trillion-parameter-strong-llm-on-huaweis-ai-chips-as-nvidia-amd-are-sidelined

ByteDance đang chuyển hướng sang sử dụng chip Huawei để huấn luyện mô hình AI

• ByteDance, công ty mẹ của TikTok, đang lên kế hoạch phát triển một mô hình AI được huấn luyện chủ yếu bằng chip Ascend 910B của Huawei.

• Động thái này diễn ra trong bối cảnh Mỹ hạn chế xuất khẩu chip AI tiên tiến như của Nvidia từ năm 2022, buộc ByteDance phải tìm kiếm nguồn cung trong nước.

• ByteDance đã đa dạng hóa nguồn cung cấp chip AI trong nước và đẩy nhanh việc phát triển chip riêng kể từ khi có lệnh cấm của Mỹ.

Công ty đã đặt hàng hơn 100.000 chip Ascend 910B trong năm nay nhưng đến tháng 7 mới nhận được dưới 30.000 chip, không đủ đáp ứng nhu cầu.

• Nguồn cung hạn chế và sức mạnh tính toán thấp hơn so với chip Nvidia đã khiến ByteDance chưa thể đặt ra thời hạn cho mô hình mới.

• Mô hình AI mới dự kiến sẽ có khả năng và độ phức tạp thấp hơn so với mô hình Doubao hiện tại của ByteDance.

• ByteDance hiện đang sử dụng chip Ascend 910B chủ yếu cho các tác vụ suy luận ít đòi hỏi tính toán hơn.

• Công ty cũng là khách hàng lớn nhất mua chip H20 AI của Nvidia được thiết kế riêng cho thị trường Trung Quốc.

ByteDance còn là khách hàng lớn nhất của Microsoft tại châu Á về việc sử dụng chip Nvidia thông qua điện toán đám mây.

• Trước đó, ByteDance đã phân bổ 2 tỷ USD để mua chip Nvidia vào năm ngoái.

• Công nghệ AI hiện tại của ByteDance được sử dụng trong mô hình ngôn ngữ lớn Doubao và nhiều ứng dụng khác như công cụ tạo video từ văn bản Jimeng.

• Chatbot Doubao của ByteDance đã trở thành một trong những ứng dụng phổ biến nhất tại Trung Quốc với hơn 10 triệu người dùng hoạt động hàng tháng.

📌 ByteDance đang chuyển hướng sang sử dụng chip Huawei để phát triển mô hình AI mới do lệnh cấm của Mỹ. Công ty đã đặt hàng hơn 100.000 chip Ascend 910B nhưng gặp khó khăn về nguồn cung. Mô hình mới dự kiến có quy mô nhỏ hơn Doubao hiện tại với hơn 10 triệu người dùng hàng tháng.

https://www.scmp.com/tech/big-tech/article/3280545/bytedance-said-be-turning-huawei-chips-train-ai-model-amid-us-curbs-sources-say

ByteDance hợp tác với Broadcom phát triển GPU AI riêng

ByteDance, công ty mẹ của TikTok, đang tìm cách phát triển GPU AI riêng để giảm phụ thuộc vào Nvidia. Công ty này đã chi hơn 2 tỷ USD mua GPU H20 của Nvidia trong năm 2024.

• Hạn chế thương mại của Mỹ gây khó khăn cho các công ty Trung Quốc trong việc tiếp cận phần cứng AI tiên tiến. GPU H20 của Nvidia, phiên bản thu nhỏ của H100, có giá khoảng 10.000 USD/chiếc nhưng vẫn khan hiếm.

• Tình trạng thiếu hụt GPU đã thúc đẩy thị trường đen cho chip cao cấp của Nvidia như H100 và A100, với giá ngày càng tăng do nhu cầu lớn.

ByteDance dự kiến phát triển 2 loại chip AI: một cho đào tạo AI và một cho suy luận AI. Cả hai sẽ được sản xuất bằng quy trình N4/N5 tiên tiến của TSMC, công nghệ tương tự như GPU Blackwell của Nvidia.

Broadcom, công ty nổi tiếng với thiết kế chip AI cho Google, sẽ dẫn đầu việc phát triển các GPU này. Dự kiến sản xuất hàng loạt vào năm 2026.

• Nhiều công ty Trung Quốc đã phát triển GPU AI riêng để giảm phụ thuộc vào Nvidia, nhưng hầu hết vẫn dựa vào phần cứng Nvidia cho các tác vụ đòi hỏi cao.

ByteDance sẽ phải đối mặt với thách thức trong việc phát triển nền tảng phần mềm riêng và đảm bảo tương thích với phần cứng mới, thay vì dựa vào CUDA và hệ thống phần mềm hỗ trợ của Nvidia.

• Việc chuyển đổi hoàn toàn sang phần cứng riêng của ByteDance vẫn còn nhiều điều không chắc chắn.

• Động thái này của ByteDance nhằm đối phó với tình trạng khan hiếm GPU và hạn chế thương mại của Mỹ, đồng thời giảm rủi ro pháp lý và danh tiếng liên quan đến thị trường đen GPU.

📌 ByteDance hợp tác Broadcom phát triển GPU AI riêng, dự kiến sản xuất hàng loạt năm 2026 với công nghệ TSMC. Động thái nhằm giảm phụ thuộc vào Nvidia, đối phó hạn chế thương mại Mỹ. Thách thức lớn là phát triển nền tảng phần mềm tương thích.

https://www.techradar.com/pro/wait-now-broadcom-makes-gpus-nvidia-could-face-unexpected-foe-in-china-as-bytedance-could-use-rival-bigger-than-intel-amd-arm-and-qualcomm-to-design-its-ai-chip

Trung Quốc đạt bước đột phá trong AI, huấn luyện AI tạo sinh trên nhiều DC và kiến trúc GPU khác nhau

• Theo tiết lộ của Patrick Moorhead, Chuyên gia phân tích trưởng tại Moor Insights & Strategy, Trung Quốc đã phát triển thành công một mô hình AI tạo sinh (GAI) duy nhất trên nhiều trung tâm dữ liệu khác nhau.

Đây là một thành tựu đáng kinh ngạc, xét đến độ phức tạp của việc sử dụng các GPU khác nhau trong một trung tâm dữ liệu, chứ chưa nói đến việc sử dụng máy chủ ở nhiều vị trí địa lý khác nhau.

• Kỹ thuật huấn luyện GAI trên các địa điểm/kiến trúc khác nhau là rất quan trọng đối với Trung Quốc để duy trì tham vọng AI của họ, đặc biệt khi các lệnh trừng phạt của Mỹ đã ngăn cản nước này tiếp cận các chip mạnh mẽ và tiên tiến nhất.

• Nvidia đã tạo ra chip AI H20 ít mạnh hơn để phù hợp với các thông số hiệu suất hạn chế của Washington, nhằm không mất thị trường Trung Quốc. Tuy nhiên, có tin đồn rằng ngay cả những chip đã bị hạ cấp này cũng có thể sớm bị cấm.

Để đối phó với tình trạng thiếu hụt GPU hiệu năng cao, các nhà nghiên cứu Trung Quốc đã nỗ lực kết hợp GPU từ các thương hiệu khác nhau thành một cụm huấn luyện duy nhất.

• Kỹ thuật này cho phép các tổ chức kết hợp số lượng hạn chế các chip hiệu năng cao bị trừng phạt như Nvidia A100 với các GPU ít mạnh hơn nhưng dễ tiếp cận như Huawei Ascend 910B hoặc Nvidia H20.

Mặc dù trước đây việc này thường đi kèm với sự sụt giảm lớn về hiệu quả, nhưng có vẻ như Trung Quốc đã tìm ra cách giải quyết vấn đề này, đặc biệt là với tin tức về việc phát triển GAI duy nhất trên nhiều trung tâm dữ liệu.

• Thành tựu này cho thấy mức độ nỗ lực mà các nhà nghiên cứu Trung Quốc sẵn sàng thực hiện để đảm bảo họ có thể tiếp tục thúc đẩy tham vọng AI của đất nước.

• Huawei đã tuyên bố rằng Trung Quốc sẽ tìm ra cách tiếp tục phát triển AI bất chấp các lệnh trừng phạt của Mỹ, minh chứng cho câu nói "cần thiết là mẹ đẻ của phát minh".

📌 Trung Quốc đã đạt được bước đột phá quan trọng trong lĩnh vực AI bằng cách huấn luyện mô hình AI tạo sinh trên nhiều trung tâm dữ liệu và kiến trúc GPU khác nhau. Thành tựu này giúp Trung Quốc vượt qua các lệnh cấm chip của Mỹ và tiếp tục thúc đẩy tham vọng AI của mình, minh chứng cho khả năng đổi mới và thích ứng của nước này trong lĩnh vực công nghệ.

https://www.tomshardware.com/tech-industry/artificial-intelligence/china-makes-ai-breakthrough-reportedly-trains-generative-ai-model-across-multiple-data-centers-and-gpu-architectures

Việt Nam hút đầu tư trung tâm dữ liệu quy mô lớn, thúc đẩy phát triển AI

• Supermicro (Mỹ) vừa ký biên bản ghi nhớ với Tập đoàn Sovico (Việt Nam) về phát triển trung tâm dữ liệu tại Việt Nam.

• Wally Liaw, Phó chủ tịch cấp cao Supermicro, cho biết công ty đề xuất hợp tác với Việt Nam trong phát triển trung tâm dữ liệu và sản xuất hệ thống máy chủ.

• Google đang cân nhắc xây dựng trung tâm dữ liệu quy mô lớn đầu tiên tại Việt Nam, có thể gần TP.HCM, nhằm đáp ứng nhu cầu của khách hàng dịch vụ đám mây trong và ngoài nước.

Liên doanh giữa VNG và ST Telemedia Global Data Centres cam kết phát triển 60MW tại TP.HCM.

• CMC Corporation công bố kế hoạch xây dựng trung tâm dữ liệu quy mô lớn tại TP.HCM vào tháng 7/2024.

• Alibaba tiết lộ kế hoạch xây dựng trung tâm dữ liệu tại Việt Nam vào tháng 5/2024.

• Fitch Solutions cho biết Việt Nam đã tự do hóa thị trường trung tâm dữ liệu bằng cách dỡ bỏ giới hạn sở hữu nước ngoài 49%, cho phép đầu tư nước ngoài 100%.

Dự kiến Việt Nam sẽ có thêm khoảng 100MW công suất trung tâm dữ liệu trong 2 năm tới, so với công suất hiện tại khoảng 30MW.

• Theo báo cáo của Bain & Company, thị trường phần cứng và phần mềm liên quan đến AI dự kiến tăng trưởng 40-55% hàng năm, đạt 780-990 tỷ USD vào năm 2027.

• Khối lượng công việc AI có thể tăng 25-35% mỗi năm đến năm 2027, đòi hỏi mở rộng quy mô các trung tâm dữ liệu lớn trong 5-10 năm tới.

AI sẽ thúc đẩy tăng trưởng trung tâm dữ liệu từ 50-200MW hiện nay lên hơn 1GW.

• Chi phí xây dựng trung tâm dữ liệu lớn có thể tăng từ 1-4 tỷ USD hiện nay lên 10-25 tỷ USD trong 5 năm tới.

• Những thay đổi này sẽ có tác động lớn đến hệ sinh thái hỗ trợ trung tâm dữ liệu, bao gồm kỹ thuật hạ tầng, sản xuất điện, làm mát, cũng như gây áp lực lên chuỗi cung ứng.

📌 Việt Nam đang trở thành điểm đến hấp dẫn cho đầu tư trung tâm dữ liệu quy mô lớn, với sự tham gia của nhiều tập đoàn công nghệ hàng đầu thế giới. Dự kiến công suất trung tâm dữ liệu sẽ tăng từ 30MW lên 130MW trong 2 năm tới, đáp ứng nhu cầu ngày càng tăng về AI và chuyển đổi số.

https://vir.com.vn/more-investments-planned-for-vietnams-hyperscale-data-centres-115056.html

Google đầu tư 1 tỷ USD vào Thái Lan: xây trung tâm dữ liệu, thúc đẩy AI và đám mây

• Google công bố kế hoạch đầu tư 36 tỷ baht Thái (khoảng 1 tỷ USD) vào Thái Lan để xây dựng trung tâm dữ liệu mới và mở rộng cơ sở hạ tầng đám mây.

Đây là trung tâm dữ liệu đầu tiên của Google tại Thái Lan, sẽ được xây dựng ở tỉnh Chonburi phía đông nước này.

• Khoản đầu tư này đánh dấu sự mở rộng của Google tại châu Á, đặt trí tuệ nhân tạo (AI) vào trọng tâm chiến lược quốc tế của công ty.

• Trung tâm dữ liệu mới sẽ hỗ trợ nhu cầu ngày càng tăng về Google Cloud, các đổi mới AI, cũng như các dịch vụ phổ biến như Google Search, Google Maps và Google Workspace tại Thái Lan.

• Ngoài phát triển cơ sở hạ tầng, khoản đầu tư 1 tỷ USD còn nhằm mở ra cơ hội mới cho doanh nghiệp, giáo dục và người dân Thái Lan.

• Google nhấn mạnh tầm quan trọng của việc đào tạo và nâng cao kỹ năng cho người Thái để sử dụng công nghệ AI khi nó đang chuyển đổi các ngành công nghiệp.

• Theo báo cáo của Google, Temasek và Bain & Company năm 2023, nền kinh tế số của Thái Lan là lớn thứ hai ở Đông Nam Á và dự kiến đạt 50 tỷ USD vào năm 2025.

• Google đang đầu tư vào khu vực này với trọng tâm là AI khi phải đối mặt với áp lực từ các đối thủ công nghệ lớn trong lĩnh vực AI và điện toán đám mây.

• Công ty đang phải đối mặt với mối đe dọa từ sự gia tăng của các công cụ AI tạo sinh như ChatGPT của OpenAI.

• Tuần trước, Google đã đệ đơn kiện chống độc quyền lên Ủy ban Châu Âu, cáo buộc Microsoft lạm dụng vị trí thống lĩnh trong ngành công nghiệp đám mây để cản trở cạnh tranh.

📌 Google đầu tư 1 tỷ USD vào Thái Lan, xây dựng trung tâm dữ liệu đầu tiên tại Chonburi và mở rộng cơ sở hạ tầng đám mây. Khoản đầu tư nhằm thúc đẩy AI, hỗ trợ nhu cầu dịch vụ đám mây, mở ra cơ hội mới cho doanh nghiệp và giáo dục tại quốc gia có nền kinh tế số lớn thứ 2 Đông Nam Á.

https://www.cnbc.com/2024/09/30/google-to-invest-1-billion-in-thailand-data-center-and-ai-push.html

Tạp chí TIME: Phỏng vấn CEO Lisa Su của AMD tiết lộ chiến lược tăng trưởng, tập trung vào AI

  - Lisa Su dẫn dắt AMD từ năm 2014, khi giá cổ phiếu chỉ khoảng 3 USD, tăng lên trên 160 USD vào tháng 9 năm 2024, đạt giá trị thị trường hơn 260 tỷ USD.
  - Tập trung vào sản xuất CPU cho laptop và PC, cùng GPU cho máy chơi game và các thiết bị điện tử khác.

Đầu tư vào trí tuệ nhân tạo
  - Ra mắt chip AI MI300 vào tháng 12 năm 2023, được xem là sản phẩm tăng trưởng nhanh nhất của AMD.
  - MI300X được đánh giá là bộ tăng tốc AI tiên tiến nhất trong ngành, cạnh tranh trực tiếp với Nvidia H100.
  - AMD xem AI là toàn diện trong mọi sản phẩm, từ máy tính cá nhân đến các trung tâm dữ liệu đám mây.

- Chính sách mua lại mở rộng
  - Mua lại Xilinx, thương vụ mua bán bán dẫn lớn nhất tính đến nay.
  - Mua Pensando với giá 1,9 tỷ USD, công ty chuyên về mạng trung tâm dữ liệu.
  - Mua ZT Systems và Silo AI, lab AI lớn nhất châu Âu, tăng cường khả năng AI tạo sinh nâng cao truy xuất dữ liệu ngoài.

Hợp tác chiến lược và đối tác
  - Hợp tác với Microsoft, Meta, Oracle trong việc phát triển các giải pháp AI.
  - Tạo nền tảng AI từ cốt lõi, cung cấp cả phần cứng và phần mềm cho khách hàng toàn cầu.

Tầm nhìn tương lai và dự đoán
  - Dự đoán AI sẽ là động lực chính thúc đẩy năng suất kinh tế trong 5 năm tới.
  - Tin rằng AI sẽ giúp giải quyết các vấn đề khó khăn như nghiên cứu y học và chẩn đoán bệnh nhanh hơn.
  - Nhấn mạnh tầm quan trọng của năng lực tính toán trong việc phát triển các mô hình AI ngày càng phức tạp.

Chính sách và địa chính trị
  - AMD duy trì sự tuân thủ nghiêm ngặt các quy định xuất khẩu toàn cầu.
  - Đầu tư vào khả năng sản xuất linh hoạt để đối phó với các vấn đề địa chính trị.
  - Mở rộng thị trường tại Trung Quốc và các khu vực khác trên toàn thế giới.

Lãnh đạo nữ trong ngành công nghệ
  - Lisa Su khuyến khích cơ hội cho phụ nữ trong công nghệ thông qua các sáng kiến lãnh đạo.
  - Thúc đẩy sự đa dạng và tạo điều kiện cho nhân tài nữ tỏa sáng trong ngành.

📌 AMD dưới sự lãnh đạo của Lisa Su đã đạt được những bước tiến vượt bậc với chiến lược tập trung vào AI và các đợt mua lại chiến lược, nâng cao giá trị thị trường lên hơn 260 tỷ USD. Tầm nhìn về một tương lai AI toàn diện cùng với hợp tác chiến lược đã định hình AMD trở thành một nhà lãnh đạo trong công nghệ cao.

https://time.com/7026241/lisa-su-amd-ceo-interview/

#TIME

Khám phá xu hướng mới trong lĩnh vực chip AI và bộ tăng tốc, vượt xa GPU truyền thống

• Các trung tâm dữ liệu đang tích hợp các chip chuyên dụng và "đồng xử lý" để tăng cường khả năng xử lý các tác vụ AI phức tạp.

GPU chiếm 74% thị phần đồng xử lý cho các ứng dụng AI trong trung tâm dữ liệu năm ngoái, dự kiến đạt doanh thu 102 tỷ USD vào năm 2028.

• Tuy nhiên, chi phí sở hữu GPU rất cao. Ví dụ: một máy chủ với 36 chip GB200 của Nvidia có thể lên tới 2 triệu USD.

• Nhiều doanh nghiệp đang tìm kiếm các giải pháp thay thế hiệu quả về chi phí cho các tác vụ AI cường độ thấp và trung bình.

Các bộ xử lý và bộ tăng tốc AI chuyên dụng đang nổi lên như một giải pháp thay thế, tập trung vào các chức năng AI cụ thể.

• 3 kiến trúc chính bao gồm: Mạch tích hợp chuyên dụng (ASIC), Mảng cổng có thể lập trình (FPGA) và Đơn vị xử lý thần kinh (NPU).

• ASIC được xây dựng tùy chỉnh cho một tác vụ cụ thể, FPGA có thể được cấu hình lại, còn NPU chỉ tập trung vào việc tăng tốc các tác vụ AI/ML.

Các bộ tăng tốc, đặc biệt là ASIC và NPU, có thể hiệu quả hơn GPU về chi phí và mức tiêu thụ điện năng.

• IBM đang sử dụng cả GPU và bộ tăng tốc AI từ nhiều nhà cung cấp như Nvidia và Intel trong hệ thống đám mây lai của mình.

• Các máy chủ ảo IBM Cloud sử dụng bộ tăng tốc Gaudi 3 của Intel cho các tác vụ suy luận và yêu cầu bộ nhớ cao.

Nhiều startup như Groq, Graphcore, SambaNova Systems và Cerebras Systems cũng đang phát triển các sản phẩm bộ tăng tốc AI chuyên dụng.

• Tractable, một công ty phát triển AI để phân tích thiệt hại tài sản, đã đạt được hiệu suất tăng gấp 5 lần khi sử dụng hệ thống IPU-POD của Graphcore so với GPU.

• Các bộ xử lý AI cũng đang được sử dụng cho các tác vụ huấn luyện AI trong một số trường hợp.

• Việc lựa chọn bộ tăng tốc AI phù hợp phụ thuộc vào quy mô và loại tác vụ, dữ liệu, khả năng lặp lại/thay đổi liên tục và nhu cầu về chi phí và tính sẵn có.

• Các chuyên gia khuyến nghị nên chạy các bài kiểm chuẩn để đánh giá lợi ích về hiệu suất và chi phí trước khi đưa ra quyết định.

• Thị trường phần cứng AI tổng thể, bao gồm chip AI, bộ tăng tốc và GPU, dự kiến sẽ tăng trưởng 30% hàng năm, đạt 138 tỷ USD vào năm 2028.

📌 Thị trường chip AI đang phát triển đa dạng với sự xuất hiện của các bộ xử lý và tăng tốc chuyên dụng như ASIC, FPGA và NPU. Các giải pháp này hứa hẹn mang lại hiệu quả chi phí và năng lượng cao hơn so với GPU truyền thống cho nhiều tác vụ AI cụ thể. Dự kiến thị trường phần cứng AI sẽ đạt 138 tỷ USD vào năm 2028, tăng trưởng 30% hàng năm.

 

https://venturebeat.com/data-infrastructure/going-beyond-gpus-the-evolving-landscape-of-ai-chips-and-accelerators/

Xây dựng cơ sở hạ tầng AI an toàn và có quản trị cho tương lai

Xây dựng cơ sở hạ tầng AI đòi hỏi cân bằng giữa bảo mật và quản trị để khai thác tiềm năng của AI mang lại hiệu quả, tiết kiệm chi phí và hiểu sâu hơn về khách hàng.

• Cơ sở hạ tầng AI cần được thiết kế linh hoạt để thích ứng với sự thay đổi của doanh nghiệp. Bảo mật phải bảo vệ doanh thu và quản trị phải đồng bộ với việc tuân thủ nội bộ và trên toàn bộ phạm vi hoạt động của công ty.

• Các thành phần cốt lõi của cơ sở hạ tầng AI cần được củng cố liên tục. Bảo mật, quản trị và tuân thủ cần chia sẻ nền tảng dữ liệu chung để có thông tin chi tiết theo thời gian thực.

• Cơ sở hạ tầng AI mạnh mẽ giúp tự động hóa kiểm toán, tìm ra các trở ngại và xác định những khoảng trống lớn nhất trong bảo mật, quản trị và tuân thủ.

• Các tổ chức cần triển khai các biện pháp bảo vệ phù hợp để đổi mới an toàn với AI, do thiếu các khung quản trị hoặc tuân thủ được ngành công nghiệp phê duyệt.

Các nhóm tội phạm mạng và các quốc gia đang nhắm mục tiêu vào cơ sở hạ tầng AI của các quốc gia và công ty. Các biện pháp bảo mật hiệu quả bao gồm thủy vân cho mô hình và công cụ phát hiện bất thường dựa trên AI.

Mô hình là bề mặt đe dọa rủi ro cao của cơ sở hạ tầng AI. 73% doanh nghiệp đã triển khai hàng trăm hoặc hàng nghìn mô hình.

• Thiết kế hướng tới sự tin cậy cần được đặt ở trung tâm của cơ sở hạ tầng AI, với các mục tiêu thiết kế cụ thể như trách nhiệm giải trình, khả năng giải thích, công bằng, mạnh mẽ và minh bạch.

Quản trị đóng vai trò quan trọng trong cơ sở hạ tầng AI, đảm bảo các hệ thống và mô hình AI được phát triển, triển khai và duy trì một cách có đạo đức, an toàn và có trách nhiệm.

• Các tổ chức cần chịu trách nhiệm về cách cơ sở hạ tầng AI của họ giám sát, kiểm soát và cải thiện để giảm thiểu và loại bỏ thiên kiến.

IBM đã thiết lập một khung quản trị bao gồm các "điểm trọng tâm" - các giám đốc cấp trung có chuyên môn về AI - để xem xét các dự án đang phát triển nhằm đảm bảo tuân thủ các Nguyên tắc về Tin cậy và Minh bạch của IBM.

• AI có thể giải thích được đang nổi lên như một xu hướng quan trọng để cải thiện tính minh bạch của mô hình và khắc phục sự thiên vị.

📌 Xây dựng cơ sở hạ tầng AI an toàn và có quản trị đòi hỏi cân bằng giữa bảo mật và quản trị. Các biện pháp quan trọng bao gồm thủy vân mô hình, phát hiện bất thường dựa trên AI và thiết kế hướng tới sự tin cậy. 73% doanh nghiệp đã triển khai hàng trăm hoặc hàng nghìn mô hình AI, đòi hỏi quản trị và giảm thiểu thiên kiến chặt chẽ.

 

https://venturebeat.com/security/building-and-securing-a-governed-ai-infrastructure-for-the-future/

Google ra mắt Alphachip: AI thiết kế chip trong vài giờ, thách thức cả chuyên gia lành nghề

• Google vừa công bố phương pháp học tăng cường AlphaChip để thiết kế layout chip. Công nghệ này hứa hẹn tăng tốc đáng kể quá trình thiết kế floorplan chip và tối ưu hóa hiệu suất, công suất và diện tích.

Thiết kế layout chip truyền thống là giai đoạn dài nhất và tốn nhiều công sức nhất trong phát triển chip. Với GPU phức tạp, quá trình này có thể mất 24 tháng nếu thực hiện bởi con người. Google cho biết AlphaChip có thể tạo layout chip chỉ trong vài giờ.

• AlphaChip sử dụng mô hình học tăng cường, trong đó hệ thống coi việc lập floorplan chip như một trò chơi đặt từng thành phần mạch lên lưới trống. Hệ thống cải thiện khi giải quyết nhiều layout hơn, sử dụng mạng nơ-ron đồ thị để hiểu mối quan hệ giữa các thành phần.

Từ năm 2020, AlphaChip đã được sử dụng để thiết kế các bộ xử lý TPU của Google, điều khiển nhiều mô hình AI quy mô lớn và dịch vụ đám mây của công ty. Công nghệ này đã cải thiện thiết kế của mỗi thế hệ TPU tiếp theo, bao gồm cả chip Trillium thế hệ thứ 6 mới nhất.

MediaTek cũng đã áp dụng AlphaChip để phát triển các chip Dimensity 5G được sử dụng rộng rãi trong smartphone. AlphaChip có thể tổng quát hóa trên nhiều loại bộ xử lý khác nhau.

Google cho biết thành công của AlphaChip đã truyền cảm hứng cho làn sóng nghiên cứu mới về việc sử dụng AI cho các giai đoạn khác nhau của thiết kế chip, bao gồm tổng hợp logic, lựa chọn macro và tối ưu hóa thời gian.

Trong tương lai, Google thấy tiềm năng của AlphaChip trong việc cách mạng hóa toàn bộ vòng đời thiết kế chip: từ thiết kế kiến trúc đến layout và sản xuất. Điều này có thể dẫn đến các chip nhanh hơn, nhỏ hơn và tiết kiệm năng lượng hơn.

• Hiện tại, các máy chủ của Google và smartphone dựa trên MediaTek Dimensity 5G đang hưởng lợi từ AlphaChip, nhưng trong tương lai ứng dụng có thể mở rộng ra hầu hết mọi thứ.

📌 Google giới thiệu AlphaChip, công nghệ AI thiết kế layout chip trong vài giờ thay vì 24 tháng. Đã được Google và MediaTek áp dụng cho TPU và chip Dimensity 5G. Hứa hẹn cách mạng hóa toàn bộ quy trình thiết kế chip, tạo ra các chip nhanh hơn, nhỏ hơn và tiết kiệm năng lượng hơn.

https://www.tomshardware.com/tech-industry/google-unveils-alphachip-ai-assisted-chip-design-technology-chip-layout-as-a-game-for-a-computer

Huawei thử nghiệm chip AI Ascend 910C mới nhằm thay thế chip Nvidia

• Huawei đã bắt đầu gửi mẫu bộ xử lý Ascend 910C mới cho các công ty máy chủ lớn ở Trung Quốc để kiểm tra phần cứng và cấu hình.

• Chip 910C là phiên bản nâng cấp của 910B, đang được cung cấp cho các công ty internet lớn của Trung Quốc, vốn cũng là khách hàng chính của Nvidia.

• Huawei đang chạy đua để lấp khoảng trống do Nvidia để lại sau khi Washington cấm công ty chip Mỹ xuất khẩu GPU tiên tiến nhất sang Trung Quốc.

• Chip Ascend 910B của Huawei được cho là ngang bằng với chip A100 phổ biến của Nvidia, trở thành lựa chọn hàng đầu ở nhiều ngành công nghiệp Trung Quốc.

• Giải pháp Ascend của Huawei được sử dụng để đào tạo khoảng một nửa trong số hơn 70 mô hình ngôn ngữ lớn hàng đầu của Trung Quốc tính đến năm ngoái.

• Chủ tịch luân phiên Eric Xu Zhijun của Huawei cho biết công ty đã xây dựng hai mảng kinh doanh điện toán trong 5 năm qua để tạo ra lựa chọn đáp ứng nhu cầu cơ sở hạ tầng AI của doanh nghiệp.

• Huawei thường gộp các giải pháp của mình, yêu cầu khách hàng mua cả giải pháp mạng và lưu trữ khi mua chip AI.

• Nvidia từng bị cấm bán GPU A100 và H100 cho khách hàng Trung Quốc vào tháng 8/2022. Sau đó họ đã sửa đổi thành A800 và H800 để vượt qua hạn chế, nhưng Washington lại cấm xuất khẩu các phiên bản này vào tháng 10/2023.

Nvidia tiếp tục phát triển GPU H20, L20 và L2 để duy trì thị phần tại Trung Quốc. Ban đầu nhu cầu H20 còn yếu nhưng đã tăng đều đặn trong những tháng gần đây.

• Sử dụng chip tuân thủ quy định của Mỹ quan trọng hơn đối với các nhà cung cấp dịch vụ đám mây lớn của Trung Quốc vì nó cho phép họ tiếp cận hỗ trợ kỹ thuật và dịch vụ bảo trì của Nvidia.

Nvidia dự kiến sẽ cung cấp hơn 1 triệu GPU H20 tại Trung Quốc trong năm nay, đạt doanh số 12 tỷ USD.

📌 Huawei đang thử nghiệm chip AI Ascend 910C mới với các công ty máy chủ lớn ở Trung Quốc, nhằm thay thế chip Nvidia bị cấm. Dự kiến Nvidia vẫn sẽ cung cấp hơn 1 triệu GPU H20 tại Trung Quốc trong năm nay, đạt doanh số 12 tỷ USD. Cuộc đua phát triển chip AI nội địa của Trung Quốc đang diễn ra quyết liệt.

https://www.scmp.com/tech/big-tech/article/3280306/huaweis-ai-chips-take-another-step-forward-chinese-firms-look-nvidia-alternatives

"Sứ mệnh AI Ấn Độ" mở rộng cơ hội cho các công ty nhỏ tham gia

• Chính phủ Ấn Độ đã giảm ngưỡng doanh thu cho các công ty muốn đấu thầu GPU từ 100 crore rupee xuống còn 50 crore rupee (khoảng 6 triệu USD).

• Thay đổi này nhằm đáp ứng yêu cầu của ngành công nghiệp, cho phép cả doanh nghiệp nhỏ tham gia vào gói thầu GPU trị giá 10.000 crore rupee (khoảng 1,2 tỷ USD).

• Theo quy định mới, nhà thầu hoặc đối tác chính phải có doanh thu trung bình hàng năm trên 50 crore rupee trong 3 năm tài chính gần nhất.

• Tarun Dua, CEO của E2E Networks, hoan nghênh sự thay đổi này vì giúp công ty có thể tham gia trực tiếp mà không cần liên danh.

• Sunil Gupta, CEO của Yotta Data Services, cho rằng việc hạ ngưỡng doanh thu và tăng tính linh hoạt sẽ giúp nhiều startup trong lĩnh vực dịch vụ AI dễ dàng tham gia hơn.

• Nhà thầu giờ đây có thể nộp đơn đặt hàng GPU sau 3 tháng trúng thầu, thay vì phải có sẵn khi nộp hồ sơ. Tuy nhiên, cần nộp bảo lãnh ngân hàng 50-100 crore rupee.

Một số chuyên gia cho rằng yêu cầu bảo lãnh ngân hàng vẫn khó khăn cho các công ty nhỏ, chỉ phù hợp với doanh nghiệp lớn.

Chính phủ sẽ trao điểm thưởng cho các công ty đã đầu tư sớm vào cơ sở hạ tầng GPU, với 1 điểm cho mỗi 20 đơn vị tính toán AI trên 50, tối đa 15 điểm.

Các nhà thầu phải tuân thủ hướng dẫn "Make in India" của Bộ Thương mại và Công nghiệp.

Yêu cầu mới về hiệu quả sử dụng năng lượng (PUE) không quá 1,35 cho các trung tâm dữ liệu cung cấp dịch vụ AI đám mây.

• Nhiều công ty công nghệ lớn như Nvidia, Intel, Microsoft Azure, Amazon Web Services, Google Cloud đã thể hiện sự quan tâm đến gói thầu này.

• Thị trường GPU trong nước được đánh giá là rất tiềm năng nhờ sự bùng nổ của ngành AI.

• Hạn chót nộp hồ sơ dự thầu đã được gia hạn đến ngày 16/10/2024.

📌 Chính phủ Ấn Độ đã điều chỉnh chính sách đấu thầu GPU trị giá 1,2 tỷ USD, tạo cơ hội cho cả doanh nghiệp nhỏ tham gia. Yêu cầu doanh thu giảm còn 6 triệu USD/năm, nhưng vẫn có những rào cản như bảo lãnh ngân hàng lớn. Dự án hứa hẹn thúc đẩy mạnh mẽ ngành AI của Ấn Độ.

https://economictimes.indiatimes.com/tech/artificial-intelligence/small-companies-can-now-chase-indias-giant-ai-dreams/articleshow/113749367.cms

 

Giải thích về Sứ mệnh IndiaAI:

https://pib.gov.in/PressReleasePage.aspx?PRID=2012375

(ban hành tháng 3/2024)

• Nội các Ấn Độ đã phê duyệt khoản đầu tư hơn 10.300 crore rupee (khoảng 1,24 tỷ USD) cho Sứ mệnh IndiaAI trong 5 năm tới.

• Mục tiêu chính là thúc đẩy hệ sinh thái AI của Ấn Độ thông qua mô hình hợp tác công-tư.

• Kế hoạch bao gồm nhiều sáng kiến quan trọng:
- IndiaAI Compute Capacity: Xây dựng cơ sở hạ tầng tính toán AI tiên tiến với hơn 10.000 GPU.
- IndiaAI Innovation Centre (IAIC): Phát triển các mô hình nền tảng AI bản địa.
- IndiaAI Datasets Platform: Nâng cao khả năng tiếp cận và chất lượng dữ liệu khu vực công.
- IndiaAI Application Development Initiative: Thúc đẩy phát triển ứng dụng AI.
- IndiaAI FutureSkills: Mở rộng giáo dục AI ở cấp đại học và sau đại học.
- IndiaAI Startup Financing: Hỗ trợ tài chính cho các startup AI.
- Safe & Trusted AI: Đảm bảo triển khai AI có đạo đức và đáng tin cậy.

• Bộ trưởng Rajeev Chandrasekhar nhấn mạnh AI sẽ là yếu tố thúc đẩy nền kinh tế số của Ấn Độ.

• Khoản đầu tư này sẽ mang lại lợi ích cho người dân và góp phần mở rộng nền kinh tế Ấn Độ.

• Đặc biệt, các bang như Kerala có tiềm năng lớn về đổi mới AI và startup sẽ được hưởng lợi từ khoản tài trợ này.

• IndiaAI Startup Financing sẽ tạo điều kiện thuận lợi cho các startup AI tiếp cận nguồn vốn từ giai đoạn phát triển sản phẩm đến thương mại hóa.

• IAIC sẽ dẫn đầu trong việc phát triển và triển khai các mô hình nền tảng, tập trung vào Mô hình Đa phương thức Lớn (LMM) bản địa.

• IndiaAI Datasets Platform sẽ nâng cao khả năng tiếp cận, chất lượng và tiện ích của các bộ dữ liệu khu vực công.

• Chương trình IndiaAI FutureSkills sẽ mở rộng phạm vi giáo dục AI, tăng cường khả năng tiếp cận các chương trình AI ở bậc đại học và sau đại học.

Các phòng thí nghiệm Dữ liệu và AI sẽ được thành lập không chỉ ở các thành phố lớn mà còn ở các thị trấn và thành phố nhỏ hơn.

• Sứ mệnh IndiaAI nhằm mục đích củng cố vị thế lãnh đạo toàn cầu của Ấn Độ trong lĩnh vực AI, thúc đẩy tự chủ công nghệ và dân chủ hóa lợi ích của AI cho toàn xã hội.

 

Trung Quốc kêu gọi doanh nghiệp trong nước tránh xa chip Nvidia, thúc đẩy phát triển chip AI nội địa

Bắc Kinh đang gia tăng áp lực buộc các công ty Trung Quốc mua chip AI sản xuất trong nước thay vì sản phẩm của Nvidia, nhằm mở rộng ngành công nghiệp bán dẫn và đối phó lệnh trừng phạt của Mỹ.

Các cơ quan quản lý Trung Quốc đã khuyến cáo các công ty không mua chip H20 của Nvidia, được sử dụng để phát triển và chạy các mô hình AI. Đây là hình thức hướng dẫn chứ không phải lệnh cấm hoàn toàn.

• Mục đích là giúp các nhà sản xuất chip AI trong nước như Cambricon Technologies và Huawei giành thêm thị phần, đồng thời chuẩn bị cho các công ty công nghệ địa phương đối phó với các hạn chế bổ sung tiềm tàng từ Mỹ.

• Chính phủ Mỹ đã cấm Nvidia bán các bộ xử lý AI tiên tiến nhất cho khách hàng Trung Quốc vào năm 2022. Nvidia sau đó đã điều chỉnh các phiên bản chip tiếp theo để có thể bán theo quy định của Bộ Thương mại Mỹ.

Doanh thu từ Trung Quốc của Nvidia trong quý 7/2023 đạt khoảng 3,7 tỷ USD, tăng hơn 30% so với cùng kỳ năm trước, chiếm 12% tổng doanh thu.

• Các nhà thiết kế và sản xuất chip Trung Quốc đang nỗ lực giới thiệu các sản phẩm thay thế Nvidia. Tuy nhiên, chip AI nội địa vẫn thua xa sản phẩm của Nvidia về hiệu năng.

Một số công ty Trung Quốc đang bỏ qua chỉ thị tránh mua chip H20 và đổ xô mua nhiều hơn trước khi Mỹ áp đặt lệnh trừng phạt mới dự kiến vào cuối năm nay.

• Trung Quốc có ngành AI đang phát triển mạnh mẽ bất chấp các hạn chế của Mỹ. ByteDance và Alibaba đang đầu tư mạnh, trong khi nhiều startup cạnh tranh vị trí dẫn đầu trong phát triển mô hình ngôn ngữ lớn.

📌 Trung Quốc đang thúc đẩy phát triển chip AI nội địa, khuyến khích doanh nghiệp tránh sử dụng chip Nvidia để đối phó lệnh cấm của Mỹ. Dù vậy, chip Nvidia vẫn chiếm ưu thế với doanh thu từ Trung Quốc đạt 3,7 tỷ USD trong quý 7/2023, tăng 30% so với cùng kỳ năm trước.

https://www.bloomberg.com/news/articles/2024-09-27/china-urges-local-companies-to-stay-away-from-nvidia-s-ai-chips

Nebius ra mắt trung tâm dữ liệu AI tại Paris, đầu tư 1 tỷ USD vào châu Âu

• Nebius vừa công bố khai trương trung tâm dữ liệu mới tại Paris, là một trong những trung tâm đầu tiên ở châu Âu cung cấp GPU NVIDIA H200 Tensor Core.

Công ty này là phiên bản đổi tên của bộ phận châu Âu của Yandex - "Google của Nga". Nebius đang đầu tư hơn 1 tỷ USD để xây dựng cơ sở hạ tầng AI trên toàn châu Âu đến giữa năm 2025.

• Arkady Volozh, CEO và nhà sáng lập Nebius, cho biết trung tâm dữ liệu của công ty ở Phần Lan đã cung cấp các dịch vụ tính toán hiệu năng cao, công cụ và dịch vụ mới nhất cho các nhà phát triển AI.

• Volozh nhắm đến việc biến Nebius thành "phượng hoàng tái sinh" từ những gì còn lại của Yandex sau khi công ty thoái vốn khỏi Nga vào đầu năm nay. Thương vụ trị giá 5,4 tỷ USD là vụ rút lui doanh nghiệp lớn nhất khỏi Nga kể từ khi nước này bắt đầu cuộc chiến toàn diện Ukraine hơn 2 năm trước.

• Nebius đang xây dựng cơ sở hạ tầng để đáp ứng nhu cầu ngày càng tăng về AI, tập trung vào "công nghệ cho các nhà công nghệ" (T2T). Sản phẩm cốt lõi là nền tảng đám mây tập trung vào AI cho các khối lượng công việc AI chuyên sâu.

• Công ty hứa hẹn sẽ là một trong những đơn vị đầu tiên mang nền tảng Blackwell của Nvidia đến với khách hàng vào năm 2025.

• Nebius đã ký thư ý định cho hai trung tâm dữ liệu khác tại các địa điểm mới ở châu Âu chưa được tiết lộ. Họ cũng sẽ mở rộng trung tâm dữ liệu hiện có ở Mäntsälä, phía bắc Helsinki, Phần Lan.

• Trụ sở chính của Nebius đặt tại Hà Lan, nhưng phần lớn nhân viên vẫn là cựu nhân viên Yandex. Volozh nhấn mạnh rằng thách thức của châu Âu trong cuộc đua AI toàn cầu là cạnh tranh về nhân tài, và đây chính là thế mạnh của Nebius với đội ngũ nhân sự tài năng.

📌 Nebius, công ty kế thừa Yandex, đầu tư 1 tỷ USD vào cơ sở hạ tầng AI châu Âu, ra mắt trung tâm dữ liệu tại Paris với GPU NVIDIA H200. Mục tiêu trở thành công ty hàng đầu về hạ tầng AI toàn cầu, cung cấp nền tảng Blackwell của Nvidia vào 2025.

https://thenextweb.com/news/nebius-data-centre-paris-1-billion-usd-investment-europe

Việt Nam và Mỹ ký kết các MOU trong lĩnh vực năng lượng, trí tuệ nhân tạo và trung tâm dữ liệu

• Các doanh nghiệp Việt Nam và Mỹ đã ký kết các biên bản ghi nhớ (MoU) về hợp tác trong lĩnh vực năng lượng, trí tuệ nhân tạo và trung tâm dữ liệu tại một diễn đàn doanh nghiệp ở Mỹ.

 

• PetroVietnam đã ký MoU về chuyển giao công nghệ năng lượng với Kellogg Brown & Root, và công ty con PTSC của PetroVietnam ký MoU về hợp tác LNG với Excelerate Energy.

 

Tập đoàn Sovico ký MoU về phát triển AI và trung tâm dữ liệu với Supermicro.

 

• Vietjet ký thỏa thuận hợp tác trị giá 1,1 tỷ USD với Honeywell Aerospace Technologies để cung cấp dịch vụ kỹ thuật hàng không và điện tử hàng không cho đội tàu bay của Vietjet.

 

• Chủ tịch nước Việt Nam Tô Lâm tham dự diễn đàn và dự kiến sẽ gặp Tổng thống Mỹ Joe Biden vào ngày 27/9 bên lề Đại hội đồng Liên Hợp Quốc tại New York.

 

• Ông Tô Lâm cho biết hai nước còn nhiều dư địa hợp tác và Việt Nam hy vọng Mỹ sẽ trở thành nguồn đầu tư nước ngoài lớn nhất của Việt Nam.

 

• Chủ tịch nước Việt Nam kỳ vọng chính phủ Mỹ sẽ sớm công nhận Việt Nam là nền kinh tế thị trường.

 

• Tháng trước, Bộ Thương mại Mỹ cho biết sẽ tiếp tục phân loại Việt Nam là nền kinh tế phi thị trường. Nếu Việt Nam nộp đơn lại, các cơ quan quản lý Mỹ sẽ mất nhiều tháng để đưa ra quyết định.

 

• Việt Nam từ lâu đã tìm cách nâng cấp vị thế, điều này sẽ giúp giảm thuế chống bán phá giá đối với các nền kinh tế phi thị trường được xác định là có ảnh hưởng nặng nề của nhà nước.

 

📌 Việt Nam và Mỹ ký kết nhiều thỏa thuận hợp tác quan trọng trong lĩnh vực năng lượng, AI và hàng không, tổng trị giá lên tới 1,1 tỷ USD. Chủ tịch nước Việt Nam và Tổng thống Mỹ sẽ gặp nhau tại New York, thảo luận về việc công nhận Việt Nam là nền kinh tế thị trường và tăng cường hợp tác đầu tư.

23
Intel tung ra chip AI mới: Xeon 6 tăng gấp đôi hiệu năng, Gaudi 3 mạnh hơn 20%

• Intel vừa ra mắt bộ xử lý Xeon 6 mới với lõi hiệu năng (P-cores) và bộ tăng tốc AI Gaudi 3 để nâng cao khả năng cạnh tranh trong lĩnh vực AI.

• Xeon 6 có thể tăng gấp đôi hiệu năng AI thị giác so với thế hệ trước. Nó có số lõi tăng, băng thông bộ nhớ gấp đôi và khả năng tăng tốc AI được tích hợp trong mỗi lõi.

• Gaudi 3 được tối ưu hóa cho AI tạo sinh quy mô lớn, có 64 lõi bộ xử lý Tensor (TPC) và 8 động cơ nhân ma trận (MME) để tăng tốc tính toán mạng nơ-ron sâu. Nó cũng có 128GB bộ nhớ HBMe2 và 24 cổng Ethernet 200Gb.

• Intel đã hợp tác với IBM để triển khai Gaudi 3 dưới dạng dịch vụ trên IBM Cloud, nhằm giảm tổng chi phí sở hữu và tăng hiệu năng AI.

• 73% máy chủ có GPU tăng tốc sử dụng Intel Xeon làm CPU chủ.

• Intel hợp tác với các OEM hàng đầu như Dell, HPE và Supermicro để phát triển các hệ thống đồng thiết kế phù hợp với nhu cầu cụ thể của khách hàng.

• Các giải pháp tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) sẵn sàng cho sản xuất được xây dựng trên nền tảng Open Platform Enterprise AI (OPEA), tích hợp các microservice dựa trên OPEA.

• Intel Tiber Developer Cloud cung cấp hệ thống xem trước của Xeon 6 để đánh giá và thử nghiệm kỹ thuật. Một số khách hàng được truy cập sớm vào Gaudi 3.

• Các dịch vụ mới bao gồm SeekrFlow, một nền tảng AI end-to-end từ Seekr để phát triển ứng dụng AI đáng tin cậy.

• Các bản cập nhật mới nhất có phiên bản mới nhất của phần mềm Intel Gaudi và sổ ghi chép Jupyter được tải sẵn PyTorch 2.4 cùng các công cụ Intel oneAPI và AI 2024.2.

📌 Intel ra mắt chip Xeon 6 và Gaudi 3 AI mới, tăng gấp đôi hiệu năng AI thị giác và 20% thông lượng. Hợp tác với IBM, Dell, HPE để triển khai hệ thống AI hiệu quả. 73% máy chủ GPU dùng Xeon làm CPU chủ, khẳng định vị thế của Intel trong lĩnh vực AI.

https://venturebeat.com/ai/intel-launches-xeon-6-and-gaudi-3-ai-chips-to-boost-ai-and-hpc-performance/

Sự phát triển của AI sẽ làm trầm trọng thêm tình trạng thiếu hụt đồng

- BHP cảnh báo rằng sự phát triển của trí tuệ nhân tạo (AI) sẽ làm trầm trọng thêm tình trạng thiếu hụt đồng, một kim loại thiết yếu cho chuyển đổi năng lượng sạch.
- Nhu cầu toàn cầu về đồng dự kiến sẽ tăng lên 52.5 triệu tấn vào năm 2050, tăng từ 30.4 triệu tấn vào năm 2021, tương đương với mức tăng 72%.
- Theo CFO của BHP, Vandita Pant, nhu cầu từ các trung tâm dữ liệu và AI có thể đạt thêm 3.4 triệu tấn mỗi năm đến năm 2050.
- Hiện tại, các trung tâm dữ liệu chỉ chiếm dưới 1% nhu cầu đồng, nhưng con số này có thể tăng lên 6-7% vào năm 2050.
- BHP đã thực hiện một cuộc đua để đảm bảo quyền truy cập vào các mỏ đồng, bao gồm cả việc đề nghị không thành công trị giá 39 tỷ bảng Anh cho Anglo American.
- Vào tháng 7, BHP và Lundin Mining đã chi 3 tỷ USD để mua lại công ty thăm dò Filo, với các tài sản liên quan đến tiềm năng đồng.
- Đồng được sử dụng trong nhiều ngành công nghiệp và sản phẩm cần thiết để đạt được mục tiêu phát thải ròng bằng không như cáp điện, xe điện và trang trại năng lượng mặt trời.
- Dự báo về tình trạng thiếu hụt đồng đã khiến nhiều nhà phân tích lo ngại về sự thiếu hụt trong trung hạn đến dài hạn.
- Mặc dù nhu cầu yếu ở Trung Quốc đã ảnh hưởng đến giá đồng trong năm nay, nhưng BHP dự đoán rằng giá sẽ tăng trở lại vào cuối thập kỷ này khi nhu cầu vượt quá cung.
- Giá đồng hiện đang giao dịch khoảng 9.207 USD/tấn, giảm 15% so với đỉnh điểm vào tháng 5.

📌 BHP dự đoán nhu cầu đồng sẽ tăng lên 52.5 triệu tấn vào năm 2050 do sự phát triển của AI và trung tâm dữ liệu. Tình trạng thiếu hụt có thể xảy ra trong những năm cuối của thập kỷ này khi nhu cầu vượt quá cung.

https://www.ft.com/content/da407b47-4133-470a-9574-508cee43e107

#FT

NPU - bộ xử lý thần kinh, xu hướng mới trong ngành máy tính

• NPU (Neural Processing Unit) là một loại bộ xử lý đặc biệt được tối ưu hóa cho các tác vụ AI và học máy. NPU được tích hợp vào nền tảng bộ xử lý hiện đại như Intel Core Ultra, AMD Ryzen AI và Qualcomm Snapdragon X Elite.

• So với CPU và GPU, NPU nhanh hơn CPU nhưng chậm hơn GPU trong việc xử lý các tác vụ AI. Tuy nhiên, NPU tiêu thụ ít năng lượng hơn nhiều so với GPU, giúp tiết kiệm pin trên laptop.

• Hiệu năng của NPU được đo bằng đơn vị TOPS (nghìn tỷ phép tính mỗi giây). NPU cấp thấp có thể xử lý 10 TOPS, trong khi các NPU mạnh hơn đạt tới 40-50 TOPS.

• Windows Studio Effects là một ví dụ về tính năng sử dụng NPU, cung cấp các hiệu ứng webcam như làm mờ nền và điều chỉnh ánh mắt bằng AI.

Microsoft đang phát triển các tính năng Copilot+ PC yêu cầu NPU mạnh (tối thiểu 40 TOPS). Các tính năng này sẽ có trên PC sử dụng chip Qualcomm Snapdragon X, AMD Ryzen AI 300 và Intel Core Ultra Series 2.

Hiện tại, hầu hết các ứng dụng AI phổ biến như ChatGPT, Adobe Firefly vẫn chạy trên đám mây, chưa tận dụng NPU. Tuy nhiên, trong tương lai, việc chạy AI cục bộ trên NPU sẽ giúp tiết kiệm chi phí đám mây và bảo vệ quyền riêng tư dữ liệu.

• Các NPU hiện có trên thị trường:
- Intel Core Ultra Series 1 (Meteor Lake): tối đa 11 TOPS
- Intel Core Ultra Series 2 (Lunar Lake): tối đa 48 TOPS
- AMD Ryzen Pro 7000/8000: 12-16 TOPS
- AMD Ryzen AI 300: tối đa 50 TOPS  
- Qualcomm Snapdragon X Elite/Plus: tối đa 45 TOPS

NPU không chỉ có trên PC mà còn xuất hiện trên smartphone như Apple Neural Engine, Google Tensor và Samsung Galaxy.

Hiện tại, việc mua PC có NPU vẫn còn rủi ro vì các tính năng AI chưa phát triển đầy đủ. Tuy nhiên, trong tương lai gần, NPU sẽ trở nên quan trọng hơn khi các ứng dụng AI cục bộ phát triển.

Đối với laptop, nên cân nhắc mua máy có NPU nếu có thể. Với máy tính để bàn, NPU chưa thực sự cần thiết vì Intel chưa tích hợp NPU vào CPU desktop.

📌 NPU là xu hướng mới trong ngành máy tính, hứa hẹn mang lại khả năng xử lý AI tiết kiệm năng lượng. Hiện có 5 dòng NPU chính với hiệu năng từ 11-50 TOPS. Mặc dù các ứng dụng AI cục bộ chưa phổ biến, NPU sẽ ngày càng quan trọng trong tương lai gần.

https://www.pcworld.com/article/2457268/what-the-heck-is-an-npu-anyway-everything-you-need-to-know.html

Báo cáo mới về AI cho thấy thiếu hụt lưu trữ là thách thức lớn nhất, không phải GPU

• Báo cáo "Xu hướng AI toàn cầu 2024" của S&P Global Market Intelligence khảo sát hơn 1.500 lãnh đạo công nghệ về các xu hướng AI.

Ứng dụng AI hiện phổ biến trong doanh nghiệp, nhưng việc mở rộng quy mô gặp khó khăn do kiến trúc dữ liệu cũ.

88% tổ chức đang tích cực nghiên cứu AI tạo sinh, vượt xa các ứng dụng AI khác như mô hình dự đoán (61%), phân loại (51%), hệ thống chuyên gia (39%) và robot (30%).

• GPU hiệu năng cao là trọng tâm của báo cáo, là yếu tố cơ bản để triển khai nhiều ứng dụng AI.

Đám mây công cộng hyperscaler là một cách tiếp cận GPU, nhưng nhiều tổ chức chuyển sang đám mây AI chuyên biệt.

• 32% tổ chức sử dụng đám mây GPU cho đào tạo mô hình, 31% cho suy luận.

• Đơn đặt hàng chip Nvidia ngày càng tăng do nhu cầu cao.

• Tình trạng khan hiếm GPU nghiêm trọng ở một số nền kinh tế châu Á - Thái Bình Dương như Ấn Độ, Đài Loan, New Zealand và Australia.

• Tốc độ thay đổi từ khi ChatGPT 3 ra mắt đầu năm 2023 là đáng kinh ngạc.

• Trong chưa đầy 2 năm, ứng dụng AI tạo sinh đã vượt qua tất cả các ứng dụng AI khác trong doanh nghiệp.

• AI tạo sinh định hình một nhóm các nhà lãnh đạo AI mới và thị trường các nhà cung cấp đám mây AI và GPU chuyên biệt.

Thiếu hụt lưu trữ được coi là thách thức lớn nhất đối với các dự án AI/ML, không phải khan hiếm GPU.

• Kiến trúc dữ liệu cũ là rào cản chính để mở rộng quy mô ứng dụng AI trong doanh nghiệp.

• Báo cáo nhấn mạnh tầm quan trọng của cơ sở hạ tầng lưu trữ hiệu suất cao để hỗ trợ khối lượng dữ liệu lớn cần thiết cho AI.

• Các giải pháp lưu trữ truyền thống gặp khó khăn trong việc đáp ứng yêu cầu về tốc độ và quy mô của AI hiện đại.

• Doanh nghiệp cần đầu tư vào hệ thống lưu trữ tiên tiến để tận dụng tối đa tiềm năng của AI.

📌 Báo cáo cho thấy 88% doanh nghiệp đang tập trung vào AI tạo sinh, vượt xa các ứng dụng AI khác. Thiếu hụt lưu trữ là thách thức lớn nhất, không phải khan hiếm GPU. Kiến trúc dữ liệu cũ cản trở việc mở rộng AI, đòi hỏi đầu tư vào hệ thống lưu trữ hiệu suất cao.

https://www.techradar.com/pro/storage-not-gpus-is-the-biggest-challenge-to-ai-says-influential-report-lack-of-bits-and-bytes-is-what-could-make-or-break-your-aiml-project

Nvidia và T-Mobile đang hợp tác để "tái định nghĩa viễn thông" bằng GPU thay vì CPU cho vRAN

• Nvidia và T-Mobile đang hợp tác để "tái định nghĩa ngành viễn thông" bằng cách sử dụng GPU thay vì CPU cho mạng vô tuyến ảo (vRAN).

• CEO Nvidia Jensen Huang cho rằng CPU không đủ khả năng xử lý các tác vụ RAN phức tạp, trong khi GPU của Nvidia có thể đáp ứng yêu cầu.

• Huang giới thiệu giải pháp Layer 1 hoàn chỉnh có tên Aerial, dựa trên nền tảng CUDA để tăng tốc xử lý tín hiệu 5G và chuẩn bị cho 6G.

• Giải pháp của Nvidia kết hợp xử lý tín hiệu và AI trên cùng một nền tảng tính toán, cho phép cải thiện hiệu quả mạng và triển khai các dịch vụ AI mới.

• T-Mobile và Nvidia thành lập "Trung tâm Đổi mới AI-RAN" tại trụ sở T-Mobile ở Bellevue để phát triển công nghệ này.

• Cách tiếp cận mới này có thể ảnh hưởng lớn đến các nhà cung cấp thiết bị mạng truyền thống như Ericsson và Nokia, cũng như đối tác chip của họ.

• Ericsson và Nokia đang đánh giá khả năng sử dụng GPU của Nvidia, nhưng vẫn thận trọng về việc thay đổi chiến lược hiện tại.

• Nokia cho rằng AI-RAN có tiềm năng biến đổi mạng vô tuyến hiện tại thành nền tảng đa mục đích cho cả vô tuyến và dịch vụ AI trong tương lai.

• Tuy nhiên, vẫn còn nhiều thách thức như vấn đề tiêu thụ năng lượng cao của GPU và sự chậm phát triển của điện toán biên.

• Intel đang gặp khó khăn và có tin đồn về việc tái cơ cấu hoặc bán mảng mạng và viễn thông, điều này có thể ảnh hưởng đến thị trường vRAN hiện tại.

• Nvidia đang định vị GPU như giải pháp thay thế cho CPU trong tương lai đối với các ứng dụng tính toán đa năng.

📌 Nvidia và T-Mobile đang thách thức cách tiếp cận truyền thống về vRAN bằng việc sử dụng GPU thay vì CPU. Điều này có thể tác động lớn đến ngành viễn thông, với tiềm năng cải thiện hiệu suất mạng 5G/6G và tích hợp AI. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua.

 

https://www.lightreading.com/open-ran/nvidia-and-t-mobile-just-tore-up-intel-s-virtual-ran-rulebook

Các công ty AI Trung Quốc đang "lách luật" thông minh để vượt qua lệnh cấm chip của Mỹ

• Các mô hình AI hàng đầu hiện nay phụ thuộc vào số lượng lớn GPU (đơn vị xử lý đồ họa) tiên tiến. Các công ty phương Tây dễ dàng tiếp cận GPU, như Meta dự định tích trữ 600.000 GPU H100 của Nvidia trước cuối năm nay.

• Tuy nhiên, các công ty công nghệ Trung Quốc khó tiếp cận GPU do lệnh cấm bán bộ xử lý hiệu năng cao của Mỹ từ tháng 10/2022. Thay vào đó, họ tập trung tối ưu hóa nguồn lực hạn chế.

DeepSeek, một startup ở Hàng Châu, đã phát triển mô hình DeepSeek-v2.5 có hiệu suất ngang ngửa các mô hình nguồn mở hàng đầu trong lập trình và xử lý ngôn ngữ Anh-Trung. DeepSeek chỉ có khoảng 10.000 GPU cũ của Nvidia.

DeepSeek sử dụng phương pháp "mixture of experts", chia mô hình thành nhiều mạng chuyên biệt cho từng vấn đề. Mô hình có 236 tỷ tham số nhưng chỉ sử dụng dưới 1/10 cho mỗi lần xử lý thông tin mới. Nó cũng nén dữ liệu đầu vào để xử lý hiệu quả hơn.

MiniCPM, một mô hình nguồn mở của Đại học Thanh Hoa và startup ModelBest, có hiệu suất xử lý ngôn ngữ tương đương các mô hình lớn hơn dù chỉ có 2,4 tỷ và 1,2 tỷ tham số. MiniCPM cũng kết hợp phương pháp mixture-of-experts và nén dữ liệu đầu vào.

• Kích thước nhỏ giúp MiniCPM phù hợp cho thiết bị cá nhân. Phiên bản di động hỗ trợ đa ngôn ngữ và làm việc với nhiều loại dữ liệu như văn bản, hình ảnh, âm thanh.

Các công ty phương Tây cũng đang thử nghiệm các phương pháp tương tự:
- FlashAttention-3 của Together.ai, Meta và Nvidia tối ưu hóa cho GPU H100 của Nvidia.
- JEST của Google DeepMind sử dụng dữ liệu chất lượng cao ban đầu trước khi mở rộng sang dữ liệu lớn hơn, chất lượng thấp hơn.
- Microsoft phát hành mô hình nhỏ Phi-3 mini với khoảng 4 tỷ tham số.

• Đối với các công ty Trung Quốc, việc tối ưu hóa hiệu quả là bắt buộc do hạn chế tiếp cận phần cứng. Tuy nhiên, điều này có thể mang lại lợi thế khi thúc đẩy cải tiến hiệu quả.

📌 Lệnh cấm chip của Mỹ đã thúc đẩy các công ty AI Trung Quốc đổi mới, tập trung vào tối ưu hóa phần mềm thay vì phần cứng. Các phương pháp như "mixture of experts", nén dữ liệu đã giúp mô hình nhỏ như DeepSeek-v2.5 và MiniCPM đạt hiệu suất cao. Xu hướng này cũng đang ảnh hưởng đến các công ty phương Tây.

https://www.economist.com/science-and-technology/2024/09/19/chinas-ai-firms-are-cleverly-innovating-around-chip-bans

Trung Quốc: thực trạng lạnh lẽo của trung tâm dữ liệu AI giữa cơn sốt LLM

- Chi phí xây dựng và vận hành các trung tâm tính toán thông minh cho AI đang gia tăng đáng kể, với ước tính lên tới 1 tỷ nhân dân tệ (khoảng 140 triệu USD) mỗi năm cho một trung tâm quy mô lớn.
- Sự phát triển nhanh chóng của AI tạo sinh đã dẫn đến sự gia tăng nhu cầu về sức mạnh tính toán; tuy nhiên, nhiều trung tâm vẫn phải đối mặt với tỷ lệ sử dụng thấp.
- Hơn 30 thành phố ở Trung Quốc đã đầu tư vào việc xây dựng hoặc lập kế hoạch cho các trung tâm tính toán thông minh, nhưng nhiều trong số đó đang hoạt động không hiệu quả.
- Tỷ lệ máy chủ không hoạt động trong các trung tâm dữ liệu Trung Quốc đạt khoảng 42%, cho thấy sự lãng phí tài nguyên lớn.
- Chi phí vận hành hàng năm cho một máy chủ DGX A100 có thể lên tới 825.000 nhân dân tệ (khoảng 115.000 USD), bao gồm cả chi phí khấu hao và điện năng.
- Nhu cầu hiện tại chủ yếu tập trung vào việc đào tạo mô hình cơ bản, trong khi các ứng dụng AI gốc vẫn chưa phát triển mạnh mẽ.
- Mặc dù số lượng mô hình lớn đã tăng lên gấp ba lần trong bốn tháng qua, nhưng số lượng ứng dụng AI gốc vẫn còn rất hạn chế so với thị trường quốc tế.
- Các chuyên gia ngành công nghiệp đang tìm kiếm giải pháp để tối ưu hóa việc sử dụng tài nguyên tính toán thông qua các dịch vụ tính toán theo nhu cầu.
- Việc phát triển và phổ biến các ứng dụng AI gốc là yếu tố then chốt để giải quyết vấn đề lãng phí tài nguyên trong các trung tâm tính toán thông minh.
- Các nhà sản xuất đang áp dụng mô hình "pooling" để chia sẻ tài nguyên giữa nhiều ứng dụng khác nhau nhằm tối ưu hóa hiệu suất sử dụng.

📌Trung Quốc: Sự phát triển của AI tạo sinh đang thúc đẩy nhu cầu về sức mạnh tính toán, nhưng chi phí cao và tỷ lệ sử dụng thấp của các trung tâm tính toán thông minh đang tạo ra thách thức lớn. Cần có sự phát triển mạnh mẽ hơn nữa của các ứng dụng AI gốc để tối ưu hóa tài nguyên và giảm lãng phí.

 

https://mp.weixin.qq.com/s/BoNXsXTmdgTBABZATQTyow

Trung Quốc thừa công suất các trung tâm dữ liệu AI, do thiết kế kém và nhu cầu không cao

- Trung Quốc đang trải qua tình trạng dư thừa công suất tại các trung tâm dữ liệu AI do sự gia tăng nhanh chóng trong đầu tư và xây dựng.
- Các nhà cung cấp trung tâm dữ liệu đã xây dựng quá nhiều cơ sở mà không có đủ kỹ năng để thực hiện các quy trình AI phức tạp.
- Dự báo cho thấy Trung Quốc sẽ thiết lập 50 trung tâm tính toán thông minh vào năm 2025, tăng công suất tính toán lên một phần ba trong 4 năm tới.
- Hiện tại, có khoảng 70 trung tâm mới đang được xây dựng, nhưng nhiều trong số đó đang hoạt động dưới công suất tối ưu.
- Trung tâm dữ liệu AI sử dụng GPU và các loại chip khác để xử lý khối lượng công việc lớn đồng thời, tiêu thụ năng lượng gấp 4 lần so với các trung tâm dữ liệu truyền thống.
- Một báo cáo chỉ trích rằng thị trường đã "tiến nhanh một cách mù quáng" trong việc xây dựng trung tâm dữ liệu và đã đánh giá quá cao nhu cầu.
- Chi phí vận hành một trung tâm dữ liệu thông minh với 1.250 máy chủ hỗ trợ đào tạo và suy diễn mô hình lớn có thể lên tới 1 tỷ nhân dân tệ (khoảng 141 triệu USD) mỗi năm.
- Sáng kiến Tính toán Đông-Tây của Trung Quốc nhằm mục đích xử lý dữ liệu từ các thành phố giàu có ở phía đông tại các tỉnh phía tây, nhưng nhiều cơ sở ở đây lại hoạt động dưới công suất.
- Nhu cầu từ khách hàng ở bờ biển phía đông cho dịch vụ dữ liệu ở phía tây rất yếu, với ít ứng dụng thương mại trưởng thành.
- Các trung tâm dữ liệu mới không thể đáp ứng yêu cầu về độ trễ thấp và quy trình xử lý phức tạp của khách hàng.
- Một vấn đề khác là chi phí mạng cao, với một đường truyền 1Gbit/s có giá lên tới 160.000 nhân dân tệ (khoảng 22.500 USD) mỗi tháng.
- Thiết kế kém của các trung tâm dữ liệu AI cũng gây ra khó khăn trong việc phối hợp giữa tính toán, lưu trữ và mạng lưới.
- Một lãnh đạo của Tencent Cloud so sánh việc này giống như mua một chiếc xe thể thao cao cấp nhưng không hiểu rõ tính năng của nó và thiếu đội ngũ chuyên nghiệp để bảo trì.

📌 Trung Quốc đang đối mặt với tình trạng dư thừa công suất tại các trung tâm dữ liệu AI do thiết kế kém và nhu cầu không như mong đợi. Nhiều cơ sở hoạt động dưới công suất tối ưu, gây lãng phí tài nguyên và chi phí vận hành cao.

https://www.lightreading.com/ai-machine-learning/china-s-hectic-ai-rollout-has-left-data-centers-idling

Các công ty Trung Quốc đang nỗ lực tạo ra các giải pháp thay thế chip GPU của Nvidia

- Nvidia với các đơn vị xử lý đồ họa (GPU) của mình đã thu hút sự chú ý như một trong những linh kiện phần cứng then chốt để huấn luyện các mô hình trí tuệ nhân tạo khổng lồ như OpenAI.

- Trước nỗ lực của Mỹ hạn chế Trung Quốc tiếp cận các bán dẫn tiên tiến, Bắc Kinh đã tăng cường nỗ lực nuôi dưỡng ngành công nghiệp chip trong nước.

- Một số công ty công nghệ lớn của Trung Quốc như Huawei, Alibaba và Baidu đang cố gắng tạo ra các phương án thay thế cho Nvidia.

- Huawei thiết kế dòng chip máy chủ Ascend dùng cho trung tâm dữ liệu, cạnh tranh với GPU H100 của Nvidia.

- Alibaba và Baidu cũng thiết kế chip AI riêng, lần lượt là Hanguang 800 và Kunlun, đã được triển khai trong các trung tâm dữ liệu và xe tự lái.

- Các startup như Biren Technology, Cambricon Technologies, Moore Threads và Enflame Technology cũng đang nỗ lực trở thành những phương án thay thế Nvidia trong nước.

- Nhiều công ty này đã bị Mỹ đưa vào danh sách đen, hạn chế tiếp cận công nghệ Mỹ.

📌 Trung Quốc đang nỗ lực tạo ra các giải pháp chip AI trong nước thay thế Nvidia, với sự tham gia của các công ty lớn như Huawei, Alibaba, Baidu và một số startup mới nổi, nhằm đáp ứng nhu cầu trí tuệ nhân tạo trong nước và tránh bị Mỹ cắt nguồn cung chip tiên tiến.

https://www.cnbc.com/2024/09/17/chinese-companies-aiming-to-compete-with-nvidia-on-ai-chips.html

Microsoft kêu gọi sự rõ ràng về các hạn chế xuất khẩu chip AI đến Trung Đông

- Microsoft đã kêu gọi sự "rõ ràng và nhất quán" từ chính phủ Mỹ về các quy định xuất khẩu chip AI đến Trung Đông.
- Công ty công nghệ này đã đầu tư 1.5 tỷ USD vào G42, một công ty AI lớn nhất tại UAE, nhằm mở rộng thị trường đến châu Á và châu Phi.
- Chính phủ Mỹ đã áp dụng các hạn chế xuất khẩu đối với chip chuyên dụng cho phần mềm AI đến Trung Đông do lo ngại công nghệ này có thể bị chuyển giao cho Trung Quốc.
- Microsoft vẫn chưa nhận được giấy phép cần thiết để vận chuyển các thành phần phục vụ cho kế hoạch hợp tác với G42.
- Brad Smith, chủ tịch và phó chủ tịch của Microsoft, nhấn mạnh rằng cần có sự rõ ràng từ chính phủ Mỹ về các quy định xuất khẩu.
- Dù gặp khó khăn trong việc xin giấy phép xuất khẩu, Microsoft và G42 đã công bố thành lập 2 viện nghiên cứu mới tại Abu Dhabi.
- Các viện này sẽ tập trung vào việc xây dựng hệ thống AI cho thế giới đang phát triển, bao gồm cả ngôn ngữ không phải phương Tây như tiếng Ả Rập và tiếng Hindi.
- Microsoft cam kết đầu tư hàng triệu USD và cung cấp cơ sở hạ tầng máy tính cho một "Phòng thí nghiệm AI vì lợi ích cộng đồng" tại Kenya.
- Các viện nghiên cứu sẽ nhấn mạnh việc sử dụng AI một cách có trách nhiệm để giải quyết các vấn đề xã hội ở các nước đang phát triển.
- Peng Xiao, CEO của G42, khẳng định rằng công ty cam kết phát triển AI một cách có trách nhiệm và an toàn.
- UAE đang nỗ lực để trở thành trung tâm AI toàn cầu, bất chấp mối quan hệ sâu sắc với Bắc Kinh.
- G42 đã cắt đứt quan hệ với các nhà cung cấp Trung Quốc như Huawei để giảm bớt lo ngại từ phía Mỹ.
- Công ty cũng đã áp dụng chính sách không kinh doanh với bất kỳ thực thể nào nằm trong danh sách kiểm soát xuất khẩu của Mỹ.

📌 Microsoft đang nỗ lực hợp tác với G42 để phát triển công nghệ AI tại UAE, nhưng gặp khó khăn do các hạn chế xuất khẩu từ Mỹ. Họ đã đầu tư 1.5 tỷ USD và thành lập hai viện nghiên cứu mới nhằm phục vụ cho thị trường đang phát triển.

https://www.ft.com/content/bb9ed20e-8e95-4808-a37c-7a540ca4b056

#FT

Ả rập Xê út kỳ vọng sẽ có quyền truy cập vào các chip Nvidia H200 trong năm tới

- Saudi Arabia dự kiến sẽ có quyền truy cập vào các chip hiệu suất cao của Nvidia trong vòng một năm tới, điều này sẽ giúp quốc gia này phát triển các mô hình trí tuệ nhân tạo tiên tiến.
- Abdulrahman Tariq Habib, phó giám đốc điều hành của SDAIA, cho biết việc có được chip Nvidia H200s sẽ rất quan trọng cho Saudi Arabia.
- Chip H200s là loại chip mạnh nhất của Nvidia và được sử dụng trong các mô hình AI như GPT-4 của OpenAI.
- Mỹ đã áp đặt nhiều hạn chế xuất khẩu chip do lo ngại về an ninh quốc gia, đặc biệt là việc Trung Quốc - đối tác thương mại lớn nhất của Saudi Arabia - có thể tiếp cận công nghệ này.
- Saudi Arabia đang đầu tư mạnh mẽ vào hệ sinh thái AI, với mục tiêu AI chiếm 12% GDP vào năm 2030.
- Quỹ Đầu tư Công Saudi Arabia trị giá 925 tỷ USD sẽ dẫn dắt các khoản đầu tư vào lĩnh vực này.
- Các nỗ lực này nằm trong khuôn khổ Vision 2030, một sáng kiến nhằm hiện đại hóa nền kinh tế và đa dạng hóa nguồn thu khỏi dầu mỏ.
- Quỹ Đầu tư Công cũng đang thảo luận với Andreessen Horowitz để thành lập quỹ 40 tỷ USD đầu tư vào AI.
- Việc Mỹ xem xét nới lỏng quy định xuất khẩu cho thấy mối quan hệ tích cực giữa Riyadh và Washington trong lĩnh vực AI.
- Chính quyền Biden đã áp đặt nhiều hạn chế xuất khẩu chip trong hai năm qua để ngăn chặn Trung Quốc tiếp cận công nghệ này.
- Hạn chế xuất khẩu đã mở rộng ra nhiều quốc gia Trung Đông, bao gồm cả Saudi Arabia và UAE.
- Saudi Arabia đang nỗ lực đáp ứng các yêu cầu của Washington liên quan đến mối quan hệ với Trung Quốc và lo ngại về an ninh quốc gia của Mỹ.

📌 Saudi Arabia kỳ vọng có được chip Nvidia H200s trong năm tới để phát triển AI, với mục tiêu AI chiếm 12% GDP vào năm 2030. Mối quan hệ tích cực với Mỹ có thể giúp tháo gỡ hạn chế xuất khẩu công nghệ này.

https://www.cnbc.com/2024/09/13/saudi-arabia-expects-to-get-advanced-nvidia-chips-within-next-year.html

Cerebras vs Nvidia: Cuộc chiến chip AI bùng nổ

- Cerebras Systems đã ra mắt chip CS-3 thế hệ thứ ba vào mùa xuân năm 2024, đánh dấu một bước đột phá trong lĩnh vực AI inference.
- Chip CS-3 sử dụng công nghệ Wafer-Scale Engine (WSE), có kích thước lớn gấp 56 lần GPU lớn nhất hiện nay và chứa 4 triệu tỷ transistor.
- CS-3 có khả năng xử lý 1.800 token mỗi giây cho mô hình Llama 3.1 8B, nhanh hơn nhiều so với các giải pháp dựa trên GPU hiện tại.
- Dự báo thị trường AI inference sẽ đạt 90,6 tỷ USD vào năm 2030, cho thấy nhu cầu ngày càng tăng về công nghệ này.
- Cerebras có giá khởi điểm chỉ 0.10 USD cho mỗi triệu token, tạo ra một lựa chọn cạnh tranh cho các doanh nghiệp.
- Công ty đã nhận được sự chú ý từ các lãnh đạo ngành như Kim Branson từ GlaxoSmithKline và Denis Yarats từ Perplexity nhờ vào tốc độ và hiệu suất vượt trội của CS-3.
- Cerebras đang đối mặt với sự cạnh tranh từ Nvidia và Groq; Nvidia vẫn là nhà cung cấp hàng đầu nhưng đang bị thách thức bởi các sản phẩm mới.
- Groq cũng cung cấp một đơn vị xử lý ngôn ngữ (LPU) tập trung vào AI inference, tuy nhiên không đạt được tốc độ của Cerebras.
- Các doanh nghiệp cần đánh giá lại khối lượng công việc AI của họ để xem liệu họ có thể tận dụng lợi thế từ các chip chuyên dụng như CS-3 hay không.
- Cerebras Cloud cung cấp mô hình giá linh hoạt cho phép người dùng thử nghiệm công nghệ mới mà không cần đầu tư lớn ban đầu.

📌 Các chip chuyên dụng như Cerebras CS-3 đang thay đổi cách thức xử lý AI inference với hiệu suất vượt trội và chi phí hợp lý. Doanh nghiệp nên cân nhắc chuyển đổi để tận dụng những lợi ích này trong bối cảnh thị trường AI ngày càng phát triển.

 

https://venturebeat.com/ai/how-cerebras-is-breaking-the-gpu-bottleneck-on-ai-inference/

Larry Ellison tuyên bố Oracle sẵn sàng cho giám sát hàng loạt bằng AI

• Larry Ellison, đồng sáng lập Oracle, tuyên bố AI sắp mở ra kỷ nguyên mới của giám sát hàng loạt, và Oracle đã sẵn sàng trở thành nền tảng công nghệ cho các ứng dụng như vậy.

• Ông nói rằng các ứng dụng này sẽ giúp mọi người "cư xử đúng mực" thông qua việc giám sát liên tục bằng AI học máy theo thời gian thực.

• Ellison cho rằng nhiều công ty xây dựng mô hình AI tại Oracle vì "kiến trúc mạng độc đáo" của họ, có từ thời đại cơ sở dữ liệu.

• Ông nhấn mạnh tầm quan trọng của dữ liệu có tổ chức tốt đối với các hệ thống AI, và cho rằng việc các tên tuổi lớn trong điện toán đám mây (và Grok của Elon Musk) chọn Oracle để chạy cơ sở hạ tầng AI của họ là dấu hiệu rõ ràng về sự thành công của Oracle.

• Ellison dự đoán một thế giới nơi máy tính liên tục theo dõi và kiểm soát mọi người. Ông mô tả camera gắn trên người cảnh sát sẽ luôn bật, không thể tắt, với AI được huấn luyện để giám sát bất kỳ điều gì không phù hợp.

• Theo Ellison, điều này có thể ngăn chặn lạm dụng quyền lực của cảnh sát và cứu sống người dân. "Mọi cảnh sát sẽ được giám sát mọi lúc," ông nói.

• Oracle không chỉ muốn tham gia vào việc giám sát cảnh sát. Ellison tuyên bố: "Công dân sẽ cư xử đúng mực vì chúng tôi liên tục ghi hình và báo cáo."

• Ông cũng đề xuất sử dụng drone để truy đuổi nghi phạm thay vì dựa vào các cuộc rượt đuổi bằng xe tuần tra.

• Ellison gợi ý rằng hình ảnh vệ tinh của các trang trại có thể được AI phân tích để dự báo năng suất cây trồng và đề xuất cách cải thiện điều kiện đồng ruộng.

• Oracle muốn tăng thị phần trong lĩnh vực này bất kể những tác động tiềm ẩn đến quyền riêng tư.

📌 Larry Ellison tuyên bố Oracle sẵn sàng trở thành nền tảng cho giám sát AI toàn diện, hứa hẹn kiểm soát hành vi của cả cảnh sát và công dân thông qua ghi hình liên tục. Ông nhấn mạnh vai trò quan trọng của Oracle trong cơ sở hạ tầng AI và dự đoán một tương lai với sự giám sát toàn diện bằng công nghệ.

https://www.theregister.com/2024/09/16/oracle_ai_mass_surveillance_cloud/

CEO của Nvidia, dự báo tương lai AI tại hội nghị Goldman Sachs

• Jensen Huang, CEO Nvidia, phát biểu tại Hội nghị Communacopia + Technology của Goldman Sachs ngày 11/9, thảo luận về tính cạnh tranh của Nvidia, nền tảng Blackwell và Taiwan Semiconductor.

Cổ phiếu Nvidia tăng hơn 8% sau bài phát biểu, phục hồi đáng kể sau khi giảm mạnh sau báo cáo thu nhập Q2 vào tháng 8.

• Trong Q2 kết thúc ngày 28/7, Nvidia báo cáo:
  - Thu nhập điều chỉnh 0,68 USD/cổ phiếu, tăng gấp đôi so với cùng kỳ năm trước
  - Doanh thu đạt 30 tỷ USD, tăng 122% so với cùng kỳ năm trước

Huang tuyên bố Định luật Moore đã kết thúc, nhấn mạnh nhu cầu tăng tốc và thu nhỏ trung tâm dữ liệu.

• Nvidia đang thúc đẩy 2 xu hướng công nghệ chính:
  1. Chuyển từ trung tâm dữ liệu dựa trên CPU sang điện toán GPU nhanh hơn
  2. Tập trung vào sự phát triển của AI tạo sinh

• Huang dự đoán tương lai nơi mỗi kỹ sư phần mềm sẽ có "kỹ sư kỹ thuật số" đồng hành 24/7.

• Về rủi ro sản xuất chip từ Taiwan Semiconductor, Huang cho biết Nvidia có khả năng chuyển sang nhà cung cấp thay thế nếu cần, mặc dù có thể ảnh hưởng đến chất lượng.

• Huang nhấn mạnh vị trí dẫn đầu của Taiwan Semiconductor trong ngành công nghiệp chip.

• Doanh thu tháng 8 của Taiwan Semiconductor tăng 33% lên 7,8 tỷ USD, cho thấy nhu cầu cao đối với chip AI của Nvidia.

• Huang giới thiệu nền tảng Blackwell, cho phép chạy AI tạo sinh thời gian thực trên các mô hình có hàng nghìn tỷ tham số.

• Khách hàng của Blackwell bao gồm Amazon AWS, Dell, Google, Meta, Microsoft, OpenAI, Oracle và Tesla.

Blackwell hiện đang sản xuất đầy đủ, dự kiến giao hàng trong Q4 và mở rộng quy mô trong năm tới.

📌 Jensen Huang dự báo tương lai AI tập trung vào cơ sở hạ tầng, không chỉ chip. Nvidia thúc đẩy xu hướng điện toán GPU và AI tạo sinh với nền tảng Blackwell. Doanh thu Q2 tăng 122%, đạt 30 tỷ USD. Blackwell sẽ bắt đầu giao hàng Q4/2024.

https://www.thestreet.com/technology/nvidias-jensen-huang-addressed-three-big-questions-about-ai-future

Đài Loan không thể đơn độc ngăn chặn Trung Quốc tiếp cận chip tiên tiến

- Đài Loan không thể tự mình ngăn chặn Trung Quốc tiếp cận công nghệ chip tiên tiến; cần sự hỗ trợ từ phương Tây.
- Trung Quốc hiện là nước tiêu thụ chip lớn nhất thế giới, trong khi Đài Loan là nhà sản xuất chip hàng đầu và tiên tiến nhất.
- Mối quan hệ giữa Đài Loan và Trung Quốc đang căng thẳng do sự cạnh tranh trong lĩnh vực công nghệ và chuỗi cung ứng bán dẫn.
- Đài Loan đã thực hiện nhiều biện pháp quản lý để bảo vệ công nghệ chip của mình khỏi bị chuyển giao cho Trung Quốc.
- Chính phủ Đài Loan đã áp dụng hệ thống kiểm tra đầu tư ra nước ngoài nhằm giám sát các quyết định đầu tư của các công ty bán dẫn tại đây.
- Từ năm 1993, chính sách "không vội vàng, hãy kiên nhẫn" đã được áp dụng để kiểm soát việc chuyển giao công nghệ sang Trung Quốc.
- Các công ty như TSMC phải trải qua quy trình phê duyệt nghiêm ngặt trước khi mở cơ sở sản xuất tại Trung Quốc.
- Sự gia tăng căng thẳng địa chính trị đã dẫn đến việc Mỹ áp đặt các biện pháp kiểm soát xuất khẩu mới đối với chip và thiết bị sản xuất chip.
- Đài Loan đã cảnh giác với việc Trung Quốc sử dụng kinh doanh để mở rộng ảnh hưởng chính trị tại hòn đảo này.
- Năm 2023, Đài Loan đã công bố danh sách hơn 20 công nghệ cốt lõi mà họ muốn ngăn chặn Bắc Kinh tiếp cận.
- Trong khi đó, ngành công nghiệp chip của Trung Quốc đang phát triển mạnh mẽ, với sản lượng chip nội địa tăng 40% trong quý đầu năm 2024.
- Mặc dù sản xuất chip nội địa của Trung Quốc tăng lên, nhưng họ vẫn phụ thuộc vào Đài Loan cho các chip tiên tiến cần thiết cho AI và điện toán hiệu suất cao.
- Việc hạn chế tiếp cận chuỗi cung ứng chip toàn cầu cho Trung Quốc có thể làm tăng sự tự chủ công nghệ của họ trong tương lai.

📌 Đài Loan đang đối mặt với thách thức lớn trong việc bảo vệ ngành công nghiệp bán dẫn trước sự cạnh tranh từ Trung Quốc. Cần có sự phối hợp quốc tế để đảm bảo an ninh công nghệ và giảm thiểu rủi ro từ những tham vọng của Bắc Kinh.

 

https://asiatimes.com/2024/09/taiwan-cant-block-chinas-advanced-chip-access-alone/

Chính phủ Mỹ khuyến khích các công ty như Nvidia và Apple sử dụng dịch vụ đúc chip AI của Intel

• Chính phủ Mỹ đang khuyến khích các công ty như Nvidia và Apple sử dụng dịch vụ đúc chip của Intel cho nhu cầu chip AI, nhằm thiết lập năng lực sản xuất chip AI trong nước.

• CEO Intel Pat Gelsinger đã yêu cầu Bộ trưởng Thương mại Gina Raimondo hỗ trợ thuyết phục các công ty thiết kế chip Mỹ như Apple, Nvidia, Amazon và Google.

• Raimondo đã gặp gỡ các nhà đầu tư công để thuyết phục các công ty rằng việc hỗ trợ sản xuất chip ở Mỹ là vì lợi ích của họ, do rủi ro địa chính trị ngày càng tăng xung quanh Đài Loan.

• Intel đang xây dựng các nhà máy mới ở 4 bang của Mỹ để tăng cường vị thế là nhà cung cấp dịch vụ đúc chip cho các nhà thiết kế chip khác.

Chính quyền Biden đã thông báo thỏa thuận sơ bộ cung cấp cho Intel tới 8,5 tỷ USD tài trợ trực tiếp thông qua Đạo luật CHIPS and Science. Intel cũng có thể đủ điều kiện nhận tới 11 tỷ USD khoản vay liên bang.

• Tuy nhiên, sáng kiến đúc chip của Intel đã gặp trở ngại. Broadcom gần đây xác định quy trình sản xuất 18A mới của Intel không đáp ứng được tiêu chuẩn chất lượng cần thiết.

Trong báo cáo thu nhập quý gần nhất, bộ phận đúc chip của Intel báo lỗ 2,8 tỷ USD, tăng từ 1,9 tỷ USD trong Q2/2023 và 2,5 tỷ USD trong Q1/2024. Intel dự kiến lỗ hoạt động của mảng kinh doanh đúc chip sẽ đạt đỉnh vào năm 2024.

• Tuy nhiên, Intel đã đạt được thắng lợi đáng chú ý vào tháng 2 khi công bố Microsoft có kế hoạch sử dụng hoạt động đúc chip của Intel để sản xuất chip điện toán tùy chỉnh với công nghệ 18A.

• Intel cũng kỳ vọng sẽ vượt qua TSMC trong sản xuất chip tiên tiến trước mục tiêu ban đầu là năm 2025. Công ty còn có kế hoạch mở rộng lợi thế này vào năm 2026 với việc giới thiệu quy trình Intel 14A.

• Intel đã tăng dự báo đơn đặt hàng đúc chip từ 10 tỷ USD lên 15 tỷ USD.

📌 Chính phủ Mỹ đang thúc đẩy các công ty công nghệ lớn sử dụng dịch vụ đúc chip AI của Intel. Mặc dù gặp một số thách thức, Intel đã đạt được hợp đồng với Microsoft và kỳ vọng vượt TSMC trong sản xuất chip tiên tiến trước năm 2025, với dự báo đơn hàng đúc chip tăng lên 15 tỷ USD.

https://www.techspot.com/news/104721-us-government-encouraging-likes-nvidia-apple-tap-intel.html

Cuộc chiến bắt đầu cho tính toán suy luận AI trong trung tâm dữ liệu

- Cuộc chiến về tính toán suy luận AI trong các trung tâm dữ liệu đang diễn ra mạnh mẽ, với sự tham gia của các nhà cung cấp điện toán đám mây lớn và các công ty khởi nghiệp chip AI.
- Các nhà cung cấp điện toán đám mây chủ yếu sử dụng GPU của Nvidia và các bộ tăng tốc tự phát triển, trong khi một số công ty như AMD cũng đang tham gia.
- Chi phí cho suy luận AI trong trung tâm dữ liệu đang là một yếu tố chính cản trở việc triển khai GenAI trong doanh nghiệp, với dự đoán rằng nhu cầu về năng lực suy luận có thể gấp 3 đến 10 lần so với năng lực đào tạo AI hiện tại.
- Để giảm chi phí suy luận, cần phải có phần cứng mạnh mẽ hơn, không chỉ đơn giản là các chip giá rẻ.
- Groq đã giới thiệu hệ thống xử lý suy luận sử dụng 576 đơn vị xử lý ngôn ngữ (LPU), cho phép xử lý 315,06 token mỗi giây, nhanh hơn gấp 10 lần so với hệ thống Nvidia DGX H100.
- Cerebras cũng đã công bố dịch vụ suy luận mới trên nền tảng waferscale CS-2 của mình, với hiệu suất gấp 20 lần so với các API LLM trên đám mây.
- SambaNova tham gia vào cuộc chiến này với hệ thống của mình, đạt hiệu suất 1.100 token mỗi giây cho mô hình Llama 3.1 8B.
- Các công ty khởi nghiệp chip AI đang chuyển hướng sang suy luận, tìm cách chuyển đổi khách hàng từ thuê dịch vụ sang mua hệ thống.
- Mặc dù chi phí suy luận cao, nhưng nếu có thể giảm xuống 1/10 chi phí hiện tại, doanh thu từ suy luận có thể ngang bằng hoặc vượt qua doanh thu từ đào tạo AI.
- Các dịch vụ suy luận đang trở thành chiến lược quan trọng để các công ty khởi nghiệp chip AI kiếm tiền, mặc dù nhiều người vẫn nghi ngờ về khả năng sinh lời của lĩnh vực này.

📌 Suy luận AI đang trở thành một lĩnh vực cạnh tranh khốc liệt với sự tham gia của nhiều công ty, trong đó Groq, Cerebras và SambaNova đang dẫn đầu về hiệu suất và chi phí. Chi phí suy luận cần giảm đáng kể để mở rộng quy mô và thúc đẩy việc áp dụng GenAI trong doanh nghiệp.

https://www.nextplatform.com/2024/09/10/the-battle-begins-for-ai-inference-compute-in-the-datacenter/

Oracle đang xây siêu máy tính đám mây lớn nhất 'zettascale' với 131.072 GPU Nvidia Blackwell

- Oracle thông báo về việc xây dựng một cụm điện toán đám mây khổng lồ mang tên OCI Supercluster, dự kiến sẽ hỗ trợ lên đến 131.072 GPU Nvidia Blackwell.
- Siêu máy tính này dự kiến sẽ ra mắt trong nửa đầu năm 2025 và được cho là sẽ có hiệu suất tối đa đạt 2,4 zettaflops, mặc dù con số này được tính theo định dạng FP4.
- OCI Supercluster sẽ có số lượng GPU gấp 3 lần siêu máy tính Frontier, hiện đang giữ danh hiệu siêu máy tính mạnh nhất thế giới, và gấp hơn 6 lần so với các đối thủ trong ngành.
- Hiện tại chưa rõ liệu tất cả 131.072 GPU sẽ có mặt ngay khi ra mắt hay không, Oracle đang trong quá trình cung cấp thêm thông tin.
- Mahesh Thiagarajan, Phó Chủ tịch điều hành của Oracle Cloud Infrastructure, nhấn mạnh rằng Oracle có một trong những hạ tầng AI rộng lớn nhất và hỗ trợ khách hàng với các khối lượng công việc AI yêu cầu cao nhất trên đám mây.
- Oracle cung cấp khả năng triển khai dịch vụ đám mây và AI cho khách hàng ở bất kỳ đâu, đồng thời đảm bảo mức độ chủ quyền dữ liệu và AI cao nhất.
- Các cụm OCI nhỏ hơn sử dụng GPU Nvidia H100 cũng đang được triển khai, với khả năng mở rộng lên đến 16.384 GPU và hiệu suất tối đa đạt 65 exaflops.
- Các cụm H200 dự kiến sẽ ra mắt vào cuối năm nay, có khả năng mở rộng đến 65.536 GPU với hiệu suất tối đa đạt 260 exaflops.
- Các cụm OCI Supercluster sử dụng các phiên bản bare-metal làm mát bằng chất lỏng GB200 NVL72 của Nvidia sẽ sử dụng NVLink để cho phép tối đa 72 GPU Blackwell giao tiếp với nhau với băng thông tổng cộng lên tới 129,6 TBps trong một miền NVLink duy nhất.
- Vị trí của cụm siêu máy tính lớn nhất vẫn chưa được công bố.
- Larry Ellison, người sáng lập Oracle, cho biết công ty hiện có 162 trung tâm dữ liệu đám mây đang hoạt động hoặc đang được xây dựng trên toàn cầu, với trung tâm lớn nhất có công suất 800MW.
- Một cơ sở điện 1 gigawatt đang được lên kế hoạch, sẽ được cung cấp năng lượng bởi 3 lò phản ứng hạt nhân nhỏ.

📌 Oracle đang xây dựng OCI Supercluster với 131.072 GPU Nvidia Blackwell, hứa hẹn hiệu suất 2,4 zettaflops. Siêu máy tính này sẽ lớn hơn Frontier gấp ba lần và dự kiến ra mắt trong năm 2025. Công ty hiện có 162 trung tâm dữ liệu toàn cầu.

https://www.datacenterdynamics.com/en/news/oracle-says-it-is-building-a-zettascale-cloud-cluster-with-up-to-131072-nvidia-blackwell-gpus/

Gartner cảnh báo: AI tạo sinh chỉ phù hợp 5% trường hợp, nhu cầu GPU sẽ giảm

• Erick Brethenoux, chuyên gia nghiên cứu AI hàng đầu của Gartner, cho rằng các kỹ thuật AI đòi hỏi phần cứng chuyên dụng như GPU sẽ "sớm lỗi thời".

• Trong 45 năm quan sát AI, Brethenoux nhận thấy nhiều nhà cung cấp phần cứng chuyên dụng cho AI đều thất bại khi máy tính thông thường có thể đảm nhận công việc.

Nhu cầu phần cứng chuyên dụng là dấu hiệu của giai đoạn "vũ phu" trong AI, khi kỹ thuật lập trình chưa được tinh chỉnh và cần phần cứng mạnh mẽ.

• Brethenoux tin rằng AI tạo sinh cũng sẽ không thoát khỏi xu hướng này.

• Ông cho rằng các tổ chức có thể hưởng lợi từ AI mà không cần AI tạo sinh. "AI tạo sinh chiếm 90% sự chú ý nhưng chỉ phù hợp với 5% trường hợp sử dụng".

• Giai đoạn cuối 2022 đến đầu 2024 được mô tả là thời kỳ "nghỉ giải lao", khi các bộ phận IT tạm dừng tập trung vào các dự án sinh lời để khám phá AI tạo sinh.

• Các nỗ lực này phần lớn đã đưa các tổ chức quay trở lại với AI họ đã sử dụng trước đó hoặc chuyển sang "AI tổng hợp" - kết hợp AI tạo sinh với các kỹ thuật AI đã được thiết lập như học máy, đồ thị tri thức hoặc hệ thống dựa trên quy tắc.

• Một ví dụ về AI tổng hợp là sử dụng AI tạo sinh để tạo văn bản mô tả kết quả đầu ra của ứng dụng bảo trì dự đoán.

• Bern Elliot, một chuyên gia phân tích khác của Gartner, chỉ ra rằng AI tạo sinh không có khả năng lập luận và chỉ tạo ra "chuỗi xác suất" của nội dung.

• Elliot khuyến nghị không sử dụng AI tạo sinh cho các nhiệm vụ ngoài tạo nội dung, khám phá kiến thức và cung cấp giao diện người dùng hội thoại.

• Mặc dù tỷ lệ "hallucination" của AI tạo sinh đã giảm xuống còn 1-2%, nhưng Elliot cảnh báo rằng điều này không có nghĩa là công nghệ đã trưởng thành.

• Cả Brethenoux và Elliot đều khuyến nghị sử dụng AI tổng hợp như một cách tiếp cận an toàn hơn, và áp dụng các biện pháp bảo vệ sử dụng kỹ thuật AI không tạo sinh để kiểm tra kết quả tạo sinh.

📌 Gartner cảnh báo về sự phát triển quá nóng của AI tạo sinh, dự đoán chỉ phù hợp với 5% trường hợp sử dụng. Chuyên gia khuyến nghị sử dụng AI tổng hợp, kết hợp AI tạo sinh với các kỹ thuật AI truyền thống để đạt hiệu quả tốt hơn và an toàn hơn.

https://www.theregister.com/2024/09/10/brute_force_ai_era_gartner/

Chip AI của Nvidia rẻ hơn để thuê ở Trung Quốc so với Mỹ

• Chi phí thuê dịch vụ đám mây sử dụng chip AI hàng đầu của Nvidia ở Trung Quốc thấp hơn so với Mỹ, cho thấy các bộ xử lý tiên tiến này dễ dàng tiếp cận thị trường Trung Quốc bất chấp hạn chế xuất khẩu của Washington.

4 nhà cung cấp đám mây quy mô nhỏ của Trung Quốc tính phí các công ty công nghệ địa phương khoảng 6 USD/giờ để sử dụng máy chủ với 8 bộ xử lý Nvidia A100 trong cấu hình cơ bản. Các nhà cung cấp đám mây nhỏ ở Mỹ tính phí khoảng 10 USD/giờ cho cùng một cấu hình.

• Giá thấp là dấu hiệu cho thấy nguồn cung chip Nvidia dồi dào ở Trung Quốc và việc phá vỡ các biện pháp của Mỹ nhằm ngăn chặn tiếp cận công nghệ tiên tiến.

• A100 và H100 là những bộ tăng tốc AI mạnh mẽ nhất của Nvidia, được sử dụng để đào tạo các mô hình ngôn ngữ lớn. Nvidia đã bị cấm vận chuyển A100 đến Trung Quốc từ mùa thu năm 2022 và chưa bao giờ được phép bán H100 ở nước này.

• Các nhà bán lẻ chip và startup công nghệ cho biết các sản phẩm này tương đối dễ mua. Hàng tồn kho A100 và H100 được quảng cáo công khai để bán trên mạng xã hội Trung Quốc và các trang thương mại điện tử như Xiaohongshu và Taobao của Alibaba, cũng như tại các chợ điện tử, với mức giá cao hơn một chút so với giá ở nước ngoài.

• Các công ty đám mây lớn hơn của Trung Quốc như Alibaba và ByteDance tính phí gấp đôi đến gấp bốn lần giá của các nhà cung cấp địa phương nhỏ hơn cho các máy chủ Nvidia A100 tương tự.

• Một người sáng lập startup Trung Quốc ước tính có hơn 100.000 bộ xử lý Nvidia H100 trong nước dựa trên tính sẵn có rộng rãi trên thị trường. Các chip Nvidia có kích thước xấp xỉ bằng một cuốn sách, khiến chúng tương đối dễ dàng để những kẻ buôn lậu vận chuyển qua biên giới.

Tại chợ điện tử Huaqiangbei ở Thâm Quyến, người bán hàng báo giá tương đương 23.000-30.000 USD cho các card cắm H100 của Nvidia. Người bán trực tuyến báo giá tương đương 31.000-33.000 USD.

• Một nhà cung cấp trung tâm dữ liệu ở Trung Quốc cho biết các máy chủ do Supermicro của Thung lũng Silicon sản xuất và được trang bị 8 chip H100 đạt mức giá bán cao nhất là 3,2 triệu nhân dân tệ sau khi chính quyền Biden thắt chặt hạn chế xuất khẩu vào tháng 10. Ông nói rằng giá đã giảm xuống còn 2,5 triệu nhân dân tệ khi các hạn chế về nguồn cung được nới lỏng.

• Nhiều người tham gia vào hoạt động thương mại cho biết các thương nhân ở Malaysia, Nhật Bản và Indonesia thường vận chuyển máy chủ Supermicro hoặc bộ xử lý Nvidia đến Hồng Kông trước khi đưa chúng qua biên giới đến Thâm Quyến.

📌 Chip AI của Nvidia dễ dàng tiếp cận ở Trung Quốc bất chấp lệnh cấm của Mỹ. Giá thuê thấp hơn 40% so với Mỹ (6 USD/giờ so với 10 USD/giờ) cho thấy nguồn cung dồi dào. Ước tính có hơn 100.000 chip H100 tại Trung Quốc, với giá dao động từ 23.000-33.000 USD/chip trên thị trường chợ đen.

https://www.ft.com/content/10aacfa3-e966-4b50-bbee-66e13560deb4

#FT

HPE giới thiệu giải pháp triển khai ứng dụng AI một chạm trên đám mây riêng

• HPE đã giới thiệu HPE Private Cloud AI với các giải pháp tăng tốc mới để tự động hóa và hợp lý hóa các ứng dụng trí tuệ nhân tạo. 

• HPE Private Cloud AI là một giải pháp đám mây chìa khóa trao tay được đồng phát triển với Nvidia nhằm giúp doanh nghiệp xây dựng và triển khai các ứng dụng AI tạo sinh.

• Giải pháp tăng tốc đầu tiên là trợ lý ảo AI tạo sinh, giúp các nhà phát triển nhanh chóng xây dựng chatbot tương tác trả lời câu hỏi bằng ngôn ngữ tự nhiên, dựa trên dữ liệu riêng của tổ chức và được hỗ trợ bởi các mô hình ngôn ngữ lớn nguồn mở.

• Doanh nghiệp có thể tùy chỉnh ứng dụng AI cho nhiều mục đích sử dụng như hỗ trợ kỹ thuật, tạo báo giá bán hàng và tạo nội dung marketing.

Phiên bản tiếp theo của trợ lý ảo sẽ hỗ trợ giọng nói, hình ảnh và đa tác vụ, cho phép tạo nội dung nâng cao và thực hiện nhiều tác vụ.

• Các giải pháp tăng tốc trong tương lai sẽ có các ứng dụng AI cho các ngành dọc như tài chính, y tế, bán lẻ, năng lượng và khu vực công.

• Một số giải pháp tăng tốc sắp tới sẽ dựa trên Nvidia NIM Agent Blueprints.

• Các giải pháp tăng tốc là các ứng dụng tùy chỉnh, mô-đun low-code hoặc no-code sử dụng các vi dịch vụ Nvidia NIM, nhằm rút ngắn thời gian tạo giá trị cho doanh nghiệp.

Các giải pháp này đơn giản hóa việc triển khai ứng dụng AI, vốn thường đòi hỏi kỹ năng mới, khối lượng công việc phức tạp và tích hợp nhiều thành phần khác nhau.

• Các giải pháp tăng tốc được quản lý thông qua đám mây HPE GreenLake, cung cấp các biện pháp bảo vệ doanh nghiệp và cô lập dữ liệu để đảm bảo an ninh.

• HPE cũng đã ra mắt chương trình đối tác Unleash AI để giúp doanh nghiệp tận dụng hơn nữa AI và đẩy nhanh thời gian tạo giá trị.

• Chương trình sẽ bao gồm các nhà cung cấp phần mềm trên các lớp dữ liệu, mô hình AI và ứng dụng AI của ngăn xếp công nghệ, cũng như các nhà tích hợp hệ thống và nhà cung cấp dịch vụ.

📌 HPE ra mắt HPE Private Cloud AI với giải pháp tăng tốc triển khai trợ lý ảo AI tạo sinh chỉ với một cú nhấp chuột. Giải pháp này giúp doanh nghiệp nhanh chóng xây dựng chatbot tương tác dựa trên dữ liệu riêng, có thể tùy chỉnh cho nhiều mục đích sử dụng và được quản lý qua đám mây HPE GreenLake.

https://www.ndtvprofit.com/technology/hpe-introduces-one-click-deploy-ai-applications-in-private-cloud

Elon Musk kích hoạt siêu máy tính AI Colossus với 100.000 chip Nvidia, tuyên bố mạnh nhất thế giới

• Elon Musk vừa công bố đã kích hoạt siêu máy tính AI mang tên Colossus tại Tennessee, được cho là hệ thống huấn luyện AI mạnh nhất thế giới.

• Colossus được trang bị 100.000 chip Nvidia H100 GPU, nhiều hơn bất kỳ hệ thống AI đơn lẻ nào khác trên thế giới.

• Siêu máy tính này được xây dựng cho công ty khởi nghiệp AI của Musk là xAI, chỉ mất 122 ngày để hoàn thành - một kỷ lục theo Nvidia.

Musk tuyên bố trong vài tháng tới, Colossus sẽ tăng gấp đôi lên 200.000 chip AI, bao gồm 50.000 GPU H200 mới hơn với gần gấp đôi dung lượng bộ nhớ và băng thông tăng 40%.

• Để có được 100.000 GPU H100 này, ước tính Musk đã phải chi hàng tỷ đô la, với mỗi chip có giá khoảng 40.000 USD.

• xAI mới được thành lập vào mùa hè năm ngoái, với sản phẩm chính là chatbot AI Grok được tích hợp vào X (Twitter).

• Việc xAI có thể sánh ngang về phần cứng với các công ty công nghệ hàng đầu như OpenAI, Microsoft là điều đáng kinh ngạc, giả định rằng Musk không phóng đại.

• Trước đó, Musk đã mua hàng chục nghìn GPU cho Tesla trị giá 3-4 tỷ USD, một số được dùng để huấn luyện phiên bản đầu của Grok.

• xAI đã huy động được khoảng 6 tỷ USD trong đợt gọi vốn tháng 5, nhờ sự hậu thuẫn của các quỹ đầu tư mạo hiểm công nghệ nổi tiếng như Andreessen Horowitz.

• Tuy nhiên, việc ra mắt siêu máy tính này gặp tranh cãi khi người dân địa phương phàn nàn về "mức độ khói bụi không thể chấp nhận được" từ trung tâm dữ liệu.

• Các đối thủ như Microsoft và Meta cũng đang đẩy mạnh đầu tư vào chip AI. Microsoft dự kiến sở hữu 1,8 triệu chip AI vào cuối năm nay, trong khi Meta có kế hoạch mua thêm 350.000 Nvidia H100.

Colossus sẽ được sử dụng để huấn luyện Grok-3, dự kiến ra mắt vào tháng 12 năm nay.

📌 Elon Musk tạo dấu ấn với siêu máy tính Colossus 100.000 chip Nvidia, tuyên bố mạnh nhất thế giới. Dự án tham vọng trị giá hàng tỷ USD này đặt nền móng cho cuộc đua AI, nhưng cũng gây tranh cãi về tác động môi trường.

https://futurism.com/the-byte/elon-musk-most-powerful-ai-supercomputer

Phần mềm lỗi của Huawei cản trở nỗ lực thay thế Nvidia trong AI của Trung Quốc

• Nỗ lực của Trung Quốc nhằm bắt kịp sức mạnh tính toán AI của Mỹ đang bị cản trở bởi phần mềm nhiều lỗi, với khách hàng của Huawei phàn nàn về vấn đề hiệu suất và khó khăn khi chuyển đổi từ sản phẩm Nvidia.

• Huawei nổi lên như ứng cử viên hàng đầu trong cuộc đua phát triển giải pháp thay thế trong nước cho Nvidia, sau khi Washington thắt chặt kiểm soát xuất khẩu chip hiệu năng cao vào tháng 10/2022.

• Dòng chip Ascend của Huawei ngày càng được sử dụng phổ biến cho các ứng dụng AI tại Trung Quốc, đặc biệt là cho quá trình suy luận.

• Tuy nhiên, nhiều chuyên gia trong ngành cho biết chip Ascend vẫn thua xa Nvidia trong việc huấn luyện ban đầu các mô hình AI, do vấn đề về độ ổn định, kết nối giữa các chip chậm hơn và phần mềm Cann kém hơn của Huawei.

• Nhân viên của chính Huawei cũng phàn nàn về Cann, cho rằng nó khiến sản phẩm Ascend "khó sử dụng và không ổn định", với lỗi ngẫu nhiên khó xác định nguyên nhân do tài liệu kém.

• Một kỹ sư Trung Quốc cho biết chip của Huawei thường xuyên gặp sự cố, gây khó khăn cho công việc phát triển AI.

• Để giải quyết vấn đề, Huawei đã cử kỹ sư đến hỗ trợ khách hàng chuyển đổi mã huấn luyện từ Cuda sang Cann. Baidu, iFlytek và Tencent nằm trong số các công ty nhận được hỗ trợ.

• Huawei có thể tận dụng lực lượng lao động lớn để đẩy nhanh quá trình chuyển đổi, với hơn 50% trong số 207.000 nhân viên làm việc trong lĩnh vực R&D.

• Sau khi Mỹ thắt chặt kiểm soát xuất khẩu vào tháng 10/2022, Huawei đã tăng giá chip Ascend 910B dùng cho huấn luyện lên 20-30%.

• Khách hàng của Huawei cũng lo ngại về hạn chế nguồn cung chip Ascend, có thể do khó khăn trong sản xuất khi các công ty Trung Quốc bị cấm mua máy móc sản xuất chip tiên tiến từ ASML của Hà Lan.

• Huawei báo cáo doanh thu nửa đầu năm tăng 34%, nhưng không cung cấp chi tiết về doanh số các mảng kinh doanh khác nhau.

Hơn 50 mô hình nền tảng đã được "huấn luyện và lặp lại" trên chip Ascend, theo chia sẻ của giám đốc điều hành Huawei Zhang Ping'an tại Hội nghị AI Thế giới ở Thượng Hải vào tháng 7/2023.

📌 Huawei đang dẫn đầu nỗ lực thay thế Nvidia trong lĩnh vực AI tại Trung Quốc với chip Ascend, nhưng vẫn gặp nhiều thách thức về phần mềm và hiệu suất. Dù vậy, Huawei đã triển khai hỗ trợ kỹ thuật tích cực và chip Ascend đang được áp dụng ngày càng rộng rãi, với hơn 50 mô hình AI đã được huấn luyện trên nền tảng này.

https://www.ft.com/content/3dab07d3-3d97-4f3b-941b-cc8a21a901d6

#FT

Nhà mạng Maxis ra mắt dịch vụ GPU-as-a-Service đầu tiên tại Malaysia

- Maxis đã công bố ra mắt dịch vụ GPU-as-a-Service (GPUaaS) đầu tiên tại Malaysia, nằm trong danh mục dịch vụ điện toán đám mây và quản lý của Maxis Business.
- Dịch vụ GPUaaS cung cấp cho các doanh nghiệp khả năng truy cập dễ dàng vào các đơn vị xử lý đồ họa (GPU) mạnh mẽ, phục vụ cho các ứng dụng AI tiên tiến như đào tạo và suy diễn.
- Maxis cho biết GPUaaS là giải pháp tiết kiệm chi phí cho khách hàng doanh nghiệp, giúp họ nhanh chóng triển khai các khả năng hiệu suất cao cần thiết cho các khối lượng công việc xử lý nặng như AI, học máy và học sâu.
- Doanh nghiệp không cần đầu tư lớn vào phần cứng GPU đắt tiền hay duy trì cơ sở hạ tầng phức tạp khi sử dụng dịch vụ này.
- Dịch vụ GPUaaS của Maxis sẽ sử dụng các cụm GPU Nvidia H100 Tensor Core, với mục tiêu trở thành một trong những nhà cung cấp dịch vụ viễn thông đầu tiên trên thế giới triển khai các siêu chip GB200 Grace Blackwell thế hệ tiếp theo của Nvidia.
- GPUaaS hứa hẹn cung cấp sức mạnh tính toán có thể mở rộng theo yêu cầu, cho phép khách hàng phân bổ nhiều thời gian và tài nguyên hơn cho các hoạt động kinh doanh cốt lõi.
- Dịch vụ này giúp tăng tốc phát triển các mô hình AI tạo sinh (Generative AI), các mô hình ngôn ngữ lớn và các khối lượng công việc AI, nhắm đến nhu cầu ngày càng tăng từ các ngành như sản xuất, chăm sóc sức khỏe và logistics.
- Maxis muốn giúp khách hàng tăng tốc độ tăng trưởng và đổi mới bằng cách truy cập vào các cụm GPU thông qua các kết nối cố định hoặc di động 5G hiện có.
- Dịch vụ GPUaaS của Maxis được hỗ trợ thông qua Bridge Alliance, cho phép Maxis tận dụng dịch vụ GPUaaS của Singtel trong khu vực.
- Theo thỏa thuận chiến lược mà Singtel ký kết vào tháng trước, các nhà khai thác thành viên của Bridge Alliance sẽ có quyền truy cập vào dịch vụ GPUaaS của Singtel, cho phép họ cung cấp dịch vụ điện toán đám mây cho các doanh nghiệp.
- Ngoài Maxis, AIS của Thái Lan và Telkomsel của Indonesia cũng là những người tiên phong trong việc cung cấp dịch vụ GPUaaS trong khu vực.

📌 Maxis đã ra mắt dịch vụ GPU-as-a-Service đầu tiên tại Malaysia, sử dụng GPU Nvidia H100, giúp doanh nghiệp tiết kiệm chi phí và tăng tốc phát triển AI. Dịch vụ này hỗ trợ các ngành như sản xuất, y tế và logistics, với khả năng mở rộng theo nhu cầu.

https://soyacincau.com/2024/09/02/maxis-gpu-as-a-service-malaysia-nvidia-h100-tensor-core/

Tăng trưởng 10% năng lực trung tâm dữ liệu ở Bắc Mỹ và Châu Á trong nửa đầu năm 2024

- Năng lực trung tâm dữ liệu đã tăng 10% trong nửa đầu năm 2024 tại Bắc Mỹ và Châu Á-Thái Bình Dương, theo nghiên cứu mới nhất từ CBRE.
- Bắc Mỹ đã thêm 515MW năng lực mới, với khối lượng xây dựng tăng 70% so với năm trước.
- Northern Virginia là thị trường lớn nhất, bổ sung 357MW, nâng tổng năng lực lên 2.61GW. Dallas-Fort Worth theo sau với 91.6MW, đạt tổng 591MW.
- Tại Châu Á-Thái Bình Dương, nghiên cứu của Cushman & Wakefield cho thấy 11.6GW năng lực đang hoạt động tính đến ngày 30 tháng 6, sau khi thêm 1.3GW trong nửa đầu năm.
- Khu vực này đang trải qua sự mở rộng lớn nhất trong thời gian gần đây, với 4.2GW đang được xây dựng và 12GW đang trong giai đoạn lập kế hoạch.
- Malaysia là thị trường phát triển nhanh nhất trong khu vực, với năng lực hoạt động tăng 80%, chủ yếu tại Johor Bahru, gần Singapore. Ấn Độ ghi nhận mức tăng trưởng thứ hai với 28%.
- Mặc dù có sự tăng trưởng mạnh mẽ, Châu Á-Thái Bình Dương chưa cảm nhận được tác động của AI như Bắc Mỹ.
- Tại Bắc Mỹ, nhu cầu từ AI và đám mây đã đẩy tỷ lệ trống xuống mức thấp kỷ lục 2.8% trong nửa đầu năm, giảm từ 3.3% năm ngoái, trong khi giá tăng trung bình 7%.
- Các thị trường thứ cấp như Denver, Seattle và Austin có tỷ lệ trống giảm xuống 9.7% từ 12.7% năm trước.
- Tại Châu Á-Thái Bình Dương, tỷ lệ trống ở các thị trường lớn dao động từ 8% ở Tokyo và Sydney đến 19% ở Hong Kong, ngoại trừ Singapore với tỷ lệ chỉ 1%.
- CBRE dự báo sẽ có sự gia tăng đầu tư và giao dịch trong nửa cuối năm 2024.
- Tuy nhiên, nhu cầu cao về tính toán năng lượng lớn đang tạo ra sự chênh lệch giá đáng kể giữa các trung tâm dữ liệu mới và cũ, với nhiều cơ sở hiện tại không đủ hạ tầng để đáp ứng nhu cầu này.
- Theo một ghi chú nghiên cứu từ Synergy Research, M&A trung tâm dữ liệu cũng đang gia tăng và có thể vượt 40 tỷ USD trong năm nay, với 36.7 tỷ USD giao dịch đã hoàn tất.

📌 Năng lực trung tâm dữ liệu ở Bắc Mỹ và Châu Á-Thái Bình Dương tăng 10% trong nửa đầu năm 2024, với Bắc Mỹ bổ sung 515MW và Châu Á 1.3GW. Tỷ lệ trống tại Bắc Mỹ giảm xuống 2.8%, trong khi Châu Á ghi nhận tỷ lệ trống từ 8% đến 19%. M&A trung tâm dữ liệu có thể vượt 40 tỷ USD trong năm nay.

https://www.lightreading.com/data-centers/data-center-capacity-in-asia-north-america-grew-10-in-h1

OpenAI dự định sản xuất chip AI riêng trên quy trình 1,6 nm A16 của TSMC

• OpenAI đang lên kế hoạch sản xuất chip AI riêng và đã đặt chỗ sản xuất với TSMC trên quy trình 1,6 nm A16 mới nhất.

• Quy trình A16 sẽ là bước tiếp theo sau quy trình N2 của TSMC, sử dụng transistor nanosheet GAAFET và là quy trình đầu tiên của TSMC áp dụng công nghệ cấp nguồn mặt sau Super Power Rail.

• OpenAI ban đầu dự định sử dụng quy trình N5 chi phí thấp hơn nhưng đã chuyển sang A16 tiên tiến hơn.

Broadcom hoặc Marvell có thể được chọn để phát triển chip AI cho OpenAI, mặc dù cả hai công ty đều chưa có nhiều kinh nghiệm với các quy trình tiên tiến nhất của TSMC.

Có khả năng dự án được thực hiện với sự hợp tác của Apple, vốn đang sử dụng ChatGPT trong hệ thống AI của mình và có thể cũng muốn phát triển chip AI riêng.

• OpenAI hiện đang chi rất nhiều tiền để vận hành ChatGPT, một phần do chi phí cao của máy chủ AI Nvidia.

• Việc phát triển chip AI riêng tốn kém ban đầu nhưng sẽ giúp giảm chi phí vận hành lâu dài.

• Tương lai của OpenAI còn nhiều bất ổn do thua lỗ và cạnh tranh gay gắt, nhưng có tin đồn về khoản đầu tư từ Apple và Nvidia.

• Nếu OpenAI bị mua lại bởi Microsoft, Meta hoặc Nvidia, dự án chip riêng có thể sẽ không được hoàn thành.

Chip của OpenAI nếu ra đời sẽ chỉ tối ưu cho GPT, ít công ty khác quan tâm sử dụng.

• Nvidia hiện đang thống trị thị trường chip AI với các công ty lớn như Alphabet, Amazon, Meta, Microsoft và Tesla chi hàng trăm triệu USD cho các siêu chip Hopper H100 và Blackwell.

• TSMC cho biết A16 là quy trình 1,6 nm nhưng con số này hiện không còn nhiều ý nghĩa.

• Báo cáo từ United Daily News thường khá chính xác về các dự báo công nghệ như vậy.

📌 OpenAI đặt mục tiêu tự sản xuất chip AI trên quy trình 1,6 nm A16 tiên tiến của TSMC, nhằm giảm chi phí vận hành ChatGPT. Dự án có thể hợp tác với Apple, Broadcom hoặc Marvell thiết kế chip. Tuy nhiên, tương lai còn nhiều bất định do cạnh tranh gay gắt và khả năng bị thâu tóm.

https://www.pcgamer.com/software/ai/openai-plans-to-build-its-own-ai-chips-on-tsmcs-forthcoming-16-nm-a16-process-node/

Microsoft ra mắt chip AI đầu tiên Maia 100, hứa hẹn tăng tốc AI giá rẻ

• Microsoft đã giới thiệu bộ tăng tốc AI đầu tiên của mình có tên Maia 100 tại hội nghị Hot Chips năm nay. Đây là một bước đi nhằm cạnh tranh với sự thống trị của Nvidia trong thị trường chip AI (chiếm 75-90% thị phần).

Maia 100 được thiết kế để chạy các mô hình OpenAI trên trung tâm dữ liệu Azure của Microsoft. Nó sử dụng kiến trúc tùy chỉnh với bo mạch chủ, giá đỡ và phần mềm riêng để cung cấp giải pháp hiệu quả về chi phí cho các khối lượng công việc dựa trên AI.

Chip được sản xuất trên quy trình 5nm của TSMC, có TDP 500W và có thể hỗ trợ lên đến 700W. Nó được trang bị 64GB bộ nhớ HBM2E, thấp hơn so với 80GB của Nvidia H100 và 192GB HBM3E của B200.

• Kiến trúc SoC của Maia 100 bao gồm:
  - Đơn vị tensor tốc độ cao (16xRx16) 
  - Bộ xử lý vector siêu vô hướng lỏng lẻo với ISA tùy chỉnh
  - Bộ máy Truy cập Bộ nhớ Trực tiếp 
  - Semaphore phần cứng cho lập trình bất đồng bộ

• Maia 100 hỗ trợ nhiều loại dữ liệu, bao gồm cả định dạng MX độ chính xác thấp của Microsoft.

• Microsoft cung cấp Maia SDK cho các nhà phát triển, bao gồm:
  - Công cụ để chuyển đổi nhanh các mô hình từ PyTorch và Triton
  - Tích hợp framework, công cụ phát triển, mô hình lập trình và trình biên dịch
  - Kernel tính toán và giao tiếp được tối ưu hóa
  - Runtime Host/Device Maia
  - Lớp trừu tượng phần cứng

• Microsoft đã cung cấp thêm thông tin chi tiết về SDK, giao thức mạng backend và tối ưu hóa trong bài đăng blog "Inside Maia 100".

📌 Microsoft tham gia cuộc đua chip AI với Maia 100, hứa hẹn tăng tốc AI giá rẻ. Chip 5nm này có 64GB HBM2E, TDP 500-700W, hỗ trợ nhiều định dạng dữ liệu và đi kèm SDK toàn diện. Mục tiêu là cạnh tranh với Nvidia trong thị trường chip AI trị giá hàng tỷ USD.

https://www.techspot.com/news/104514-microsoft-maia-100-looks-bring-customers-cost-effective.html

AI thúc đẩy bùng nổ trung tâm dữ liệu, Mỹ dẫn đầu cuộc đua với hơn 2.800 DC

• Ngành trung tâm dữ liệu đang bùng nổ mạnh mẽ nhờ sự phát triển của trí tuệ nhân tạo (AI), trở thành lĩnh vực đầu tư bất động sản hấp dẫn trị giá hàng tỷ USD.

Mỹ dẫn đầu thế giới với hơn 2.800 trung tâm dữ liệu, so với chỉ khoảng 400 ở Anh. Các công ty công nghệ lớn đang đổ tiền vào cơ sở hạ tầng này.

Amazon đang đầu tư 35 tỷ USD để mở rộng kinh doanh trung tâm dữ liệu ở Virginia đến năm 2040. Microsoft và OpenAI đang cân nhắc phát triển trung tâm dữ liệu trị giá 100 tỷ USD.

• Nhu cầu về đất để xây dựng trung tâm dữ liệu đang tăng vọt, mang lại lợi ích cho chủ đất địa phương và nguồn thu thuế của các đô thị.

• Bắc Virginia và Thung lũng Silicon là những thị trường hàng đầu. Boise, Reno và Columbus, Ohio đang nổi lên như những thị trường mới đầy tiềm năng.

• Các quỹ đầu tư tư nhân đang hợp tác với nhà cung cấp trung tâm dữ liệu, đưa thêm vốn vào lĩnh vực này.

• Tuy nhiên, người dân thường không muốn sống gần trung tâm dữ liệu vì lo ngại về thẩm mỹ và môi trường, dẫn đến các vụ kiện.

Các công ty năng lượng đang bị ảnh hưởng bởi nhu cầu điện cao của trung tâm dữ liệu, buộc phải đề xuất tăng giá và gây áp lực lên lưới điện.

• Một số công ty đang hướng tới sử dụng năng lượng tái tạo cho trung tâm dữ liệu để giải quyết vấn đề này.

• Nadeem Meghji của Blackstone Real Estate nhận định trung tâm dữ liệu là loại tài sản hấp dẫn nhất hiện nay.

• Ngoài vai trò công nghệ quan trọng, trung tâm dữ liệu còn là cơ hội đầu tư bất động sản tiềm năng.

• Các công ty có tiềm lực tài chính mạnh như Amazon, Microsoft đang dẫn đầu xu hướng đầu tư vào trung tâm dữ liệu.

• Sự phát triển của AI và nhu cầu tính toán ngày càng tăng là động lực chính thúc đẩy ngành công nghiệp này.

📌 Trung tâm dữ liệu đang bùng nổ nhờ AI, với Mỹ dẫn đầu (2.800 trung tâm). Amazon đầu tư 35 tỷ USD, Microsoft-OpenAI cân nhắc dự án 100 tỷ USD. Tuy có thách thức về môi trường và năng lượng, ngành này vẫn là cơ hội đầu tư bất động sản hấp dẫn.

https://therealdeal.com/national/2024/08/30/ai-set-to-keep-driving-data-center-boom/

MLPerf Inference 4.1 công bố kết quả mới với sự ra mắt của GPU Nvidia Blackwell

• MLCommons vừa công bố kết quả MLPerf Inference 4.1 mới nhất, với 964 kết quả hiệu năng được gửi bởi 22 tổ chức.

• Đây là lần đầu tiên GPU Nvidia Blackwell thế hệ mới xuất hiện trong các bài kiểm tra được xác thực.

• MLPerf Inference 4.1 giới thiệu benchmark mới về Mixture of Experts (MoE), sử dụng mô hình Mixtral 8x7B gồm 8 chuyên gia, mỗi chuyên gia có 7 tỷ tham số.

Benchmark MoE kết hợp 3 tác vụ: trả lời câu hỏi dựa trên bộ dữ liệu Open Orca, suy luận toán học sử dụng bộ dữ liệu GSMK và các tác vụ lập trình sử dụng bộ dữ liệu MBXP.

• Nhiều bộ xử lý và hệ thống mới lần đầu xuất hiện trong đợt benchmark này, bao gồm AMD MI300x, Google TPUv6e (Trillium), Intel Granite Rapids, Untether AI SpeedAI 240 và Nvidia Blackwell B200 GPU.

• Kết quả cho thấy GPU Nvidia Blackwell mang lại hiệu năng cao hơn 4 lần so với thế hệ trước đó trên mỗi GPU đối với workload LLM lớn nhất của MLPerf là Llama 2 70B.

• GPU Nvidia Hopper cũng đạt được cải thiện hiệu năng lên tới 27% so với kết quả 6 tháng trước, chỉ nhờ vào tối ưu hóa phần mềm.

• David Kanter, người sáng lập MLPerf tại MLCommons, nhấn mạnh sự đa dạng và số lượng lớn các hệ thống tham gia benchmark lần này, mang lại nhiều cơ hội so sánh và học hỏi cho ngành công nghiệp.

• Miro Hodak từ AMD giải thích rằng cách tiếp cận MoE cho phép triển khai hiệu quả hơn và chuyên biệt hóa tác vụ, mang lại giải pháp AI linh hoạt và tiết kiệm chi phí hơn cho doanh nghiệp.

• Dave Salvator từ Nvidia chia sẻ đây là lần đầu tiên công bố dữ liệu hiệu năng đo lường của Blackwell, thể hiện sự phấn khích về tiềm năng của GPU thế hệ mới này.

• Các kết quả MLPerf Inference cung cấp cái nhìn toàn diện về cảnh quan phần cứng và phần mềm AI đang phát triển nhanh chóng, giúp các nhà ra quyết định doanh nghiệp đưa ra lựa chọn sáng suốt về đầu tư cơ sở hạ tầng AI.

📌 MLPerf Inference 4.1 đánh dấu bước tiến mới trong hiệu năng AI với sự ra mắt của GPU Nvidia Blackwell mạnh gấp 4 lần thế hệ trước. Benchmark MoE mới và sự cải thiện 27% của GPU Hopper cho thấy tiềm năng to lớn của công nghệ AI trong tương lai gần.

https://venturebeat.com/ai/mlcommons-mlperf-inference-4-1-benchmarks-moe-model-as-nvidia-blackwell-makes-its-testing-debut/

AWS ra mắt dịch vụ HPC-as-a-service mới: mở rộng quyền truy cập siêu máy tính cho doanh nghiệp

• AWS giới thiệu dịch vụ mới có tên AWS Parallel Computing Service, nhằm dân chủ hóa quyền truy cập vào điện toán hiệu năng cao (HPC) cho doanh nghiệp (HPC-as-a-service)

• Dịch vụ này cho phép khách hàng AWS truy cập các máy chủ máy tính để thực hiện các khối lượng công việc đòi hỏi tính toán lớn mà không cần đào tạo quản trị viên hệ thống.

• Ian Colle, giám đốc điện toán và mô phỏng nâng cao tại AWS, cho rằng dịch vụ này có thể đẩy nhanh tốc độ đổi mới công nghệ hoặc khám phá khoa học vốn phụ thuộc vào quyền truy cập vào các cụm HPC.

• AWS Parallel Computing cho phép người dùng thiết lập và quản lý các nhóm phiên bản Amazon Elastic Compute Cloud. Công ty đã sử dụng trình quản lý khối lượng công việc HPC nguồn mở Slurm để xây dựng và duy trì các cụm cho quản trị viên hệ thống.

• Khách hàng có thể sử dụng các công cụ tương tự trên AWS như Management Console và bộ công cụ phát triển phần mềm. Vì dịch vụ sử dụng Slurm, người dùng có thể di chuyển bất kỳ quy trình làm việc hiện có nào sang cụm HPC của AWS mà không cần phải thiết kế lại.

• Dịch vụ sẽ được cung cấp đầu tiên tại các khu vực AWS ở Ohio, Virginia và Oregon (Hoa Kỳ); Frankfurt, Stockholm và Ireland (Châu Âu); và Sydney, Singapore và Tokyo (Châu Á-Thái Bình Dương).

• Một số khách hàng AWS đã được truy cập sớm vào Parallel Computing để thể hiện phạm vi các trường hợp sử dụng mà cụm HPC có thể thực hiện. Ví dụ, công ty Marvel Fusion của Đức sử dụng dịch vụ này cho nghiên cứu về năng lượng không phát thải vô hạn.

• Việc cung cấp quyền truy cập vào các cụm HPC đã trở nên phổ biến trong những năm gần đây khi các công ty bắt đầu cần quyền truy cập vào sức mạnh tính toán để đào tạo các mô hình ngôn ngữ lớn và các mô hình AI nền tảng khác.

• Theo Tony Harvey, nhà phân tích và giám đốc cấp cao của Gartner, HPC dưới dạng dịch vụ không phải là mới, nhưng ngày càng có nhiều loại công ty nhìn thấy các trường hợp sử dụng mới cho siêu máy tính.

• Harvey cho rằng bất kỳ động thái nào nhằm dân chủ hóa hơn nữa quyền truy cập vào HPC sẽ giúp giảm thời gian chờ đợi cho các siêu máy tính lớn như siêu máy tính Hewlett Packard Frontier đặt tại Tennessee, vốn có thể mất nhiều tháng để mở cửa.

📌 AWS ra mắt dịch vụ HPC mới giúp doanh nghiệp dễ dàng tiếp cận siêu máy tính. Dịch vụ này sẽ có mặt tại 9 khu vực AWS trên toàn cầu, hứa hẹn thúc đẩy đổi mới trong nhiều lĩnh vực từ khoa học đến công nghệ AI.

https://venturebeat.com/ai/awss-new-hpc-as-a-service-offering-democratizes-supercomputer-access/

Chính phủ Ấn Độ có kế hoạch hồi sinh chính sách trung tâm dữ liệu cũ với các ưu đãi mới cho AI và ML

- Chính phủ Ấn Độ dự kiến sẽ cải tiến chính sách trung tâm dữ liệu được đề xuất vào năm 2020, bổ sung các ưu đãi mới để phù hợp với nhu cầu hiện tại của ngành công nghiệp.
- Một trong những ưu đãi chính là cấp trạng thái hạ tầng cho các trung tâm dữ liệu, tương tự như các lĩnh vực như đường sắt, cảng, đường bộ và điện.
- Bộ Điện tử và Công nghệ Thông tin (MeitY) có thể sẽ cung cấp thêm ưu đãi cho các công ty thiết lập trung tâm dữ liệu AI và ML tiên tiến, yêu cầu các thiết lập lớn hơn và đồng nhất tại cùng một địa điểm.
- Hiện tại, tổng công suất của tất cả các trung tâm dữ liệu trên toàn quốc ước tính khoảng 950 megawatt (MW) và có cơ hội tăng gấp đôi trong vòng 2-3 năm tới.
- Dự báo, cơ hội đầu tư vào các trung tâm dữ liệu có thể đạt khoảng 6-7 tỷ USD vào năm 2026.
- Chính sách mới sẽ khuyến khích các bang cung cấp các khu vực chuyên biệt để thiết lập các công viên trung tâm dữ liệu, với các ưu đãi thuế tùy thuộc vào loại hình xử lý dữ liệu diễn ra tại đó.
- Chính phủ cũng sẽ thảo luận với Bộ Điện lực về các phương án cung cấp điện không bị gián đoạn cho các trung tâm dữ liệu, bao gồm khả năng cho phép các trung tâm này lấy điện từ các bang khác hoặc thị trường mở.
- Một trong những lựa chọn là khuyến khích các bang hoặc các công viên trung tâm dữ liệu tự thiết lập các đơn vị phát điện riêng.
- Vào năm 2020, MeitY đã phát hành dự thảo chính sách trung tâm dữ liệu, đề xuất cấp phép một cửa đơn giản cho các công ty muốn thiết lập hoạt động tại Ấn Độ.
- Dự thảo này cũng đề xuất các ưu đãi bổ sung cho các công ty sử dụng phần cứng CNTT sản xuất trong nước, bao gồm máy chủ, thiết bị lưu trữ và thiết bị mạng.

📌 Chính phủ Ấn Độ đang xem xét hồi sinh chính sách trung tâm dữ liệu từ năm 2020 với các ưu đãi mới cho AI và ML, dự kiến đầu tư đạt 6-7 tỷ USD vào năm 2026. Tổng công suất hiện tại là 950 MW, có khả năng tăng gấp đôi trong 2-3 năm tới.

 

https://m.economictimes.com/tech/technology/govt-to-revive-2020-draft-data-policy/articleshow/112839984.cms

Cerebras Systems thách thức Nvidia với chip AI khổng lồ nhanh hơn và rẻ hơn

- Cerebras Systems, một công ty khởi nghiệp của Mỹ, đang phát triển chip Wafer Scale Engine (WSE) kích thước bằng iPad nhằm cạnh tranh với Nvidia trong thị trường GPU AI.
- Vào ngày 27 tháng 8 năm 2024, Cerebras đã công bố dịch vụ Cerebras Inference, cho phép khách hàng sử dụng chip của họ cho các chương trình AI của riêng mình.
- Công ty tuyên bố rằng công nghệ của họ có thể chạy các chương trình AI tạo sinh nhanh gấp 20 lần và chỉ tốn 1/5 chi phí so với các GPU Nvidia như H100.
- Cerebras Inference cho phép các chương trình AI tạo ra dữ liệu mới, ví dụ như dự đoán từ tiếp theo trong một đoạn văn bản.
- Chip WSE của Cerebras đang được sử dụng để vận hành mô hình ngôn ngữ lớn mã nguồn mở Llama 3.1 của Meta, cho phép trả lời gần như không có độ trễ.
- Cụ thể, chip của Cerebras có thể xử lý phiên bản Llama 3.1 với 8 tỷ tham số, sản xuất 1.800 token mỗi giây, tương đương với khoảng 1.300 từ trong một giây.
- Phiên bản mạnh hơn với 70 tỷ tham số của Llama 3.1 có thể tạo ra 450 token mỗi giây, vượt xa hiệu suất của các nhà cung cấp đám mây AI như Amazon AWS và Microsoft Azure.
- Cerebras định giá dịch vụ của mình rất cạnh tranh: 10 cent cho mỗi triệu token cho phiên bản 8B và 60 cent cho phiên bản 70B, trong khi OpenAI tính phí từ 2,50 đến 15 USD cho mỗi triệu token.
- Chip WSE-3 của Cerebras được sản xuất bởi TSMC, nhà sản xuất chip hợp đồng đứng sau GPU AI của Nvidia, với 4 triệu transistor và 900.000 lõi AI.
- Cerebras cho biết WSE-3 cung cấp băng thông bộ nhớ cao gấp 7.000 lần so với H100, với 44GB SRAM trên chip.
- Mặc dù Cerebras đang so sánh WSE-3 với công nghệ Nvidia cũ, Nvidia đã giới thiệu kiến trúc Blackwell mới hứa hẹn hiệu suất gấp 7 đến 30 lần so với H100.
- Cerebras dự kiến mở rộng khả năng truy cập chip WSE-3 cho các nhà cung cấp đám mây khác, mặc dù giá của hệ thống CS-3 lên tới vài triệu USD, cao hơn nhiều so với giá của một GPU H100 khoảng 30.000 USD.

📌 Cerebras Systems đang định hình lại thị trường chip AI với công nghệ WSE-3, hứa hẹn tốc độ nhanh hơn gấp 20 lần và chi phí chỉ bằng 1/5 so với Nvidia. Dịch vụ Cerebras Inference cung cấp giải pháp AI hiệu quả với giá chỉ 10 cent cho mỗi triệu token.

https://www.pcmag.com/news/startup-goes-after-nvidia-with-giant-ai-chips-built-for-speed

Nous Research ra mắt DisTrO giúp huấn luyện mô hình AI hiệu quả gấp 10.000 lần

• Nous Research vừa công bố công cụ mới có tên DisTrO (Distributed Training Over-the-Internet), giúp giảm đáng kể lượng thông tin cần truyền giữa các GPU trong quá trình huấn luyện mô hình AI.

• DisTrO cho phép huấn luyện các mô hình AI mạnh mẽ bên ngoài các công ty lớn, trên internet công cộng với kết nối cấp độ người dùng, tiềm năng cho phép cá nhân hoặc tổ chức trên toàn cầu cùng hợp tác.

• Kết quả thử nghiệm cho thấy DisTrO tăng hiệu quả gấp 857 lần so với thuật toán huấn luyện phổ biến All-Reduce, đồng thời giảm mạnh lượng thông tin truyền đi trong mỗi bước huấn luyện (86,8 MB so với 74,4 GB).

DisTrO có thể mở ra cơ hội cho nhiều người hơn có khả năng huấn luyện các mô hình AI cực kỳ mạnh mẽ theo ý muốn.

Phương pháp này giải quyết vấn đề yêu cầu phần cứng cao trong huấn luyện AI, vốn chỉ có các công ty lớn như Tesla, Meta, OpenAI, Microsoft, Google và Anthropic mới đáp ứng được.

• DisTrO giảm lưu lượng truyền thông giữa các GPU xuống 4-5 bậc độ lớn, cho phép huấn luyện mô hình quy mô lớn trên kết nối internet chậm hơn - tốc độ tải xuống 100Mbps và tải lên 10Mbps.

• Nhóm nghiên cứu đã thử nghiệm DisTrO với kiến trúc mô hình ngôn ngữ lớn Meta Llama 2 1,2 tỷ tham số và đạt hiệu suất huấn luyện tương đương các phương pháp thông thường nhưng với chi phí truyền thông thấp hơn đáng kể.

Các tác giả cho biết có thể giảm yêu cầu băng thông lên đến 1.000-3.000 lần trong giai đoạn tiền huấn luyện, và lên đến 10.000 lần cho giai đoạn hậu huấn luyện và tinh chỉnh mà không làm giảm đáng kể hiệu suất.

DisTrO vẫn cần GPU mạnh - cụ thể là 32 GPU H100, nhưng thay vì tập trung tại một địa điểm, chúng có thể được phân tán trên toàn cầu và giao tiếp qua internet người dùng.

• Công nghệ này có thể thay thế các phương pháp huấn luyện hiện có mà không làm giảm chất lượng mô hình, mở ra giải pháp có thể mở rộng và hiệu quả cho huấn luyện phân tán quy mô lớn.

• DisTrO có thể giúp giảm thiểu tác động môi trường của việc huấn luyện AI bằng cách tối ưu hóa việc sử dụng cơ sở hạ tầng hiện có và giảm nhu cầu về các trung tâm dữ liệu khổng lồ.

• Nhóm nghiên cứu Nous Research đang tìm kiếm cộng tác viên để giúp hoàn thiện và mở rộng công nghệ đột phá này. Báo cáo sơ bộ và tài liệu hỗ trợ đã có sẵn trên GitHub.

📌 DisTrO của Nous Research có thể cách mạng hóa việc huấn luyện AI, cho phép mô hình mạnh mẽ được tạo ra bởi cá nhân và tổ chức nhỏ. Công nghệ này giảm yêu cầu băng thông tới 10.000 lần, mở ra tiềm năng cho sự đổi mới AI phi tập trung và toàn cầu.

 

https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/

'Friendshoring' đã biến Malaysia thành tâm điểm của cuộc cách mạng AI như thế nào

- Malaysia đang trở thành điểm đến hấp dẫn cho các công ty công nghệ hàng đầu thế giới đầu tư vào lĩnh vực bán dẫn và trung tâm dữ liệu AI, với tổng vốn đầu tư lên tới hàng chục tỷ USD trong thời gian gần đây.
- Đảo Penang của Malaysia hiện đang cạnh tranh với Hàn Quốc và Thung lũng Silicon với tư cách là trung tâm sản xuất chip bán dẫn quan trọng cho cuộc cách mạng AI. Intel đang đầu tư 7 tỷ USD vào các cơ sở mới tại Penang.
- Các nhà sản xuất chip và nhà cung cấp như Micron, AMS Osram và Ferrotec đều đang đầu tư lớn vào Malaysia khi các công ty tìm cách tách chuỗi cung ứng khỏi Trung Quốc (xu hướng được gọi là đa dạng hóa "Trung Quốc +1").
- Vào tháng 8/2024, gã khổng lồ bán dẫn Đức Infineon Technologies AG đã khai trương nhà máy sản xuất silicon carbide công suất 200 mm lớn nhất thế giới tại Kulim, Malaysia, như một phần của kế hoạch mở rộng trị giá 7,7 tỷ USD.
- Riêng Penang đã thu hút được 12,8 tỷ USD vốn đầu tư trực tiếp nước ngoài (FDI) trong năm 2023, nhiều hơn tổng số tiền nhận được từ năm 2013 đến 2020 cộng lại.
- Malaysia đã nổi lên như một trung tâm cho các trung tâm dữ liệu điện toán đám mây và AI, với các cam kết gần đây trị giá 6 tỷ USD từ Amazon Web Services, 4,3 tỷ USD từ Nvidia, 2,2 tỷ USD từ Microsoft, 2,1 tỷ USD từ Bytedance và 2 tỷ USD từ Google.
- Sự trỗi dậy của "chiplet" - các vi xử lý có hiệu suất và nguồn gốc khác nhau được kết hợp thành các chip theo yêu cầu - đã làm tăng tính phức tạp và tầm quan trọng của công việc bán dẫn phía sau.
- Malaysia đang đối mặt với sự cạnh tranh gay gắt từ nhiều quốc gia khác như Ấn Độ, Việt Nam, Thái Lan và Mexico, nhưng vẫn nổi bật với lực lượng lao động kỹ năng cao, cơ sở hạ tầng tốt và hệ sinh thái công nghệ phát triển.
- Chính phủ Malaysia đã công bố Chiến lược bán dẫn quốc gia trị giá 5,3 tỷ USD, bao gồm việc đào tạo 60.000 kỹ sư mới để nâng cao năng lực trong nước. Tuy nhiên, việc thu hút và giữ chân nhân tài vẫn là một thách thức lớn.

📌 Malaysia đang tận dụng xu hướng "friendshoring" để trở thành trung tâm công nghệ toàn cầu, thu hút hơn 70 tỷ USD đầu tư từ các công ty hàng đầu trong những tháng gần đây. Tuy nhiên, quốc gia 35 triệu dân này vẫn phải đối mặt với nhiều thách thức như cạnh tranh nhân tài, phát triển năng lượng xanh và cân bằng quan hệ với cả Mỹ và Trung Quốc. Malaysia đang đẩy mạnh nỗ lực để chuyển từ lắp ráp, thử nghiệm chip sang các hoạt động giá trị gia tăng cao hơn như thiết kế mạch tích hợp và sản xuất tấm wafer.

 

https://time.com/7015000/ai-semiconductor-chips-malaysia-anwar/

#TIME

Hot Chips 2024: OpenAI, Intel và Qualcomm thảo luận về tương lai của chip AI và thách thức mở rộng quy mô

• Hội nghị Hot Chips lần thứ 36 đang diễn ra tại Đại học Stanford, thu hút 1.500 người tham dự, với hơn một nửa tham gia trực tuyến.

• Sự kiện nhận được hơn 100 bài nộp từ khắp nơi trên thế giới, cuối cùng chọn 24 bài thuyết trình trong 2 ngày hội nghị.

Chủ đề chính của hội nghị tập trung vào chip chuyên dụng để xử lý trí tuệ nhân tạo (AI).

• Trevor Cai, Trưởng bộ phận phần cứng của OpenAI, có bài thuyết trình về "Mở rộng quy mô có thể dự đoán và cơ sở hạ tầng".

• Cai cho biết ChatGPT là kết quả của việc OpenAI "dành nhiều năm và hàng tỷ đô la để dự đoán từ tiếp theo tốt hơn", dẫn đến các khả năng như "học tập zero-shot".

OpenAI dựa vào "luật mở rộng quy mô" cho thấy khả năng có thể tăng lên một cách dự đoán theo "quy luật lũy thừa" của năng lực tính toán được sử dụng.

• Mỗi khi năng lực tính toán tăng gấp đôi, độ chính xác tiến gần đến "entropy không thể giảm".

Cai nhấn mạnh thách thức trong việc tiếp tục mở rộng quy mô, bao gồm nhu cầu đổi mới thuật toán và chi phí đáng kể cho các cụm máy tính lớn.

• Intel trình bày về chip Lunar Lake mới nhất cho trung tâm dữ liệu, trong khi Qualcomm giới thiệu bộ xử lý Oryon.

• AMD và startup Cerebras Systems sẽ có bài thuyết trình vào ngày thứ Ba của hội nghị.

• Sự kiện thu hút sự quan tâm lớn, với khán phòng chật kín trong các phiên thuyết trình.

• Người tham dự thường mang theo laptop và nhiều màn hình, tạo không gian làm việc cá nhân trong suốt các phiên.

• Hot Chips đã là diễn đàn thảo luận về các chip tiên tiến nhất từ các công ty như Intel, AMD, IBM trong nhiều thập kỷ qua.

📌 Hot Chips 2024 tại Stanford là tâm điểm của ngành công nghiệp chip AI, với sự tham gia của 1.500 người. OpenAI nhấn mạnh tầm quan trọng của việc mở rộng quy mô tính toán, trong khi các công ty như Intel và Qualcomm giới thiệu các thiết kế chip mới nhất cho AI và trung tâm dữ liệu.

https://www.zdnet.com/article/openai-intel-and-qualcomm-talk-ai-compute-at-legendary-hot-chips-conference/

Các gã khổng lồ công nghệ Trung Quốc đổ tiền tấn vào AI bất chấp lệnh trừng phạt của Mỹ

- Các gã khổng lồ công nghệ Trung Quốc đã tăng gấp đôi chi tiêu vốn trong năm nay, đầu tư mạnh vào hạ tầng AI mặc dù bị Mỹ hạn chế.
- Alibaba, Tencent và Baidu đã chi tổng cộng 50 tỷ nhân dân tệ (7 tỷ USD) trong nửa đầu năm 2024, so với 23 tỷ nhân dân tệ năm trước.
- Các công ty này chủ yếu tập trung vào việc mua vi xử lý và hạ tầng để đào tạo các mô hình ngôn ngữ lớn cho AI.
- ByteDance, công ty mẹ của TikTok, cũng gia tăng chi tiêu cho AI với quỹ tiền mặt hơn 50 tỷ USD và không bị áp lực từ các nhà đầu tư.
- Alibaba đang mua vi xử lý để đào tạo các mô hình AI của mình và cho thuê sức mạnh tính toán cho các bên khác.
- Chi tiêu vốn của Alibaba trong nửa đầu năm đạt 23 tỷ nhân dân tệ, tăng 123% so với năm trước.
- Doanh thu từ mảng điện toán đám mây của Alibaba đã tăng 6% trong quý II so với năm trước, trong khi doanh thu sản phẩm liên quan đến AI đã tăng gấp đôi.
- Alibaba đã đầu tư gần 800 triệu USD vào một công ty khởi nghiệp AI, trong đó một nửa là dưới dạng phiếu mua hàng cho dịch vụ đám mây.
- Mặc dù các biện pháp kiểm soát xuất khẩu của Mỹ đã hạn chế việc tiếp cận các vi xử lý AI hàng đầu như H100, các gã khổng lồ công nghệ Trung Quốc vẫn có thể mua các vi xử lý hiệu suất thấp hơn như H20.
- Dự báo Nvidia sẽ cung cấp hơn 1 triệu vi xử lý H20 cho các công ty công nghệ Trung Quốc trong những tháng tới, với giá từ 12.000 đến 13.000 USD mỗi đơn vị.
- ByteDance được cho là đã mua hàng trăm nghìn vi xử lý H20 cho các trung tâm dữ liệu của mình tại Trung Quốc.
- Tencent cho biết chi tiêu vốn của họ đã tăng lên 23 tỷ nhân dân tệ trong nửa đầu năm, tăng 176% so với năm trước, chủ yếu do đầu tư vào máy chủ GPU và CPU.
- Baidu, mặc dù là công ty AI lâu đời nhất của Trung Quốc, đã chi tiêu vốn khiêm tốn hơn với 4.2 tỷ nhân dân tệ trong nửa đầu năm, tăng 4% so với năm trước.
- Tổng chi tiêu vốn của các công ty công nghệ lớn của Trung Quốc vẫn thấp hơn nhiều so với các đối thủ Mỹ, với Alphabet, Amazon, Meta và Microsoft đã chi 106 tỷ USD trong nửa đầu năm.

📌 Các công ty công nghệ lớn của Trung Quốc đang gia tăng đầu tư vào AI, với chi tiêu vốn đạt 50 tỷ nhân dân tệ trong nửa đầu năm 2024, bất chấp các hạn chế từ Mỹ. Alibaba, Tencent và Baidu dẫn đầu xu hướng này, với ByteDance cũng tham gia mạnh mẽ.

https://www.ft.com/content/31bffc48-2ca7-472b-9d53-3deaad2d86ce

#FT

Trung Quốc bí mật truy cập từ xa chip Nvidia bị cấm

- Các nhà phát triển AI Trung Quốc đang tìm cách sử dụng chip Nvidia H100 tiên tiến mà không cần đưa chúng vào Trung Quốc.
- Họ hợp tác với các nhà môi giới để truy cập sức mạnh tính toán từ nước ngoài, thường sử dụng các kỹ thuật ẩn danh từ lĩnh vực tiền điện tử.
- Chiến lược này xuất phát từ các quy định xuất khẩu của Mỹ, ngăn cản các công ty Trung Quốc nhập khẩu trực tiếp chip AI từ Nvidia.
- Một doanh nhân tên Derek Aw đã giúp các công ty Trung Quốc vượt qua các rào cản này bằng cách thu hút vốn từ các nhà đầu tư ở Dubai và Mỹ để mua máy chủ AI chứa chip H100.
- Vào tháng 6, công ty của Aw đã đưa hơn 300 máy chủ vào một trung tâm dữ liệu tại Brisbane, Úc, và chỉ 3 tuần sau, các máy chủ này đã bắt đầu xử lý các thuật toán AI cho một công ty tại Bắc Kinh.
- Việc thuê sức mạnh tính toán từ xa không phải là điều mới, nhưng các công ty lớn như Google Cloud và Amazon Web Services có chính sách "Biết Khách Hàng" (KYC) có thể gây khó khăn cho khách hàng Trung Quốc.
- Các nhà môi giới và người mua không vi phạm pháp luật, vì các quy định xuất khẩu không ngăn cản các công ty Trung Quốc truy cập dịch vụ đám mây của Mỹ.
- Một hợp đồng thông minh được sử dụng để đảm bảo tính ẩn danh cao cho các bên tham gia, với các điều khoản được ghi lại trong một sổ cái kỹ thuật số công khai.
- Nhiều công ty AI Trung Quốc thực hiện giao dịch thông qua các công ty con ở Singapore hoặc nơi khác để che giấu danh tính thực sự.
- Các nền tảng GPU phi tập trung đã xuất hiện trong 2 năm qua, cho phép các nhà phát triển AI thuê sức mạnh tính toán từ các máy tính rải rác trên toàn cầu.
- Các dịch vụ này cho phép người dùng truy cập vào chip Nvidia mà không bị ràng buộc bởi các quy định KYC.
- Một số công ty như Edge Matrix Computing đang xây dựng các cụm chip lớn hơn để phục vụ nhu cầu đào tạo AI chuyên sâu.
- Các chip H100 có giá trị tương đương với một chiếc xe Cadillac, làm tăng sức hấp dẫn của chúng trong ngành công nghiệp AI.
- Các nhà lập pháp Mỹ đang lo ngại về việc Trung Quốc lợi dụng các lỗ hổng trong quy định xuất khẩu chip, và chính phủ đang theo dõi các mạng lưới mua sắm bất hợp pháp.

📌 Các nhà phát triển AI Trung Quốc đang sử dụng các phương thức ẩn danh để truy cập chip Nvidia H100 từ nước ngoài, bất chấp các quy định xuất khẩu của Mỹ. Họ hợp tác với các nhà môi giới và sử dụng công nghệ blockchain để đảm bảo tính ẩn danh, với nhu cầu ngày càng tăng cho sức mạnh tính toán này.

https://www.wsj.com/tech/ai/chinas-ai-engineers-are-secretly-accessing-banned-nvidia-chips-58728bf3

#WSJ

Trung Quốc tìm cách tiếp cận chip AI Mỹ qua dịch vụ đám mây

- Các thực thể liên kết với nhà nước Trung Quốc đang sử dụng dịch vụ đám mây của Amazon và các đối thủ để tiếp cận chip AI tiên tiến của Mỹ.
- Chính phủ Mỹ đã hạn chế xuất khẩu các chip AI cao cấp sang Trung Quốc trong 2 năm qua nhằm hạn chế năng lực của quân đội Trung Quốc.
- Việc cung cấp quyền truy cập vào các chip hoặc mô hình AI tiên tiến qua đám mây không vi phạm quy định của Mỹ, vì chỉ có xuất khẩu hoặc chuyển giao hàng hóa, phần mềm hoặc công nghệ mới bị quản lý.
- Một cuộc xem xét của Reuters về hơn 50 tài liệu đấu thầu công khai cho thấy ít nhất 11 thực thể Trung Quốc đã tìm kiếm quyền truy cập vào công nghệ hoặc dịch vụ đám mây bị hạn chế của Mỹ.
- Trong số này, 4 thực thể đã chỉ định rõ Amazon Web Services (AWS) là nhà cung cấp dịch vụ đám mây, mặc dù họ đã truy cập dịch vụ thông qua các công ty trung gian Trung Quốc.
- Tài liệu đấu thầu cho thấy sự đa dạng trong chiến lược mà các thực thể Trung Quốc đang sử dụng để đảm bảo sức mạnh tính toán tiên tiến và quyền truy cập vào các mô hình AI tạo sinh.
- AWS kiểm soát gần 1/3 thị trường hạ tầng đám mây toàn cầu, theo công ty nghiên cứu Canalys.
- Tại Trung Quốc, AWS là nhà cung cấp dịch vụ đám mây lớn thứ 6, theo IDC.
- Đại học Thâm Quyến đã chi 200.000 nhân dân tệ (khoảng 28.027 USD) cho một tài khoản AWS để truy cập vào các máy chủ đám mây sử dụng chip Nvidia A100 và H100 cho một dự án chưa xác định.
- Đại học Thâm Quyến đã nhận dịch vụ qua một trung gian là Công ty TNHH Công nghệ Yunda.
- Xuất khẩu hai chip Nvidia A100 và H100 sang Trung Quốc bị cấm bởi Mỹ.
- Viện nghiên cứu Zhejiang Lab cho biết họ đã dự định chi 184.000 nhân dân tệ để mua dịch vụ điện toán đám mây AWS, vì mô hình AI của họ không thể nhận đủ sức mạnh tính toán từ Alibaba.
- Chính phủ Mỹ đang cố gắng thắt chặt quy định để hạn chế quyền truy cập qua đám mây.
- Chủ tịch Ủy ban Đối ngoại Hạ viện Michael McCaul đã bày tỏ lo ngại về lỗ hổng này và cho rằng cần phải giải quyết sớm.

📌 Các thực thể Trung Quốc đang tìm cách tiếp cận chip AI của Mỹ thông qua dịch vụ đám mây, trong khi chính phủ Mỹ cố gắng thắt chặt quy định để ngăn chặn việc này. AWS là một trong những nhà cung cấp dịch vụ đám mây chính, với nhiều thực thể Trung Quốc sử dụng dịch vụ qua các trung gian.

https://www.taipeitimes.com/News/front/archives/2024/08/24/2003822688

Không cần chip, AI Trung Quốc vẫn tiến lên mạnh mẽ

- Nhiều công ty khởi nghiệp AI Trung Quốc đang phát triển mã hiệu quả cho các mô hình ngôn ngữ lớn để đối phó với việc thiếu chip tiên tiến.
- Các công ty công nghệ Trung Quốc, bị cắt đứt khỏi các chip AI tiên tiến nhất, đang tìm kiếm cách kiếm tiền mà không cần đến chúng.
- 01.AI, một công ty khởi nghiệp được Alibaba và Xiaomi hỗ trợ, sử dụng định dạng đào tạo độ chính xác thấp để tiết kiệm năng lượng và thời gian.
- Kai-Fu Lee, người sáng lập 01.AI, cho biết việc thiếu GPU đã thúc đẩy sự phát triển hạ tầng AI hiệu quả hơn.
- Tỷ lệ thất bại của cụm chip của 01.AI thấp hơn mức trung bình ngành, cho thấy hiệu quả trong hoạt động.
- Robin Li, CEO của Baidu, cảnh báo về việc lãng phí tài nguyên máy tính khi nhiều công ty phát triển các mô hình nền tảng riêng biệt.
- Một báo cáo từ KPMG cho thấy các nhà đầu tư AI ở Trung Quốc đang tập trung vào việc tạo ra ứng dụng thay vì các mô hình LLM lớn.
- ByteDance, công ty mẹ của TikTok, đã phát triển hơn 20 ứng dụng AI, bao gồm chatbot và ứng dụng tạo video.
- 3 trong số 10 ứng dụng AI được tải xuống nhiều nhất tại Mỹ trong năm nay là của các công ty Trung Quốc.
- Các mô hình nhỏ hơn, được gọi là "edge AI models", có thể là bước đột phá tiếp theo trong ngành AI.
- Baichuan, một công ty unicorn AI, đang hợp tác với Qualcomm để tích hợp mô hình LLM nhỏ hơn vào máy tính AI tại Trung Quốc.
- Huawei đang phát triển chip Ascend được sử dụng bởi nhiều công ty công nghệ lớn và trung tâm dữ liệu AI quốc gia.
- Baidu, Alibaba và Tencent đã sử dụng chip nội bộ để vận hành các mô hình AI của họ, cải thiện kỹ thuật và thuật toán để bù đắp cho việc thiếu hụt sức mạnh tính toán.

📌 Trung Quốc đang phát triển mạnh mẽ trong lĩnh vực AI mà không cần chip tiên tiến, với các công ty như 01.AI và ByteDance dẫn đầu. Xu hướng tập trung vào ứng dụng và mô hình nhỏ cho thấy tiềm năng lớn trong việc tối ưu hóa hiệu suất và tiết kiệm năng lượng.

https://www.wsj.com/tech/ai/chips-or-not-chinese-ai-pushes-ahead-31034e3d

#WSJ

Các startup châu Á đang phát triển chip AI giảm chi phí và tiêu thụ năng lượng

- Các công ty khởi nghiệp ở châu Á đang tìm cách phát triển các giải pháp chip AI hiệu quả hơn để cạnh tranh với Nvidia, một gã khổng lồ trong ngành.
- Nvidia hiện đang thống trị thị trường chip AI nhờ vào GPU mạnh mẽ của mình, nhưng các khởi nghiệp tin rằng có thể cung cấp các giải pháp chip tiết kiệm năng lượng hơn.
- Có hai loại chip AI chính: chip "inference" dùng để chạy các mô hình AI hiện có và chip "training" dùng để phát triển các mô hình mới.
- Các công ty như Preferred Networks (PFN) đang phát triển chip cho cả hai loại này, với mục tiêu cải thiện hiệu suất năng lượng.
- Nvidia đã thành công nhờ vào khả năng xử lý song song cao của GPU, nhưng chi phí cao (từ 25.000 đến 40.000 USD cho mỗi chip) đang là một trở ngại lớn.
- PFN và các đối tác của họ đang phát triển chip AI thế hệ tiếp theo, với mục tiêu hoàn thiện vào tháng 3 năm 2027, nhằm tạo ra chip mạnh mẽ hơn và tiết kiệm năng lượng hơn.
- Các công ty khởi nghiệp như Edgecortix cũng đang tìm cách phát triển chip AI hiệu quả hơn, giảm thiểu việc truy cập bộ nhớ để tiết kiệm năng lượng.
- Dự báo rằng vào năm 2025-2026, sẽ có nhiều đối thủ mới tham gia thị trường chip AI, cạnh tranh với Nvidia.
- Nvidia vẫn chiếm khoảng 30-40% thị trường chip AI, nhưng các khởi nghiệp đang tìm kiếm các ngách thị trường riêng để phát triển.
- Thị trường tiềm năng cho chip AI bao gồm máy tính cá nhân, smartphone, camera giám sát và drone.
- Các công ty lớn như Google, Meta và Amazon cũng đang tham gia vào cuộc đua chip AI, làm tăng sức ép cạnh tranh lên Nvidia.
- Nhu cầu về AI trên thiết bị đang gia tăng, tạo cơ hội cho các công ty khởi nghiệp phát triển chip AI tiết kiệm năng lượng hơn.
- Các công ty khởi nghiệp tin rằng họ có thể cung cấp các giải pháp chip tốt hơn cho các ứng dụng cụ thể, trong khi Nvidia vẫn tập trung vào các chip đa năng.

📌 Nhu cầu về chip AI tiết kiệm năng lượng đang tăng cao, với các công ty khởi nghiệp châu Á như PFN và Edgecortix nỗ lực phát triển các giải pháp cạnh tranh với Nvidia. Dự báo rằng vào năm 2025-2026, thị trường chip sẽ có nhiều thay đổi lớn khi các đối thủ mới xuất hiện.

 

https://asia.nikkei.com/Business/Business-Spotlight/Nvidia-vs.-the-startups-AI-chip-challengers-chase-efficiency

 

SK Telecom sẽ mở trung tâm dữ liệu AI cung cấp dịch vụ GPU-as-a-service tại Hàn Quốc

- SK Telecom sẽ khai trương một trung tâm dữ liệu AI tại Seoul vào tháng 12 năm 2024, sử dụng GPU của Nvidia trong khuôn khổ hợp tác với Lambda, một công ty GPU đám mây của Mỹ.
- Hợp tác này nhằm mở rộng dịch vụ GPU-as-a-service (GPUaaS) tại Hàn Quốc, giúp các doanh nghiệp dễ dàng thuê tài nguyên GPU qua đám mây thay vì phải đầu tư vào chip đắt tiền.
- Lambda, được thành lập vào năm 2012, chuyên cung cấp dịch vụ GPUaaS với các bộ xử lý mới nhất từ Nvidia, đang ngày càng trở nên phổ biến trong bối cảnh giá GPU cao và nguồn cung hạn chế.
- Dự kiến, SK Telecom và Lambda sẽ triển khai bộ xử lý Nvidia H100 tại trung tâm dữ liệu của SK Broadband ở quận Geumcheon, Seoul, và sẽ lắp đặt hàng ngàn GPU, bao gồm cả bộ xử lý H200 mới nhất trong 3 năm tới.
- Mục tiêu của SK Telecom là thiết lập trang trại GPU lớn nhất Hàn Quốc, hoàn toàn sử dụng GPU của Nvidia, từ đó nâng cao khả năng cạnh tranh trong lĩnh vực AI của quốc gia.
- Trung tâm dữ liệu này cũng sẽ là cơ sở khu vực của Lambda tại Hàn Quốc, đảm bảo dữ liệu của các công ty trong nước sẽ được lưu trữ tại đây.
- SK Telecom sẽ ra mắt dịch vụ GPUaaS theo hình thức đăng ký vào tháng 12, nhằm tận dụng sự tăng trưởng mạnh mẽ của thị trường GPUaaS toàn cầu.
- Theo dự báo của Fortune Business Insights, thị trường GPUaaS toàn cầu sẽ tăng trưởng từ 4.31 tỷ USD năm 2024 lên 49.84 tỷ USD vào năm 2032, với tỷ lệ tăng trưởng hàng năm đạt 35.8%.
- Giám đốc điều hành Lambda, Stephen Balaban, nhấn mạnh tầm nhìn chung của 2 công ty là biến tài nguyên tính toán GPU trở nên dễ dàng như điện, đồng thời bày tỏ sự hào hứng trong việc hợp tác với SK Telecom để phát triển lĩnh vực AI cloud tại Hàn Quốc.
- Một quan chức SK Telecom cho biết việc đảm bảo nguồn cung GPU ổn định thông qua quan hệ đối tác chiến lược với Lambda là rất quan trọng để mở rộng nguồn cung GPU tại Hàn Quốc.

📌 SK Telecom sẽ mở trung tâm dữ liệu AI lớn nhất Hàn Quốc vào tháng 12 với hàng ngàn GPU Nvidia, góp phần vào sự phát triển của thị trường GPU-as-a-service, dự kiến đạt 49.84 tỷ USD vào năm 2032.

https://www.koreatimes.co.kr/www/tech/2024/08/133_380962.html

FPT Việt Nam đầu tư 200 triệu USD vào dịch vụ AI tại Nhật Bản

• FPT, tập đoàn công nghệ hàng đầu Việt Nam, đang mở rộng hoạt động tại Nhật Bản với khoản đầu tư 200 triệu USD để khởi động dịch vụ điện toán đám mây cho các doanh nghiệp AI và dịch vụ giải pháp chuyển đổi số cho các công ty Nhật Bản vào đầu năm sau.

• Pham Minh Tuan, CEO của FPT Software, cho biết công ty sẽ cung cấp cả nguồn nhân lực và cơ sở hạ tầng tính toán GPU để tạo ra các giải pháp AI tiên tiến cho thị trường Nhật Bản.

• FPT đã công bố hợp tác chiến lược toàn diện với Nvidia vào tháng 4 để xây dựng nhà máy AI tại Việt Nam và hợp tác trên quy mô toàn cầu.

Dịch vụ mới sẽ được ra mắt vào tháng 1 hoặc tháng 2 năm sau, với việc triển khai phần cứng và vận hành trung tâm dữ liệu vào tháng 12 năm nay.

• Khoản đầu tư 200 triệu USD sẽ được giải ngân vào cuối năm nay. FPT cũng sẽ mở rộng lực lượng lao động tại Nhật Bản từ 3.500 lên 5.000 người vào năm tới.

Mục tiêu chính của dịch vụ AI là chuyển đổi số cho các tổ chức tài chính tại Nhật Bản, tận dụng dữ liệu lớn và công nghệ AI tiên tiến.

• FPT Japan vừa mở văn phòng mới tại tòa nhà 42 tầng ở Mita, Tokyo, chiếm toàn bộ tầng 33 với tầm nhìn toàn cảnh Tokyo.

Tính đến tháng 3, FPT Japan có 3.500 nhân viên và dự kiến sẽ đạt 5.000 người vào năm sau. 63% nhân viên là người Việt Nam và 31% là người Nhật.

• Doanh thu năm 2023 của FPT Corp đạt 52.618 tỷ đồng (2,1 tỷ USD), tăng 19,6% so với năm trước. Lợi nhuận sau thuế đạt 7.788 tỷ đồng, tăng 20,0%.

• FPT đã mở rộng kinh doanh quốc tế nhanh chóng, vượt mốc 1 tỷ USD doanh thu hàng năm từ dịch vụ IT cho thị trường nước ngoài lần đầu tiên vào năm ngoái.

Nhật Bản chiếm 38% tổng doanh thu của mảng phần mềm FPT trong năm 2023. Công ty có nhiều khách hàng lớn tại Nhật như KDDI, Itochu Corp., Panasonic ITS, Takenaka Corp., Fuji Film Healthcare và Microsoft Japan.

• FPT nhấn mạnh khả năng ngôn ngữ để làm việc với các công ty Nhật Bản. Hơn một nửa số nhân viên Việt Nam đã sống tại Nhật trước khi gia nhập FPT.

• Thách thức của FPT là nhận diện thương hiệu thấp trong tuyển dụng và thu hút khách hàng mới tại Nhật Bản. Công ty đang nỗ lực duy trì 30-40% nhân viên không phải người Việt tại Nhật.

📌 FPT đầu tư 200 triệu USD vào dịch vụ AI tại Nhật, mở rộng nhân sự lên 5.000 người vào 2025. Công ty hợp tác với Nvidia, tập trung vào chuyển đổi số ngành tài chính. Doanh thu IT nước ngoài vượt 1 tỷ USD, Nhật chiếm 38% doanh thu phần mềm 2023.

https://asia.nikkei.com/Business/Technology/Vietnam-s-FPT-invests-200m-to-launch-AI-services-in-Japan

AMD đã ký thỏa thuận 4,9 tỷ USD thách thức Nvidia trong lĩnh vực hạ tầng AI

- AMD đã đồng ý mua lại ZT Systems, một nhóm hạ tầng AI, với giá 4,9 tỷ USD bằng tiền mặt và cổ phiếu, nhằm gia tăng sức cạnh tranh với Nvidia.
- Thỏa thuận này sẽ giúp AMD tăng tốc độ áp dụng dòng chip AI Instinct của mình, đối thủ của các GPU phổ biến của Nvidia.
- ZT Systems là một công ty tư nhân, được thành lập cách đây ba thập kỷ, chuyên xây dựng hạ tầng máy tính tùy chỉnh cho các "hyperscaler" AI lớn nhất như Microsoft, Meta và Amazon.
- Đây là thương vụ mua lại lớn nhất của AMD kể từ khi họ mua Xilinx với giá 35 tỷ USD vào năm 2022.
- CEO Lisa Su của AMD cho biết việc mua lại sẽ mang đến 1.000 kỹ sư thiết kế hàng đầu cho đội ngũ của họ, giúp phát triển chip và hệ thống song song.
- Thương vụ dự kiến sẽ hoàn tất trong nửa đầu năm 2025, phụ thuộc vào sự phê duyệt của cơ quan quản lý.
- Giá trị 4,9 tỷ USD bao gồm tối đa 400 triệu USD phụ thuộc vào "một số cột mốc sau khi hoàn tất".
- AMD đang tìm cách phá vỡ sự thống trị của Nvidia trên thị trường chip trung tâm dữ liệu AI, nơi Nvidia đã trở thành công ty có giá trị nhất thế giới vào đầu năm nay.
- Nvidia thành công nhờ vào cách tiếp cận "hệ thống", cung cấp hạ tầng máy tính toàn diện bao gồm các giá máy chủ, thiết bị mạng và công cụ phần mềm.
- Thương vụ mua lại ZT Systems cho thấy AMD đang xây dựng hệ thống hạ tầng riêng của mình.
- AMD đã ra mắt dòng chip AI MI300 vào năm ngoái và dự kiến sẽ phát hành chip MI350 thế hệ tiếp theo vào năm sau.
- Microsoft là một trong những khách hàng đầu tiên áp dụng MI300 vào nền tảng đám mây Azure để chạy các mô hình AI như GPT-4 của OpenAI.
- Doanh thu hàng quý của AMD từ chip đã vượt qua 1 tỷ USD lần đầu tiên trong ba tháng kết thúc vào ngày 30 tháng 6.
- Dù MI300 được quảng bá là sản phẩm nhanh nhất của AMD, doanh thu trung tâm dữ liệu của họ vẫn chỉ là một phần nhỏ so với 22,6 tỷ USD mà Nvidia thu về trong quý kết thúc vào tháng 4.
- ZT Systems đã công bố hợp tác với Nvidia vào tháng 3 để xây dựng hạ tầng AI tùy chỉnh sử dụng chip Blackwell của Nvidia.
- Lisa Su cho biết họ sẽ tôn trọng các cam kết với khách hàng hiện tại trong khi thúc đẩy giải pháp AI của AMD.
- AMD đã đầu tư hơn 1 tỷ USD trong năm qua để mở rộng hệ sinh thái phần cứng và phần mềm AI của mình.
- Vào tháng 7, công ty đã thông báo mua lại start-up AI Silo AI của Phần Lan với giá 665 triệu USD, thương vụ lớn nhất trong một thập kỷ đối với một start-up AI tư nhân tại châu Âu.

📌 AMD đã ký thỏa thuận mua lại ZT Systems với giá 4,9 tỷ USD để tăng cường khả năng cạnh tranh trong lĩnh vực chip AI, với mục tiêu đẩy nhanh việc áp dụng công nghệ AI, đồng thời mở rộng đội ngũ kỹ sư và đầu tư hơn 1 tỷ USD vào hệ sinh thái AI.

https://www.ft.com/content/f00c0e11-b0dd-419a-a11a-f2cc586bba08

#FT

Singtel hợp tác với Bridge Alliance cung cấp GPU-as-a-Service tại Đông Nam Á

- Singtel đã công bố hợp tác với Bridge Alliance vào ngày 19 tháng 8 năm 2024 để cung cấp dịch vụ GPU-as-a-Service (GPUaaS) cho các doanh nghiệp tại Đông Nam Á.
- GPUaaS là giải pháp dựa trên đám mây, cho phép truy cập vào các đơn vị xử lý đồ họa (GPU) theo yêu cầu.
- GPU là loại chip AI, có ứng dụng trong học máy, xử lý đồ họa, xử lý dữ liệu và game.
- Các nhà mạng thành viên của Bridge Alliance, bao gồm AIS tại Thái Lan, Maxis tại Malaysia và Telkomsel tại Indonesia, là những người đầu tiên áp dụng dịch vụ này.
- Bill Chang, CEO của đơn vị Digital InfraCo của Singtel, cho biết sự hợp tác này sẽ giúp doanh nghiệp trong khu vực tiếp cận công nghệ AI dễ dàng hơn, nâng cao năng suất và giá trị kinh doanh.
- Maxis mong muốn trở thành nhà mạng đầu tiên cung cấp GPUaaS tại Malaysia, giúp doanh nghiệp tiết kiệm chi phí và linh hoạt hơn trong việc mở rộng tài nguyên.
- Dịch vụ GPUaaS dự kiến sẽ được ra mắt vào quý 3 năm 2024 tại Singapore và Đông Nam Á, sử dụng các cụm GPU Nvidia H100 được vận hành tại các trung tâm dữ liệu nâng cấp của Singtel.
- Sự phát triển của GPUaaS nhằm đáp ứng nhu cầu ngày càng tăng về khả năng xử lý dữ liệu và tính toán hiệu suất cao trong các ngành công nghiệp khác nhau.
- Sự hợp tác này không chỉ mang lại lợi ích cho các doanh nghiệp mà còn thúc đẩy sự phát triển công nghệ tại khu vực Đông Nam Á.

📌 Singtel và Bridge Alliance hợp tác cung cấp GPU-as-a-Service, mở ra cơ hội cho các doanh nghiệp tại Đông Nam Á tiếp cận công nghệ AI tiên tiến. Dịch vụ dự kiến ra mắt vào quý 3 năm 2024 với sự hỗ trợ từ các nhà mạng như AIS, Maxis và Telkomsel.

https://www.thehindu.com/news/national/tech-firms-reiterate-opposition-to-telcos-demand-of-ott-licensing/article68542191.ece

 

1. Hợp tác giữa Singtel và NVIDIA: 
   - Singtel đã tham gia Chương trình Đối tác Đám mây của NVIDIA và sẽ cung cấp nền tảng AI toàn diện của NVIDIA cho các doanh nghiệp tại Singapore và khu vực Đông Nam Á.

2. Dữ liệu trung tâm AI bền vững: 
   - Dịch vụ AI của Singtel sẽ được lưu trữ tại trung tâm dữ liệu khu vực Nxera, nơi phát triển các trung tâm dữ liệu AI bền vững và kết nối cao.

3. Tuyên bố của CEO Singtel: 
   - Bill Chang, CEO của Nxera, nhấn mạnh rằng hợp tác này sẽ giúp các doanh nghiệp, khởi nghiệp, cơ quan chính phủ và tổ chức nghiên cứu tiếp cận công nghệ AI một cách bền vững.

4. Hỗ trợ phát triển AI: 
   - Hợp tác này sẽ tạo điều kiện cho các doanh nghiệp và khách hàng trong khu vực phát triển AI mạnh mẽ hơn, bao gồm các mô hình ngôn ngữ lớn và tinh chỉnh AI.

5. Trung tâm dữ liệu DC Tuas: 
   - Trung tâm dữ liệu xanh DC Tuas với công suất 58MW sẽ là một trong những trung tâm dữ liệu đầu tiên sẵn sàng cho AI khi đi vào hoạt động vào đầu năm 2026.

6. Hiệu suất năng lượng: 
   - DC Tuas sẽ hoạt động với hiệu quả sử dụng năng lượng (PUE) là 1,23, trở thành một trong những trung tâm dữ liệu hiệu quả nhất trong ngành.

7. Dự án trung tâm dữ liệu khác: 
   - Singtel cũng đang phát triển 2 dự án trung tâm dữ liệu hiện đại khác tại Indonesia và Thái Lan.

8. Kinh nghiệm của Singtel: 
   - Singtel đã có kinh nghiệm cung cấp dịch vụ đám mây biên với AI của NVIDIA từ năm 2021 tại thử nghiệm 5G@Sentosa.

9. Nền tảng Paragon: 
   - Nền tảng Paragon của Singtel sẽ giúp khách hàng quản lý và triển khai các mạng lưới, AI và khối lượng công việc đám mây một cách hiệu quả và tiết kiệm chi phí hơn.

10. Chiến lược AI quốc gia của Singapore: 
    - Hợp tác này hỗ trợ chiến lược AI quốc gia của Singapore nhằm thúc đẩy phát triển kinh tế thông qua công nghệ mới và nâng cao cơ sở hạ tầng tính toán cũng như nguồn nhân lực AI chuyên môn.

https://www.singtel.com/about-us/media-centre/news-releases/singtel-collaborates-with-nvidia-to-bring-ai-to-singapore-and-so

Chỉ 25% GPU của Yotta được sử dụng bởi các công ty Ấn Độ

- Yotta Data Services đã đặt hàng 16.384 GPU H100 vào tháng 11 năm ngoái, trong đó khoảng 4.096 chip đã được triển khai và nghiệm thu cho khách hàng tại Ấn Độ và các thị trường quốc tế.
- Hiện tại, chỉ có khoảng 25% GPU của Yotta được sử dụng bởi các công ty Ấn Độ, trong khi 75% còn lại (tương đương khoảng 3.000 GPU) chủ yếu phục vụ cho các nhà khai thác nước ngoài. Điều này cho thấy sự phát triển mạnh mẽ của hệ sinh thái AI ở các quốc gia khác, đặc biệt là ở phương Tây, nơi nhu cầu về các mô hình ngôn ngữ lớn đang gia tăng.
- CEO Sunil Gupta nhấn mạnh rằng hệ sinh thái AI tại Ấn Độ vẫn đang trong quá trình phát triển và chưa đạt đến mức độ như ở các nước phương Tây. Do đó, việc sử dụng GPU tại Ấn Độ vẫn còn hạn chế.
- Yotta Data Services không có kế hoạch giảm giá cho chính phủ Ấn Độ, mặc dù chính phủ đang cố gắng tạo điều kiện cho các công ty khởi nghiệp, nhà nghiên cứu và giới học thuật tiếp cận với 10.000 GPU-time.
- Mức giá cho thời gian sử dụng GPU của Yotta là $3 một giờ, trong khi ở Mỹ là $10 một giờ. Điều này giúp dịch vụ của Yotta trở nên dễ tiếp cận hơn cho nhiều đối tượng, đặc biệt là các công ty khởi nghiệp và nhà nghiên cứu.
- Chip H100 mà Yotta cung cấp là thế hệ mới nhất và hiện không có nhà cung cấp dịch vụ điện toán đám mây nào khác ở Ấn Độ có khả năng cung cấp loại chip này.

📌 Yotta Data Services đang cung cấp thời gian GPU với giá $3 một giờ, rẻ hơn nhiều so với mức $10 một giờ ở Mỹ, nhờ đó dễ tiếp cận hơn với mọi người. Công ty cũng đã đặt hàng thêm 8.000 GPU H100 mới để triển khai trong 3 tháng tới, nhằm đáp ứng nhu cầu ngày càng tăng của thị trường.

https://economictimes.indiatimes.com/tech/technology/only-25-of-yottas-gpus-used-by-indian-firms-ceo-sunil-gupta/articleshow/112609924.cms

Các chiến lược tiết kiệm chi phí trong việc huấn luyện mô hình AI cho doanh nghiệp nhỏ

• Huấn luyện mô hình AI đòi hỏi chi phí khổng lồ, chủ yếu do phần cứng đắt đỏ như GPU. Ví dụ, việc huấn luyện LLaMA 2 70B cần ít nhất 10^24 phép tính dấu phẩy động.

• Các công ty lớn như Microsoft, Meta, Nvidia đang phát triển chip AI tùy chỉnh để tối ưu hóa phần cứng. Tuy nhiên, cách tiếp cận này chỉ phù hợp với các "đại gia" có nguồn lực tài chính dồi dào.

• Đối với doanh nghiệp nhỏ và startup, các giải pháp phần mềm sáng tạo là lựa chọn khả thi hơn để tối ưu hóa quá trình huấn luyện và giảm chi phí.

Mixed precision training kết hợp các phép toán độ chính xác thấp b/float16 với float32 tiêu chuẩn, giúp cải thiện tốc độ xử lý và sử dụng bộ nhớ. Kỹ thuật này có thể cải thiện thời gian chạy lên đến 6 lần trên GPU và 2-3 lần trên TPU.

Activation checkpointing lưu trữ một tập con các giá trị thiết yếu và chỉ tính toán lại phần còn lại khi cần thiết. Phương pháp này có thể giảm sử dụng bộ nhớ tới 70%, mặc dù kéo dài thời gian huấn luyện 15-25%.

Multi-GPU training phân phối quá trình huấn luyện trên nhiều GPU cùng lúc. Các công cụ như DeepSpeed, FSDP và YaFSDP có thể tăng tốc độ huấn luyện lên đến 10 lần so với phương pháp truyền thống.

Các framework mã nguồn mở như Nvidia's APEX và PyTorch của Meta AI hỗ trợ nhiều kỹ thuật tối ưu hóa, giúp việc tích hợp vào quy trình huấn luyện trở nên dễ dàng hơn.

• Bằng cách áp dụng các chiến lược này, ngay cả các doanh nghiệp có nguồn lực hạn chế cũng có thể tham gia vào lĩnh vực AI mà không cần đầu tư lớn vào phần cứng đắt đỏ.

📌 Các kỹ thuật phần mềm như mixed precision training, activation checkpointing và multi-GPU training giúp doanh nghiệp nhỏ tiết kiệm chi phí huấn luyện AI đến 70%. Những công cụ này tăng hiệu quả tính toán, giảm thời gian chạy và cho phép huấn luyện mô hình lớn hơn trên phần cứng hiện có.

 

https://venturebeat.com/ai/the-economics-of-gpus-how-to-train-your-ai-model-without-going-broke/

IMF đề xuất tăng thuế điện đối với thợ đào tiền mã hóa và trung tâm dữ liệu AI nhằm giảm phát thải carbon toàn cầu

IMF đề xuất tăng thuế điện đối với thợ đào tiền mã hóa lên tới 85% để giảm phát thải carbon toàn cầu và tăng nguồn thu ngân sách.

• Biện pháp này có thể mang lại 5,2 tỷ USD doanh thu hàng năm cho chính phủ và giảm 100 triệu tấn khí thải, tương đương lượng phát thải hiện tại của Bỉ.

Đối với trung tâm dữ liệu AI, IMF đề xuất mức thuế 0,032 USD/kWh, hoặc 0,052 USD/kWh nếu tính cả chi phí ô nhiễm không khí. Điều này có thể mang lại tới 18 tỷ USD doanh thu hàng năm.

IMF ước tính hoạt động khai thác tiền mã hóa và trung tâm dữ liệu AI chiếm 2% lượng điện tiêu thụ toàn cầu và gần 1% lượng phát thải carbon toàn cầu.

• Dự kiến trong 3 năm tới, hai ngành này sẽ tiêu thụ lượng điện tương đương Nhật Bản - quốc gia đứng thứ 5 thế giới về sử dụng điện.

• IMF dự báo riêng hoạt động khai thác tiền mã hóa có thể đóng góp 0,7% lượng phát thải CO2 toàn cầu vào năm 2027.

• Mức thuế trực tiếp 0,047 USD/kWh đối với điện sử dụng cho khai thác tiền mã hóa có thể giúp giảm đáng kể lượng phát thải, phù hợp với mục tiêu khí hậu toàn cầu.

• Mức thuế này có thể tăng lên 0,089 USD/kWh nếu tính cả tác động sức khỏe rộng hơn của ô nhiễm không khí, tương đương mức tăng 85% chi phí điện cho thợ đào.

IMF thừa nhận việc tăng thuế cần được thực hiện trên phạm vi toàn cầu để ngăn chặn tình trạng thợ đào di chuyển sang các khu vực khác có chính sách thuế thấp hơn.

• Đề xuất này được đưa ra bất chấp thực tế các hoạt động khai thác nhỏ lẻ đang gặp khó khăn trong việc tạo ra lợi nhuận sau sự kiện halving Bitcoin vào tháng 4/2024.

• Chưa rõ liệu việc tăng thuế có trực tiếp làm giảm lượng phát thải hay không, vì thợ đào thường tìm kiếm các giải pháp rẻ hơn ở những quốc gia có chi phí điện thuận lợi hơn.

📌 IMF đề xuất tăng thuế điện lên tới 85% đối với thợ đào tiền mã hóa và trung tâm dữ liệu AI nhằm giảm phát thải carbon toàn cầu. Biện pháp này có thể mang lại 23,2 tỷ USD doanh thu hàng năm và giảm 100 triệu tấn khí thải, nhưng cần được thực hiện đồng bộ trên toàn cầu để đạt hiệu quả.

https://decrypt.co/245032/imf-calls-for-increased-electricity-taxes-on-crypto-miners-ai-data-centers

Ola Electric công bố 3 chip AI đầu tiên của Ấn Độ hiệu suất cao, tiết kiệm năng lượng, cạnh tranh Nvidia

Ola Electric, nhà sản xuất xe điện hai bánh lớn nhất Ấn Độ, vừa công bố kế hoạch phát triển các chip AI đầu tiên của nước này.

• Ba chip đầu tiên dự kiến ra mắt vào năm 2026 bao gồm: Bodhi 1, Ojas và Sarv 1. Chip thứ tư là Bodhi 2 sẽ được giới thiệu vào năm 2028.

• Bodhi 1 được thiết kế cho suy luận AI, phù hợp với các mô hình ngôn ngữ lớn và mô hình thị giác. Ola tuyên bố Bodhi 1 cung cấp hiệu suất năng lượng tốt nhất trong phân khúc.

• Ojas là chip AI Edge có thể tùy chỉnh cho nhiều ứng dụng khác nhau như ô tô, di động, IoT. Ola dự định triển khai chip này trong xe điện thế hệ tiếp theo để vận hành các hệ thống sạc, ADAS.

• Sarv 1 sử dụng bộ lệnh Arm được xây dựng cho các trung tâm dữ liệu, nhắm đến nhu cầu tính toán AI ngày càng tăng.

Theo trình bày của Ola, các chip nguyên mẫu của họ mang lại hiệu suất và hiệu quả năng lượng tốt hơn so với GPU của Nvidia. Tuy nhiên, công ty chưa cung cấp thông tin cụ thể về việc so sánh với GPU nào của Nvidia.

• Ola cũng chưa tiết lộ nơi sản xuất các chip này.

• Động thái này cho thấy Ấn Độ muốn tham gia vào cuộc đua AI toàn cầu, hiện đang bị Mỹ và Trung Quốc thống trị. 

• Với dân số đông nhất thế giới, Ấn Độ có nguồn nhân lực công nghệ dồi dào để thúc đẩy công nghệ AI.

• Nhiều công ty như Nvidia và ASML bị cấm bán công nghệ tiên tiến cho Trung Quốc có thể sẽ vui mừng mở rộng thị trường sang Ấn Độ.

Yotta, công ty trung tâm dữ liệu và máy chủ của Ấn Độ, đã đặt hàng 16.000 GPU Nvidia dự kiến giao vào năm tới, cùng với 16.000 GPU đã được giao vào tháng trước.

📌 Ola Electric công bố 4 chip AI đầu tiên của Ấn Độ, dự kiến ra mắt 2026-2028. Các chip hứa hẹn hiệu suất cao, tiết kiệm năng lượng, cạnh tranh trực tiếp với Nvidia. Động thái này đánh dấu bước đi quan trọng của Ấn Độ trong cuộc đua AI toàn cầu.

https://www.tomshardware.com/tech-industry/artificial-intelligence/ola-electric-announces-indias-first-ai-chip-bodhi-1-ojas-and-sarv-1-slated-for-2026-and-bodhi-2-for-2028

Geekbench AI 1.0 ra mắt: công cụ đánh giá toàn diện hiệu năng AI cho CPU, GPU và NPU

• Primate Labs vừa ra mắt Geekbench AI phiên bản 1.0, một công cụ benchmark mới để đánh giá hiệu năng xử lý AI của CPU, GPU và NPU.

• Geekbench AI là phiên bản nâng cấp từ dự án thử nghiệm Geekbench ML, được đổi tên nhằm tận dụng xu hướng AI đang phát triển mạnh mẽ.

• Công cụ này đo lường cả tốc độ và độ chính xác của các tác vụ AI, phù hợp với nhu cầu đánh giá hiệu năng xử lý AI cục bộ ngày càng tăng.

• Geekbench AI hỗ trợ nhiều framework AI khác nhau như OpenVINO, ONNX, QNN, CoreML và các framework riêng của các nhà sản xuất.

• Benchmark có thể chạy trên CPU, GPU hoặc NPU (nếu thiết bị tương thích). Trên Windows, hiện mới hỗ trợ NPU của Intel và Qualcomm, chưa hỗ trợ AMD.

• Công cụ này có sẵn cho Windows, macOS, Linux, iOS/iPadOS và Android. Phiên bản miễn phí đã đủ dùng, bản Pro có thêm một số tính năng nâng cao.

• Geekbench AI đánh giá hiệu năng với nhiều mức độ chính xác khác nhau: single-precision, half-precision và quantized data.

• Primate Labs cam kết sẽ cập nhật thường xuyên để hỗ trợ phần cứng, framework và workload mới khi thị trường AI phát triển.

• Việc ra mắt Geekbench AI đáp ứng nhu cầu đo lường hiệu năng NPU, khi các chip của Intel và AMD đã tích hợp NPU tiêu chuẩn.

• Xu hướng xử lý AI cục bộ trên thiết bị thay vì trên đám mây đang gia tăng, đòi hỏi các công cụ benchmark phù hợp.

• Microsoft cũng đang thúc đẩy sáng kiến Copilot+, trong khi Intel, AMD, Qualcomm và Apple đều nỗ lực cải thiện hiệu năng NPU.

📌 Geekbench AI 1.0 ra mắt như một công cụ benchmark toàn diện cho hiệu năng xử lý AI, hỗ trợ đa nền tảng và framework. Đáp ứng nhu cầu đánh giá NPU ngày càng phổ biến, Primate Labs cam kết cập nhật liên tục để theo kịp sự phát triển nhanh chóng của công nghệ AI.

https://arstechnica.com/gadgets/2024/08/geekbench-ml-becomes-geekbench-ai-a-cross-platform-performance-test-for-npus-and-more/

SoftBank thảo luận hợp tác chip AI với Intel để cạnh tranh với Nvidia

- SoftBank đã thảo luận về việc hợp tác sản xuất chip trí tuệ nhân tạo (AI) với Intel để cạnh tranh với Nvidia, nhằm đẩy nhanh nỗ lực của mình trong việc kết hợp thiết kế chip của Arm (công ty con) với chuyên môn sản xuất của Graphcore (công ty mới mua lại).

- Kế hoạch này do Masayoshi Son, CEO của SoftBank, đề xuất với mục tiêu đầu tư hàng tỷ USD để đưa tập đoàn Nhật Bản vào trung tâm của cơn sốt AI bằng cách tạo ra đối thủ cạnh tranh với chip AI hàng đầu của Nvidia.

- Tuy nhiên, các cuộc đàm phán với Intel đã thất bại trong những tháng gần đây, trước khi Intel công bố kế hoạch cắt giảm chi phí và sa thải hàng nghìn nhân viên vào đầu tháng 8. SoftBank hiện đang tập trung vào các cuộc thảo luận với TSMC, nhà sản xuất chip theo hợp đồng lớn nhất thế giới.

- Việc sử dụng nhà máy của Intel ở Mỹ để sản xuất chip AI có thể đã cho phép SoftBank tiếp cận nguồn tài trợ từ Đạo luật Chip của chính phủ Biden nhằm thúc đẩy sản xuất bán dẫn trong nước.

- SoftBank đổ lỗi cho Intel về việc đàm phán sụp đổ, cho rằng nhà sản xuất chip này không thể đáp ứng yêu cầu về khối lượng và tốc độ. Tuy nhiên, các cuộc đàm phán vẫn có thể khởi động lại do số lượng nhà sản xuất chip có khả năng sản xuất chip AI hiện đại là hạn chế.

- Mặc dù gặp nhiều bất định xung quanh kế hoạch sản xuất, Son vẫn chào mời một số tập đoàn công nghệ lớn nhất thế giới, bao gồm Google và Meta, để tìm kiếm sự ủng hộ và tài trợ cho dự án mới nhất của mình.

📌SoftBank đang nỗ lực trở thành trung tâm của cơn sốt AI bằng cách tạo ra đối thủ cạnh tranh với chip AI của Nvidia, thông qua việc kết hợp thiết kế chip của Arm và chuyên môn sản xuất của Graphcore. Tuy nhiên, họ gặp khó khăn trong việc tìm đối tác sản xuất phù hợp và cần hàng tỷ USD để thực hiện kế hoạch tham vọng này.

https://www.ft.com/content/6b7fd8a1-7f9c-427b-8467-f911f5f0d520

#FT

Các công ty khởi nghiệp AI Trung Quốc chuyển sang RTX 4090 vì H20 quá đắt

- Nhiều công ty khởi nghiệp AI ở Trung Quốc đang ưa chuộng sử dụng RTX 4090, một trong những card đồ họa tốt nhất, thay vì GPU AI H20 tuân thủ lệnh trừng phạt của Nvidia. 
- GPU H20 tuân thủ lệnh trừng phạt của Nvidia quá đắt đỏ đối với nhiều công ty vừa và nhỏ, chủ yếu là vì nó không mang lại mức hiệu suất như GPU A100 và H100 gốc.
- Một máy chủ 8 card H20 có giá khoảng 1,3 triệu nhân dân tệ (khoảng 180.000 USD). Trong khi đó, một RTX 4090 có giá từ 16.000 đến 20.000 nhân dân tệ (khoảng 2.200 đến 2.800 USD). Thậm chí nếu tính mỗi GPU RTX 4090 là 20.000 nhân dân tệ, 1,3 triệu nhân dân tệ đã có thể mua được 65 chiếc GPU cao cấp dành cho người tiêu dùng này.
- Mặc dù H20 chắc chắn có sức mạnh hơn RTX 4090, nhưng chênh lệch giá khổng lồ khiến RTX 4090 trở thành giải pháp hiệu quả hơn về mặt giá cả. Chỉ những công ty lớn nhất như Baidu, Alibaba, Tencent và ByteDance mới có thể chi trả cho các chip AI đắt đỏ hơn.
- Một doanh nhân chủ yếu làm việc ở lớp ứng dụng AI cho biết họ đã thuê các chip A100 và H100 thông qua các dịch vụ điện toán đám mây và sau đó chuyển sang triển khai tại chỗ các phiên bản cũ hơn là V100 và RTX 3090. Với điều đó, họ tin rằng RTX 4090 nên đủ đáp ứng nhu cầu của họ.
- RTX 4090 đã trở thành lựa chọn hàng đầu của nhiều khách hàng cần các bộ xử lý AI. Một công ty được cho là đã sẵn sàng triển khai 100 GPU RTX 4090 vào tháng 8 này.
- Kể từ tháng 11 năm ngoái, các RTX 4090 đã bị hạn chế xuất khẩu sang Trung Quốc. Điều này đã khiến Nvidia tạo ra RTX 4090D chỉ dành riêng cho Trung Quốc, có ít lõi hơn và mức tiêu thụ điện thấp hơn. Tuy nhiên, các chip mà các công ty khởi nghiệp này đang mua là phiên bản RTX 4090 đầy đủ, không phải là phiên bản 4090D bị pha loãng.
- Mặc dù có các lệnh cấm vận và trừng phạt nhắm vào Trung Quốc, các tập đoàn và tổ chức vẫn có thể mua được số lượng lớn các chip này. Ví dụ, nếu một thực thể nhập khẩu bị chặn ở Mỹ, nó sẽ thay đổi tên hoặc địa chỉ và sau đó mua lại các GPU có khả năng AI trước khi cơ quan chức năng Mỹ biết đến hoạt động của nó và cấm lần thứ hai.


📌 Các công ty khởi nghiệp AI của Trung Quốc đang ngày càng ưa chuộng sử dụng GPU gaming RTX 4090 thay vì GPU AI H20 tuân thủ lệnh trừng phạt của Nvidia do sự chênh lệch giá quá lớn. RTX 4090 mang lại giá trị tốt hơn với hiệu suất đủ đáp ứng nhu cầu.

https://www.tomshardware.com/pc-components/gpus/chinese-ai-startups-turn-to-geforce-gaming-gpus-because-nvidia-sanction-compliant-ai-gpus-are-too-expensive

NVIDIA ra mắt RTX 4090D với 48GB và RTX 4080 Super 32GB, cho điện toán đám mây tại Trung Quốc

- NVIDIA đã chính thức giới thiệu hai mẫu GPU mới là RTX 4090D với 48GB bộ nhớ và RTX 4080 Super với 32GB bộ nhớ, nhắm đến thị trường điện toán đám mây tại Trung Quốc.
- RTX 4090D được thiết kế để tối ưu hóa hiệu suất cho các ứng dụng yêu cầu xử lý đồ họa cao, như AI và học máy.
- RTX 4080 Super cũng không kém phần mạnh mẽ, cung cấp khả năng xử lý ấn tượng cho các tác vụ điện toán đám mây.
- Cả hai GPU này đều sử dụng kiến trúc Ada Lovelace, mang lại hiệu suất và hiệu quả năng lượng tốt hơn so với các thế hệ trước.
- Mô hình RTX 4090D với 48GB bộ nhớ GDDR6X, cho phép xử lý dữ liệu lớn và phức tạp mà không gặp phải tình trạng thiếu bộ nhớ.
- RTX 4080 Super với 32GB bộ nhớ cũng hứa hẹn mang lại trải nghiệm mượt mà cho người dùng trong các ứng dụng đòi hỏi cao.
- NVIDIA nhấn mạnh rằng các GPU mới này sẽ giúp cải thiện hiệu suất cho các dịch vụ điện toán đám mây, đặc biệt trong lĩnh vực AI và phân tích dữ liệu lớn.
- Sản phẩm hiện đã có mặt tại một số nhà cung cấp dịch vụ điện toán đám mây tại Trung Quốc, mở ra cơ hội mới cho các doanh nghiệp sử dụng công nghệ tiên tiến này.
- Sự ra mắt này đánh dấu bước tiến quan trọng của NVIDIA trong việc đáp ứng nhu cầu ngày càng tăng về hiệu suất tính toán trong môi trường điện toán đám mây.
- Các chuyên gia dự đoán rằng RTX 4090D và RTX 4080 Super sẽ tạo ra sự cạnh tranh mạnh mẽ trong thị trường GPU, đặc biệt là trong bối cảnh nhu cầu về điện toán đám mây đang gia tăng.

📌 NVIDIA đã ra mắt RTX 4090D 48GB và RTX 4080 Super 32GB, phục vụ điện toán đám mây tại Trung Quốc, với kiến trúc Ada Lovelace, hứa hẹn hiệu suất cao cho AI và phân tích dữ liệu lớn.

Citations:
[1] https://videocardz.com/newz/nvidia-geforce-rtx-4090d-with-48gb-and-rtx-4080-super-32gb-now-offered-in-china-for-cloud-computing

 

Nvidia vẫn là ông vua AI nhờ chiến lược "vườn tường" kết hợp phần cứng và phần mềm

• Nvidia nổi tiếng với chip AI nhưng sức mạnh thực sự đến từ hệ sinh thái phần mềm "vườn tường" (walled garden) giống như Apple, giúp giữ chân khách hàng và ngăn cản đối thủ.

• Nền tảng phần mềm CUDA ra mắt năm 2007 là chìa khóa của "vườn tường" Nvidia, cho phép chạy các phần mềm phi đồ họa trên GPU của công ty.

CUDA hiện có hơn 300 thư viện mã, 600 mô hình AI, hỗ trợ 3.700 ứng dụng tăng tốc GPU và được sử dụng bởi 5 triệu nhà phát triển tại 40.000 công ty.

Nvidia có nhiều kỹ sư phần mềm hơn phần cứng, tập trung vào "điện toán full-stack" từ chip đến phần mềm xây dựng AI.

• Thị trường chip AI dự kiến đạt 400 tỷ USD/năm vào 2027, thu hút nhiều đối thủ cạnh tranh Nvidia.

Các công ty như Intel, Google, Samsung đang phát triển giải pháp mã nguồn mở thay thế CUDA.

• Startup như Groq huy động được 640 triệu USD để cạnh tranh với chip của Nvidia.

• Google, Amazon, Microsoft đều đang phát triển chip AI riêng.

AMD là đối thủ thành công nhất, dự kiến doanh thu 4,5 tỷ USD từ chip AI Instinct năm 2024. Công ty đã mua lại Silo AI với 665 triệu USD, bổ sung 300 kỹ sư AI.

Tuy nhiên, Nvidia vẫn dự kiến giữ 90% thị phần chip AI trong 2-3 năm tới.

NinjaTech AI là ví dụ về startup sử dụng chip tùy chỉnh của Amazon thay vì Nvidia do chi phí thấp hơn (250.000 USD/tháng so với 750.000-1,2 triệu USD/tháng).

• CEO Nvidia Jensen Huang cam kết giảm chi phí đào tạo AI trên phần cứng của công ty trong thế hệ chip tiếp theo.

📌 Nvidia duy trì vị thế dẫn đầu trong lĩnh vực AI nhờ chiến lược "vườn tường" kết hợp phần cứng-phần mềm. Với 90% thị phần chip AI, 5 triệu nhà phát triển sử dụng CUDA và hệ sinh thái phần mềm khổng lồ, Nvidia vẫn là "ông vua" không thể thay thế trong ngắn hạn dù đối mặt nhiều thách thức cạnh tranh.

 

https://www.wsj.com/tech/ai/ai-nvidia-apple-amd-jensen-huang-software-bb581f5a

#WSJ

Intel ra mắt GPU mới cho ô tô tại Trung Quốc, tăng cường khả năng AI trong xe

• Intel vừa ra mắt GPU mới dành cho ô tô tại Trung Quốc, đánh dấu bước tiến vào thị trường ô tô điện lớn nhất thế giới giữa bối cảnh tăng trưởng chậm lại và cạnh tranh gay gắt trong lĩnh vực bán dẫn tiên tiến.

• GPU mới có tên Arc Graphics for Automotive, được thiết kế để cung cấp năng lực AI trong xe. Sản phẩm sẽ được triển khai thương mại trong buồng lái xe từ năm 2025.

• Jack Weast, Phó chủ tịch và Tổng giám đốc Intel Automotive, cho biết Trung Quốc là "thị trường thử nghiệm lý tưởng" cho công nghệ mới của Intel nhờ chu kỳ phát triển xe điện nhanh chóng và khả năng áp dụng công nghệ tiên tiến.

GPU mới cho phép chạy các mô hình ngôn ngữ lớn (LLM) và trải nghiệm game AAA ngay trong xe, cũng như chạy các ứng dụng AI tạo sinh cục bộ thay vì trên đám mây.

• Động thái này phản ánh nhu cầu ngày càng tăng về sức mạnh tính toán trong buồng lái xe ngày càng tinh vi, khi các đối thủ như Nvidia và AMD cũng đẩy mạnh nỗ lực trong phân khúc chip ô tô.

• Intel đã chuyển trụ sở của bộ phận Automotive sang Trung Quốc và Tổng giám đốc Jack Weast cũng chuyển đến Bắc Kinh.

• Công ty đang tìm cách tăng cường quan hệ với Trung Quốc bất chấp áp lực từ Washington. Tháng 7/2023, Intel và chính quyền quận Nanshan (Thâm Quyến) đã cùng ra mắt Trung tâm Đổi mới Vùng Vịnh Lớn Intel tập trung vào các công nghệ như AI và điện toán biên.

• Intel đang phải đối mặt với kết quả tài chính không như mong đợi, cổ phiếu giảm gần 60% trong năm nay. Công ty thông báo sẽ cắt giảm hơn 15% lực lượng lao động (khoảng 17.500 người) và tạm ngừng chia cổ tức từ quý 4 như một phần của biện pháp cắt giảm chi phí.

• Việc cắt giảm nhân sự sẽ diễn ra trên toàn cầu, có thể ảnh hưởng đến nhân viên tại Trung Quốc.

📌 Intel ra mắt GPU Arc Graphics for Automotive tại Trung Quốc, nhắm đến thị trường ô tô điện 2,5 triệu xe/năm. Sản phẩm hỗ trợ AI trong xe, sẽ triển khai thương mại từ 2025. Đây là bước đi chiến lược của Intel trong bối cảnh cạnh tranh gay gắt với Nvidia, AMD trên thị trường chip ô tô.

https://www.scmp.com/tech/big-tech/article/3273965/intel-launches-new-chip-power-chinese-carmakers-advanced-vehicle-ai-initiatives

Trung Quốc phát triển chip AI quang học Taichi-II, hệ thống đào tạo AI đầu tiên trên thế giới hoạt động hoàn toàn bằng ánh sáng

• Nhóm nghiên cứu tại Đại học Tsinghua, Bắc Kinh đã phát triển chip AI quang học Taichi-II, hệ thống đào tạo AI đầu tiên trên thế giới hoạt động hoàn toàn bằng ánh sáng.

• Taichi-II là bản nâng cấp từ chip Taichi trước đó, cho phép mô hình hóa và đào tạo hoàn toàn dựa trên ánh sáng mà không cần sự hỗ trợ của máy tính điện tử.

Nghiên cứu được công bố trên tạp chí Nature vào ngày 9/8/2024, do nhóm của giáo sư Fang Lu và Dai Qionghai thực hiện.

• Taichi-II được đánh giá là bước tiến quan trọng cho tính toán quang học, giúp chuyển từ giai đoạn lý thuyết sang ứng dụng thực nghiệm quy mô lớn.

• Chip mới có hiệu suất vượt trội so với phiên bản trước trong nhiều kịch bản:
- Tăng tốc đào tạo mạng quang học với hàng triệu tham số lên gấp 10 lần
- Tăng độ chính xác của các tác vụ phân loại lên 40%
- Cải thiện hiệu quả năng lượng trong môi trường ánh sáng yếu lên gấp 1 triệu lần

• Nhóm nghiên cứu phát triển phương pháp học FFM (Fully Forward Mode), cho phép thực hiện quá trình đào tạo trực tiếp trên chip quang học.

• FFM tận dụng các bộ điều chế và detector quang học tốc độ cao thương mại, có thể vượt trội hơn GPU trong việc học tăng tốc.

Công nghệ này có thể là giải pháp thay thế sau khi Mỹ hạn chế Trung Quốc tiếp cận các chip GPU mạnh nhất để đào tạo AI.

• Nhóm nghiên cứu kỳ vọng những chip này sẽ tạo nền tảng cho sức mạnh tính toán quang học trong xây dựng mô hình AI trong tương lai.

📌 Chip AI quang học Taichi-II của Trung Quốc đạt bước tiến đột phá, hoạt động hoàn toàn bằng ánh sáng với hiệu suất vượt trội. Tăng tốc đào tạo mạng lên 10 lần, độ chính xác tăng 40%, hiệu quả năng lượng cải thiện gấp 1 triệu lần trong môi trường ánh sáng yếu. Mở ra triển vọng cho tính toán quang học quy mô lớn.

 

https://www.scmp.com/news/china/science/article/3273768/chinese-team-creates-worlds-first-ai-training-system-runs-entirely-light

Cách tối ưu cơ sở hạ tầng cho AI tạo sinh: Chiến lược tiết kiệm chi phí từ các chuyên gia

• AI tạo sinh đòi hỏi lượng lớn tài nguyên tính toán, lưu trữ dữ liệu, băng thông mạng, điện năng và làm mát. IDC dự báo thị trường cơ sở hạ tầng AI toàn cầu sẽ tăng gấp đôi từ 28,1 tỷ USD năm 2022 lên 57 tỷ USD vào năm 2027.

• Khối lượng cơ sở hạ tầng cần thiết để xử lý các mô hình ngôn ngữ lớn (LLM) của AI tạo sinh đang trở nên không bền vững. Các nhà lãnh đạo CNTT đang tìm kiếm các chiến lược để đảm bảo ROI tích cực.

• Tại Northwestern Medicine, Mozziyar Etemadi đã chuyển sang sử dụng mô hình ngôn ngữ nhỏ (SLM) để giảm yêu cầu cơ sở hạ tầng. Họ đã xây dựng một cụm 4 máy chủ Dell PowerEdge XE9680 với 8 GPU Nvidia H100 để xử lý hình ảnh X-quang, tiết kiệm khoảng 50% chi phí so với dịch vụ đám mây.

• Northwestern Medicine sử dụng kết hợp lưu trữ đám mây và tại chỗ, chọn giải pháp phù hợp nhất cho từng trường hợp. Họ nhận thấy lưu trữ tại chỗ thường rẻ hơn đám mây.

• Papercup Technologies ban đầu sử dụng cụm GPU tại chỗ, tiết kiệm 60-70% so với đám mây. Tuy nhiên, khi mở rộng, họ gặp vấn đề về điện năng, làm mát và quản lý hệ thống.

• Papercup đã chuyển sang sử dụng AWS cho các tác vụ dịch và lồng tiếng, Google Cloud Platform cho đào tạo mô hình nặng, và giữ lại một số máy chủ tại chỗ cho đào tạo đơn giản hơn.

• GPU hiện tại tiêu thụ nhiều năng lượng (700W) và xu hướng này sẽ tiếp tục tăng. Các chuyên gia dự đoán sự xuất hiện của các bộ đồng xử lý AI chuyên dụng trong tương lai.

Các giải pháp thay thế cho GPU bao gồm SLM, CPU dựa trên ARM, nhà cung cấp đám mây với chính sách phát thải bằng 0, vi xử lý sử dụng FPGA hoặc ASIC.

📌 AI tạo sinh đòi hỏi cơ sở hạ tầng khổng lồ, thách thức các CIO về chi phí và bền vững. Các chiến lược hiệu quả bao gồm sử dụng mô hình ngôn ngữ nhỏ, kết hợp linh hoạt giữa on-premises và đám mây, cũng như tìm kiếm các giải pháp phần cứng tiết kiệm năng lượng hơn như bộ đồng xử lý AI chuyên dụng.

 

https://www.cio.com/article/2128440/getting-infrastructure-right-for-generative-ai.html?amp=1

Mainframe vẫn "sống khỏe" trong kỷ nguyên AI: từ ngân hàng đến hàng không vẫn cần "siêu máy tính" này

• Mainframe - máy tính lớn được phát minh từ nhiều thập kỷ trước vẫn đang chứng minh sức sống của mình trong kỷ nguyên AI hiện đại.

• Các ngành như ngân hàng, bảo hiểm và hàng không vẫn phụ thuộc vào mainframe để xử lý dữ liệu tốc độ cao. Một số đang tìm cách áp dụng AI trực tiếp trên mainframe thay vì trên đám mây.

• Đối với ngân hàng, việc phân tích các giao dịch có khả năng gian lận phải được thực hiện trong vài mili giây. Điều này chỉ có thể xảy ra trong thời gian thực trên mainframe.

IBM là công ty lớn nhất trong lĩnh vực mainframe với hơn 96% thị phần, theo sau là NEC, Fujitsu và Hitachi.

45 trong số 50 ngân hàng hàng đầu và 4 trong số 5 hãng hàng không hàng đầu vẫn sử dụng mainframe làm nền tảng cốt lõi.

Thị trường mainframe toàn cầu được định giá 3,05 tỷ USD vào năm 2023. Doanh số bán mainframe mới dự kiến sẽ giảm đến năm 2028.

• 54% lãnh đạo doanh nghiệp trong một cuộc khảo sát năm 2023 của Forrester cho biết họ sẽ tăng cường sử dụng mainframe trong 2 năm tới.

• Mainframe có thể xử lý tới 30.000 giao dịch mỗi giây với tốc độ cực nhanh. Phiên bản mới nhất của IBM zSystem có thể lưu trữ tới 40 terabyte dữ liệu, nặng tới 816 kg và có giá trên 1 triệu USD.

• IBM đã tích hợp khả năng AI vào mainframe. Phiên bản mới nhất có thể trả về kết quả ngay lập tức từ các mô hình AI.

Mainframe được đánh giá cao về độ tin cậy và khả năng bảo vệ chống lại các cuộc tấn công mạng. Ngay cả khi một phần của máy tính bị hỏng, nó vẫn hoạt động được.

Một số doanh nghiệp vẫn ưa thích quản lý mainframe và máy chủ của riêng họ thay vì phụ thuộc vào đám mây.

• Tuy nhiên, mainframe cũng có những hạn chế như khả năng mở rộng hạn chế, khó tích hợp với ứng dụng mới và tốn kém để quản lý.

• Các nỗ lực loại bỏ mainframe đã diễn ra trong nhiều năm, đặc biệt khi số lượng lập trình viên thành thạo ngôn ngữ COBOL ngày càng giảm.

Một số công ty khởi nghiệp như Mechanical Orchard đang sử dụng AI để giúp viết lại các ứng dụng mainframe cũ bằng mã mới và chuyển chúng lên đám mây.

📌 Mặc dù có xu hướng giảm, mainframe vẫn đóng vai trò quan trọng trong xử lý dữ liệu tốc độ cao và ứng dụng AI cho nhiều ngành. IBM chiếm 96% thị phần, với 45/50 ngân hàng hàng đầu vẫn sử dụng. Tuy nhiên, việc chuyển đổi sang đám mây đang diễn ra, với các startup như Mechanical Orchard sử dụng AI để hiện đại hóa ứng dụng mainframe.

https://www.wsj.com/articles/mainframes-find-new-life-in-ai-era-1e32b951

#WSJ

Groq, công ty khởi nghiệp chip AI, huy động được 640 triệu USD từ các nhà đầu tư lớn, nâng giá trị lên 2,8 tỷ USD

• Groq, công ty khởi nghiệp chip AI, vừa huy động được 640 triệu USD từ các nhà đầu tư lớn như BlackRock, Cisco và Samsung Catalyst Fund.

• Giá trị của Groq tăng gấp đôi lên 2,8 tỷ USD so với mức 1,1 tỷ USD năm 2021.

• Yann LeCun, nhà khoa học AI trưởng của Meta, sẽ trở thành cố vấn kỹ thuật cho Groq.

• Groq là một trong số các công ty chip hưởng lợi từ sự bùng nổ sử dụng các mô hình AI như ChatGPT hay Google Gemini.

• Nvidia hiện là công ty lớn nhất trong lĩnh vực chip AI với các GPU mạnh mẽ dùng để huấn luyện mô hình AI tiên tiến.

• Khác với Nvidia, Groq tập trung vào chip triển khai AI (inference) - quá trình mô hình sử dụng dữ liệu đã được huấn luyện để trả lời câu hỏi.

• Groq tuyên bố chip LPU (Language Processing Unit) của họ nhanh hơn và tiết kiệm năng lượng hơn so với đối thủ.

• Jonathan Ross, CEO Groq và cựu kỹ sư Google, cho biết công ty sẽ triển khai hơn 108.000 LPU vào cuối tháng 3/2025.

• Mục tiêu của Groq là xử lý một nửa lượng inference trên toàn cầu vào cuối năm 2025.

• BlackRock sẽ đóng vai trò quan trọng, không chỉ là nhà đầu tư mà còn là đối tác lâu dài của Groq.

• Groq đã hợp tác với nhiều công ty lớn như Meta, Samsung và cả các quốc gia như Ả Rập Saudi để sản xuất và triển khai chip.

• Công ty đã ký thỏa thuận với Aramco Digital và Earth Wind & Power để xây dựng năng lực tính toán và cung cấp chip.

• Ross khẳng định Groq làm việc chặt chẽ với Bộ Thương mại Mỹ và không gặp vấn đề gì với các đối tác Trung Đông.

📌 Groq đã huy động thành công 640 triệu USD, nâng giá trị lên 2,8 tỷ USD, gấp đôi so với năm 2021. Công ty tập trung vào chip triển khai AI, đặt mục tiêu xử lý 50% lượng inference toàn cầu vào cuối 2025 với hơn 108.000 LPU được triển khai.

https://www.ft.com/content/654f44d9-be74-4097-9e9b-77fdef5454bd

#FT

Startup Groq gọi vốn thành công 640 triệu USD, thách thức vị thế của Nvidia

• Groq, startup phát triển chip chạy mô hình AI tạo sinh nhanh hơn các bộ xử lý thông thường, vừa huy động thành công 640 triệu USD trong vòng gọi vốn mới do Blackrock dẫn đầu.

• Các nhà đầu tư khác tham gia bao gồm Neuberger Berman, Type One Ventures, Cisco, KDDI và Samsung Catalyst Fund.

• Vòng gọi vốn này nâng tổng số tiền Groq huy động được lên hơn 1 tỷ USD và định giá công ty ở mức 2,8 tỷ USD.

• Ban đầu, Groq dự định gọi 300 triệu USD với mức định giá 2,5 tỷ USD, nhưng đã vượt xa kỳ vọng ban đầu.

• Định giá mới gấp đôi so với mức định giá trước đó (~1 tỷ USD) vào tháng 4/2021.

Yann LeCun, Giám đốc khoa học AI của Meta, sẽ làm cố vấn kỹ thuật cho Groq.

• Stuart Pann, cựu lãnh đạo bộ phận foundry của Intel và cựu CIO của HP, sẽ gia nhập Groq với vị trí Giám đốc điều hành.

Groq đang phát triển công cụ suy luận LPU (language processing unit). Công ty tuyên bố LPU có thể chạy các mô hình AI tạo sinh hiện có nhanh gấp 10 lần và tiêu thụ năng lượng bằng 1/10 so với các chip thông thường.

• CEO Jonathan Ross của Groq nổi tiếng với việc giúp phát minh ra tensor processing unit (TPU), chip AI tùy chỉnh của Google.

• Groq cung cấp nền tảng phát triển GroqCloud chạy trên LPU, hỗ trợ các mô hình "mở" như Llama 3.1 của Meta, Gemma của Google, Whisper của OpenAI và Mixtral của Mistral.

• Tính đến tháng 7, GroqCloud có hơn 356.000 nhà phát triển sử dụng.

• Theo ước tính của Groq, hơn 75% các công ty trong danh sách Fortune 100 đã có đại diện sử dụng nền tảng của họ.

• Một phần số tiền huy động được sẽ được sử dụng để mở rộng năng lực và bổ sung thêm các mô hình và tính năng mới.

📌 Groq gọi vốn thành công 640 triệu USD, nâng tổng số tiền huy động lên hơn 1 tỷ USD và định giá công ty ở mức 2,8 tỷ USD. Với công nghệ chip LPU độc đáo và sự hỗ trợ từ các chuyên gia hàng đầu, Groq đang thách thức vị thế của Nvidia trong lĩnh vực chip AI.

https://techcrunch.com/2024/08/05/ai-chip-startup-groq-lands-640m-to-challenge-nvidia/

Cách Trung Quốc vượt lệnh cấm AI của Mỹ: từ buôn lậu đến công ty bình phong

• Mỹ đã cố gắng ngăn chặn Trung Quốc tiếp cận chip AI Nvidia để phát triển quân sự, nhưng khu vực tư nhân đang tìm cách vượt qua lệnh cấm.

• Tại chợ điện tử SEG ở Thâm Quyến, các nhà cung cấp công khai bán chip AI bị cấm. Một người bán cho biết có thể đặt hàng và giao chip trong vòng 2 tuần.

• Một chủ doanh nghiệp khác chia sẻ đã vận chuyển một lô lớn máy chủ chứa hơn 2.000 chip Nvidia tiên tiến nhất từ Hong Kong vào Trung Quốc đại lục, trị giá 103 triệu USD.

• Mỹ đã thiết lập một trong những lệnh cấm công nghệ toàn diện nhất từ trước đến nay vào tháng 10/2022, cấm xuất khẩu chip AI và máy móc sản xuất chúng sang Trung Quốc.

• Tuy nhiên, các doanh nghiệp trên toàn cầu đã tìm ra cách để vượt qua các hạn chế do lợi nhuận khổng lồ.

• Một số công ty Trung Quốc đã thành lập các công ty mới để tránh lệnh cấm. Ví dụ như Nettrix, một trong những nhà sản xuất máy chủ AI lớn nhất Trung Quốc, được thành lập bởi các cựu lãnh đạo của Sugon - công ty bị Mỹ đưa vào danh sách đen.

• Nettrix nhanh chóng trở thành đối tác của Nvidia, Intel và Microsoft. Công ty này đã bán máy chủ chứa chip Nvidia và Intel cho nhiều tổ chức, bao gồm cả những đơn vị sau đó bị Mỹ đưa vào danh sách đen.

• Chip của Mỹ đã giúp đẩy nhanh chương trình tên lửa của Trung Quốc. Ví dụ, chip A100 bị cấm của Nvidia đã được sử dụng tại Đại học Trung Sơn để mô phỏng tên lửa và ngư lôi.

• Nvidia đã nhanh chóng điều chỉnh bằng cách tạo ra phiên bản chip A800 giảm hiệu năng để bán cho Trung Quốc, nhưng sau đó cũng bị cấm vào tháng 10/2023.

• Tại chợ điện tử Thâm Quyến, nhiều nhà cung cấp cho biết họ bán hoặc vận chuyển hàng trăm hoặc hàng nghìn chip Nvidia bị cấm, bao gồm cả A100 và H100.

• Các chuyên gia cho rằng với mức độ buôn lậu vừa phải, lệnh cấm sẽ làm chậm sự phát triển thương mại ở Trung Quốc nhưng có thể không cản trở nghiên cứu quân sự có mục tiêu.

📌 Mặc dù Mỹ đã nỗ lực kiểm soát xuất khẩu chip AI sang Trung Quốc, một thị trường ngầm sôi động vẫn tồn tại. Các công ty bình phong và buôn lậu đang giúp Trung Quốc tiếp cận công nghệ bị cấm, với các giao dịch lên tới hàng trăm triệu USD. Điều này có thể làm chậm sự phát triển thương mại nhưng khó ngăn cản hoàn toàn nghiên cứu quân sự của Trung Quốc.

 

https://www.nytimes.com/2024/08/04/technology/china-ai-microchips.html

Lộ giao dịch chip AI trị giá hơn 100 triệu USD tại Trung Quốc bất chấp lệnh cấm của Mỹ

• Một cuộc điều tra của New York Times đã phát hiện ra việc buôn bán chip AI tiên tiến vẫn đang diễn ra tại Trung Quốc, bất chấp các hạn chế xuất khẩu của Mỹ. Báo cáo cho thấy có hàng chục nhà cung cấp ở Thâm Quyến đang thực hiện các giao dịch trị giá hơn 100 triệu USD, chủ yếu là chip của Nvidia.

• Một thương nhân đã cung cấp bằng chứng về một lô hàng gồm hơn 2.000 chip tiên tiến nhất của Nvidia, trị giá 103 triệu USD, được vận chuyển từ Hong Kong vào Trung Quốc đại lục vào tháng 4. Nhiều thương nhân cho biết khách hàng thường đặt hàng 200 đến 300 chip mỗi lần.

• Mặc dù số lượng chính xác không rõ ràng, nhưng các giao dịch được báo cáo với New York Times lớn hơn nhiều so với những gì được biết trước đây. Nvidia và các công ty Mỹ khác nói rằng họ tuân thủ các quy định xuất khẩu nhưng không thể kiểm soát toàn bộ chuỗi phân phối của mình.

Cuộc điều tra phát hiện hơn một chục tổ chức nhà nước Trung Quốc, bao gồm cả những tổ chức có liên hệ với quân đội, cũng đã mua các chip bị cấm. Những chip này được sử dụng cho nghiên cứu về vũ khí hạt nhân, ngư lôi và máy bay chiến đấu tàng hình của Trung Quốc.

Nvidia vẫn tiếp tục bán hợp pháp các chip AI ít mạnh mẽ hơn cho các công ty Trung Quốc, bao gồm 24 đối tác có liên hệ với quân đội.

• Các công ty đang tìm cách vượt qua các hạn chế thông qua các quan hệ đối tác mới và các công ty con ở nước ngoài. Ví dụ, sau các lệnh trừng phạt của Mỹ, các nhà quản lý từ Sugon đã thành lập Nettrix, hiện là một trong những nhà sản xuất máy chủ AI lớn nhất của Trung Quốc. Nvidia, Intel và Microsoft đều làm việc với công ty này và nói rằng họ tuân thủ pháp luật.

• Bộ trưởng Thương mại Gina Raimondo nói với New York Times: "Đây là một công việc cực kỳ khó khăn, và tôi không ảo tưởng rằng chúng tôi đang làm nó một cách hoàn hảo."

• Mỹ đã đưa ra các hạn chế xuất khẩu vào tháng 9 năm 2022 nhằm ngăn chặn Trung Quốc, Nga và Iran có được các chip AI tiên tiến có thể tạo ra những bước đột phá, đặc biệt là cho mục đích quân sự. Mỹ cũng hạn chế xuất khẩu sang một số quốc gia Trung Đông để ngăn chặn việc tiếp cận thông qua các nước thứ ba.

• Kể từ khi quy định được đưa ra, nó đã được điều chỉnh nhiều lần để theo kịp các phát triển kỹ thuật mới. Các nhà sản xuất chip của Mỹ cũng bị cấm xây dựng các nhà máy chip ở Trung Quốc.

• Cuộc đua AI giữa Mỹ và Trung Quốc có thể đang nóng lên: Mỹ được cho là đang xem xét cấm các mô hình AI. OpenAI gần đây đã hạn chế quyền truy cập vào giao diện lập trình của mình từ Trung Quốc và các quốc gia khác. CEO OpenAI Sam Altman gần đây đã cảnh báo về những rủi ro của các mô hình AI tiên tiến trong tay các chế độ độc tài.

📌 Cuộc điều tra của New York Times tiết lộ việc buôn bán chip AI trị giá hơn 100 triệu USD tại Trung Quốc bất chấp lệnh cấm của Mỹ. Hơn một chục tổ chức nhà nước Trung Quốc đã mua chip bị cấm cho nghiên cứu quân sự. Các công ty đang tìm cách vượt qua hạn chế thông qua đối tác mới và công ty con nước ngoài.

https://the-decoder.com/banned-nvidia-ai-chips-worth-over-100-million-shipped-to-china-despite-us-export-restrictions/

Thị trường ngầm chip AI cấm tại Trung Quốc trị giá hàng trăm triệu đô

• Cuộc điều tra của New York Times phát hiện một thị trường ngầm sôi động về chip AI bị cấm tại Trung Quốc, bất chấp lệnh cấm của Mỹ vì lý do an ninh quốc gia.

• Phóng viên đã phỏng vấn đại diện của 11 công ty Trung Quốc thừa nhận bán hoặc vận chuyển chip Nvidia bị cấm, và tìm thấy hàng chục doanh nghiệp khác chào bán trực tuyến.

• Tại một khu chợ điện tử ở Thâm Quyến, nhiều nhà cung cấp báo cáo các giao dịch lên tới hàng trăm hoặc hàng nghìn chip, bao gồm một thương vụ trị giá 103 triệu USD.

• Hơn một chục tổ chức nhà nước Trung Quốc đã mua chip bị hạn chế, trong đó có các đơn vị bị trừng phạt vì hiện đại hóa quân đội.

• Các công ty trên toàn cầu đã tìm cách lách luật bằng cách chuyển hướng kinh doanh thông qua các đối tác và công ty con ở nước ngoài mới.

• Một số doanh nghiệp đã tránh được danh sách hạn chế bằng cách thành lập công ty mới hoặc chỉ đơn giản là thay đổi địa chỉ đăng ký.

• Điều tra phát hiện một trường hợp các giám đốc Trung Quốc thành lập công ty mới để vượt qua hạn chế của Mỹ, nay trở thành một trong những nhà sản xuất máy chủ AI lớn nhất Trung Quốc.

• Chip của Mỹ đã được sử dụng trong các hệ thống siêu máy tính giúp các nhà nghiên cứu Trung Quốc mô hình hóa vũ khí hạt nhân, ngư lôi và phân tích chữ ký radar của máy bay tàng hình.

• Nvidia vẫn hợp pháp bán chip ít mạnh hơn cho các công ty Trung Quốc, một số có liên kết quân sự.

Trong số 136 đối tác Trung Quốc của Nvidia, ít nhất 24 công ty có hợp đồng mua sắm với quân đội hoặc thuộc sở hữu một phần của các nhà thầu quốc phòng.

📌 Cuộc điều tra của New York Times cho thấy một thị trường ngầm chip AI bị cấm trị giá hàng trăm triệu USD tại Trung Quốc, với sự tham gia của nhiều công ty và tổ chức nhà nước. Chip Mỹ đã được sử dụng trong nghiên cứu quân sự Trung Quốc bất chấp lệnh cấm, cho thấy thách thức trong việc thực thi các hạn chế công nghệ.

https://www.nytimes.com/2024/08/04/technology/china-ai-microchips-takeaways.html

Chip AI trong dòng Blackwell sắp ra mắt của Nvidia sẽ bị trì hoãn do lỗi thiết kế

• Theo báo cáo của The Information, chip AI sắp ra mắt của Nvidia sẽ bị trì hoãn do lỗi thiết kế. Thông tin này được tiết lộ bởi hai nguồn tin giấu tên tham gia sản xuất chip và phần cứng máy chủ của nó.

Các chip có thể bị trì hoãn 3 tháng hoặc hơn, điều này có thể ảnh hưởng đến các khách hàng lớn của Nvidia như Meta Platforms Inc., Google LLC và Microsoft Corp.

• Trong tuần này, Nvidia đã thông báo cho Microsoft về việc trì hoãn ảnh hưởng đến các mẫu chip AI tiên tiến nhất trong dòng Blackwell.

• Việc trì hoãn này đồng nghĩa với việc các lô hàng lớn dự kiến sẽ không được giao cho đến quý 1 năm 2025.

• Một người phát ngôn của Nvidia từ chối bình luận về các tuyên bố với khách hàng về sự chậm trễ, nhưng nói với The Information rằng "sản xuất đang đúng tiến độ để tăng tốc" vào cuối năm nay.

• Microsoft, Google, Amazon Web Services và Meta đều từ chối bình luận về thông tin này khi được The Information liên hệ.

• Người phát ngôn của TSMC không phản hồi yêu cầu bình luận.

• Thông tin này được công bố vào ngày 3 tháng 8 năm 2024, lúc 3:37 sáng theo giờ UTC.

• Trước đó, Elliott Management đã tuyên bố Nvidia đang trong một "bong bóng" và AI đang bị "thổi phồng quá mức", theo báo cáo của Financial Times.

• Việc trì hoãn này có thể gây ra tác động đáng kể đến thị trường chip AI, vốn đang phát triển nhanh chóng và cạnh tranh gay gắt.

• Dòng chip Blackwell được kỳ vọng sẽ là bước tiến quan trọng tiếp theo trong công nghệ AI của Nvidia, sau thành công của dòng H100 hiện tại.

• Sự chậm trễ này có thể tạo cơ hội cho các đối thủ cạnh tranh như AMD và Intel trong việc thu hẹp khoảng cách với Nvidia trong lĩnh vực chip AI.

📌 Nvidia gặp trở ngại lớn khi chip AI mới bị trì hoãn đến Q1 2025 do lỗi thiết kế. Điều này ảnh hưởng đến các khách hàng lớn như Microsoft, Meta và Google, đồng thời có thể tác động đến vị thế dẫn đầu của Nvidia trong thị trường chip AI đang phát triển nhanh chóng.

https://www.bloomberg.com/news/articles/2024-08-03/nvidia-s-new-ai-chip-delayed-due-to-design-flaws-information

Cuộc gọi từ IBM đã khơi dậy tham vọng chip của Nhật Bản như thế nào?

• Rapidus, startup Nhật Bản, chuẩn bị bắt đầu sản xuất thử nghiệm chip 2nm tiên tiến nhất của nước này vào tháng 4/2024.

• Dự án bắt đầu từ cuộc gọi của John E. Kelly III của IBM tới Tetsuro Higashi, cựu chủ tịch Tokyo Electron vào năm 2020. IBM muốn sản xuất hàng loạt chip 2nm mới thiết kế tại Nhật Bản.

• Nhật Bản không phải lựa chọn hiển nhiên vì ngành công nghiệp chip đã bị vượt qua bởi TSMC và Samsung. Chip tiên tiến nhất của Nhật lúc đó là 40nm.

• IBM có thể muốn đa dạng hóa nguồn cung ứng công nghệ, không phụ thuộc vào một nhà cung cấp. Samsung và TSMC đã từ chối hợp tác với IBM về chip 2nm.

Chính phủ Nhật cam kết hỗ trợ Rapidus tới 920 tỷ yên (6 tỷ USD), chủ yếu cho R&D. 

• Nhà máy đầu tiên của Rapidus đang được xây dựng ở Hokkaido, dự kiến sản xuất hàng loạt vào năm 2027.

• Một số chuyên gia hoài nghi về dự án, cho rằng công nghệ sẽ chậm 2 năm so với đối thủ toàn cầu khi bắt đầu sản xuất năm 2027.

• Rapidus nhắm tới các startup chip AI làm khách hàng ban đầu, những công ty có thể gặp khó khăn khi đặt hàng từ TSMC.

• Công ty hứa hẹn thời gian phản hồi nhà máy nhanh hơn và sẵn sàng sản xuất lô nhỏ chip chuyên biệt.

• Rapidus đặt mục tiêu doanh số hơn 1 nghìn tỷ yên vào năm 2030, sớm hơn so với kế hoạch ban đầu là năm 2040.

IBM sẽ mời khoảng 200 kỹ sư của Rapidus tới trung tâm nghiên cứu ở Albany, New York để học công nghệ sản xuất hàng loạt chip 2nm.

📌 Rapidus đang đặt cược vào thị trường chip AI chuyên dụng, với mục tiêu trở thành nhà cung cấp toàn diện cho các startup. Dù đối mặt với nhiều thách thức, dự án này đánh dấu nỗ lực của Nhật Bản nhằm khôi phục vị thế trong ngành công nghiệp bán dẫn toàn cầu.

 

https://asia.nikkei.com/Business/Business-Spotlight/Rapidus-How-a-phone-call-from-IBM-reignited-Japan-s-chip-ambitions

Oracle thách thức các ông lớn đám mây với dàn vũ khí phần cứng AI mới từ Nvidia

• Oracle vừa công bố mở rộng hợp tác với Nvidia, giới thiệu các tùy chọn GPU mới và dịch vụ cơ sở hạ tầng AI trên Oracle Cloud Infrastructure (OCI).

• Trọng tâm của thông báo là việc bổ sung GPU Nvidia L40S vào danh mục sản phẩm tính toán của OCI và các tùy chọn máy ảo mới cho GPU Nvidia H100 Tensor Core.

GPU L40S được định vị là tùy chọn đa năng cho nhiều khối lượng công việc AI, bao gồm suy luận, đào tạo các mô hình nhỏ hơn và các ứng dụng đồ họa chuyên sâu như digital twins.

• Oracle cung cấp các tùy chọn GPU mới này ở cả cấu hình bare metal và máy ảo, mang lại cho khách hàng nhiều lựa chọn hơn trong việc triển khai khối lượng công việc AI.

• Dịch vụ "OCI Supercluster" của Oracle hiện hỗ trợ lên tới 65.000 GPU NVIDIA, nhắm đến các tổ chức đào tạo các mô hình AI lớn nhất với hàng trăm tỷ tham số.

• Động thái này được xem là chiến lược của Oracle nhằm cạnh tranh mạnh mẽ hơn trên thị trường đám mây AI do Amazon Web Services, Microsoft Azure và Google Cloud thống trị.

• Sự hợp tác cũng mang lại lợi ích cho Nvidia, cung cấp một nền tảng đám mây lớn khác để giới thiệu công nghệ GPU mới nhất và mở rộng tầm ảnh hưởng trên thị trường doanh nghiệp.

• Đối với doanh nghiệp, những tùy chọn mới này mang đến cơ hội để tối ưu hóa đầu tư cơ sở hạ tầng AI, tiềm năng giảm rào cản gia nhập cho các tổ chức nhỏ hơn đồng thời cung cấp quy mô cần thiết cho các khối lượng công việc AI đòi hỏi cao nhất.

• Oracle đặt mục tiêu phục vụ mọi loại khách hàng, từ các công ty công nghệ lớn lưu trữ các mô hình khổng lồ đến các nhóm kỹ thuật nhỏ làm việc trên các ứng dụng chuyên biệt.

Cuộc đua giữa các nhà cung cấp đám mây để cung cấp cơ sở hạ tầng AI mạnh mẽ và linh hoạt nhất đang ngày càng gay gắt, và Oracle đã thể hiện rõ tham vọng AI của mình với thông báo này.

📌 Oracle mở rộng hợp tác với Nvidia, giới thiệu GPU L40S và nâng cấp OCI Supercluster hỗ trợ 65.000 GPU. Động thái này nhằm cạnh tranh với các ông lớn đám mây trong lĩnh vực AI, cung cấp giải pháp linh hoạt cho doanh nghiệp mọi quy mô, từ đào tạo mô hình lớn đến ứng dụng chuyên biệt.

https://venturebeat.com/ai/oracle-challenges-cloud-giants-with-new-nvidia-ai-hardware-offerings/

Meta cần gấp 10 lần sức mạnh tính toán để huấn luyện Llama 4 so với Llama 3

• Mark Zuckerberg tuyên bố Meta sẽ cần gấp 10 lần sức mạnh tính toán để huấn luyện Llama 4 so với Llama 3.

• Zuckerberg muốn xây dựng năng lực trước khi cần thiết hơn là quá muộn, do thời gian chuẩn bị cho các dự án suy luận mới khá dài.

• Meta phát hành Llama 3 với 80 tỷ tham số vào tháng 4/2024. Gần đây họ ra mắt phiên bản nâng cấp Llama 3.1 405B với 405 tỷ tham số, là mô hình nguồn mở lớn nhất của Meta.

• CFO Susan Li cho biết Meta đang cân nhắc các dự án trung tâm dữ liệu và xây dựng năng lực để huấn luyện các mô hình AI trong tương lai.

• Đầu tư này dự kiến sẽ làm tăng chi tiêu vốn của Meta trong năm 2025.

• Chi tiêu vốn của Meta đã tăng gần 33% lên 8,5 tỷ USD trong Q2 2024, từ 6,4 tỷ USD một năm trước, chủ yếu do đầu tư vào máy chủ, trung tâm dữ liệu và cơ sở hạ tầng mạng.

• Theo báo cáo của The Information, OpenAI chi 3 tỷ USD để huấn luyện mô hình và thêm 4 tỷ USD để thuê máy chủ với giá ưu đãi từ Microsoft.

• Meta đang xây dựng cơ sở hạ tầng linh hoạt để có thể chuyển hướng năng lực huấn luyện sang suy luận AI tạo sinh hoặc công việc xếp hạng và đề xuất cốt lõi khi cần thiết.

Ấn Độ là thị trường lớn nhất của chatbot Meta AI.

• Meta không kỳ vọng các sản phẩm AI tạo sinh sẽ đóng góp đáng kể vào doanh thu trong thời gian tới.

📌 Meta cần gấp 10 lần sức mạnh tính toán để huấn luyện Llama 4 so với Llama 3. Zuckerberg muốn đầu tư sớm vào năng lực AI. Chi tiêu vốn Q2/2024 tăng 33% lên 8,5 tỷ USD. Ấn Độ là thị trường lớn nhất của Meta AI.

https://techcrunch.com/2024/08/01/zuckerberg-says-meta-will-need-10x-more-computing-power-to-train-llama-4-than-llama-3/

AMD chuyển mình thành công ty chip AI, doanh số GPU AI tăng vọt

• AMD vừa công bố kết quả kinh doanh quý 2/2024, với gần một nửa doanh số đến từ mảng sản phẩm trung tâm dữ liệu.

• Mảng kinh doanh trung tâm dữ liệu của AMD đã tăng gấp đôi trong một năm, chủ yếu nhờ chip AI Instinct MI300 cạnh tranh với H100 của Nvidia.

• Doanh số MI300 đạt hơn 1 tỷ USD trong một quý, tăng từ mốc 1 tỷ USD tích lũy kể từ khi ra mắt vào tháng 12/2023.

• AMD đang theo đuổi chiến lược tương tự Nvidia, tập trung vào phát triển chip AI mới hàng năm. Công ty dự kiến ra mắt MI325X vào Q4/2024, MI350 năm 2025 và MI400 năm 2026.

CEO Lisa Su cho biết MI350 sẽ "rất cạnh tranh" với chip Blackwell của Nvidia.

• Nguồn cung MI300 vẫn sẽ khan hiếm đến năm 2025 do nhu cầu cao.

Doanh thu mảng trung tâm dữ liệu của AMD (2,8 tỷ USD/quý) vẫn còn nhỏ so với Nvidia (22,6 tỷ USD/quý).

• Mảng CPU và GPU cho máy tính cá nhân của AMD tăng trưởng trong quý vừa qua. Doanh số Ryzen tăng 49% so với cùng kỳ năm trước.

• Doanh số GPU Radeon 6000 tăng so với năm trước, bất chấp doanh thu gaming giảm 59% do sụt giảm bán PlayStation và Xbox.

• AMD xác nhận hơn 100 nền tảng sẽ trang bị chip Ryzen AI 300 "Strix Point", bao gồm các sản phẩm từ Asus, HP, MSI, Acer và Lenovo.

📌 AMD đang chuyển mình thành công ty chip AI, với doanh số GPU AI tăng vọt lên 1 tỷ USD/quý. Mảng trung tâm dữ liệu tăng trưởng 115%, chiếm gần 50% doanh thu. AMD đặt mục tiêu ra mắt chip AI mới hàng năm để cạnh tranh với Nvidia.

https://www.theverge.com/2024/7/30/24209938/amd-q2-2024-earnings-datacenter-ai-revenue

Cổ phiếu Microsoft giảm 6% sau công bố kết quả quý 4 không đạt kỳ vọng doanh thu đám mây, gây thất vọng về tiềm năng AI

• Microsoft công bố kết quả tài chính quý 4, vượt kỳ vọng về doanh thu và lợi nhuận trên mỗi cổ phiếu (EPS), nhưng không đạt kỳ vọng về doanh thu đám mây.

• EPS đạt 2,95 USD trên doanh thu 64,7 tỷ USD, so với dự báo 2,94 USD và 64,5 tỷ USD. Cùng kỳ năm ngoái, EPS là 2,69 USD và doanh thu 56,2 tỷ USD.

• Doanh thu đám mây tổng thể đạt 36,8 tỷ USD, đúng kỳ vọng. Tuy nhiên, doanh thu mảng Intelligent Cloud (bao gồm Azure) chỉ đạt 28,5 tỷ USD, thấp hơn dự báo 28,7 tỷ USD.

• Cổ phiếu Microsoft giảm hơn 7% trong phiên giao dịch sau giờ.

• Dù vậy, doanh thu tổng thể vẫn tăng 21% so với cùng kỳ năm trước. Doanh thu Intelligent Cloud tăng 19%.

• Microsoft cho biết các dịch vụ AI đóng góp 8 điểm phần trăm vào tăng trưởng doanh thu Azure và các dịch vụ đám mây khác, tăng 29%.

• Kết quả của Microsoft cũng kéo theo cổ phiếu các công ty công nghệ lớn khác giảm, như Meta giảm hơn 3% sau giờ giao dịch chính.

• Tuần trước, Alphabet (công ty mẹ của Google) cũng công bố kết quả kinh doanh, cho thấy doanh thu đám mây tăng một phần nhờ sự quan tâm đến các sản phẩm AI.

• Tuy nhiên, Google không đưa ra con số cụ thể về tác động của AI đến mảng đám mây. Một số nhà phân tích dự đoán lợi ích doanh thu từ đầu tư AI của Google có thể chưa xuất hiện đến nửa đầu năm 2025.

• Theo nhà phân tích Karl Keirstead của UBS, Microsoft đang giành thêm thị phần từ Google và Amazon nhờ dẫn đầu trong lĩnh vực AI.

📌 Microsoft công bố kết quả tài chính quý 4 không đạt kỳ vọng về doanh thu đám mây, khiến cổ phiếu giảm hơn 6%. Dù doanh thu tổng thể tăng 21%, kết quả này gây thất vọng về tiềm năng AI và ảnh hưởng đến cổ phiếu các công ty công nghệ lớn khác. Microsoft đang giành thêm thị phần nhờ dẫn đầu trong AI.

https://finance.yahoo.com/news/microsoft-stock-drops-over-6-after-results-fall-short-in-latest-ai-disappointment-201321390.html

EU khởi động sáng kiến "Nhà máy AI" nhằm cạnh tranh toàn cầu

• Cơ quan siêu máy tính châu Âu EuroHPC JU chính thức bổ sung mục tiêu phát triển và vận hành "Nhà máy AI" vào chiến lược của mình, nhằm thúc đẩy hệ sinh thái AI cạnh tranh và đổi mới hơn ở châu Âu.

• Quyết định này được đưa ra sau khi Quy định EU 2024/1732 có hiệu lực, mở rộng nhiệm vụ của EuroHPC JU trong việc mua sắm và vận hành các siêu máy tính tối ưu hóa cho AI.

"Nhà máy AI" được coi là hệ sinh thái năng động, tập hợp các yếu tố cần thiết như sức mạnh tính toán, dữ liệu và nhân tài để tạo ra các mô hình AI tạo sinh tiên tiến.

• Mục tiêu cuối cùng là các Nhà máy AI sẽ trở thành trung tâm thúc đẩy tiến bộ AI trong nhiều lĩnh vực quan trọng như y tế, năng lượng, sản xuất và khí tượng học.

• EuroHPC JU sẽ triển khai cách tiếp cận hai hướng từ tháng 9:
  - Kêu gọi thỏa thuận lưu trữ mới để mua sắm siêu máy tính AI mới hoặc nâng cấp siêu máy tính hiện có
  - Dành cho các đơn vị đã lưu trữ siêu máy tính EuroHPC có khả năng đào tạo mô hình AI quy mô lớn

• Ngân sách dự kiến:
  - 400 triệu euro cho năm 2024
  - Lên đến 800 triệu euro đến năm 2027, tùy thuộc vào ngân sách từ chương trình Châu Âu Kỹ thuật số

Nvidia cũng đang thúc đẩy khái niệm "Nhà máy AI":
  - CEO Jensen Huang mô tả đây là các trung tâm dữ liệu được xây dựng đặc biệt để xử lý các tác vụ AI đòi hỏi tính toán cao nhất
  - Huang cho rằng "Nhà máy AI sẽ trở thành nền tảng của nền kinh tế hiện đại trên toàn thế giới"

• Sáng kiến này nhằm tạo ra một cửa hàng một cửa cho các startup, doanh nghiệp vừa và nhỏ, và người dùng khoa học để dễ dàng tiếp cận dịch vụ cũng như phát triển kỹ năng và hỗ trợ.

• Các khoản tài trợ sẽ được cung cấp để trang trải chi phí vận hành siêu máy tính và hỗ trợ các hoạt động và dịch vụ của Nhà máy AI.

📌 EU đầu tư 400 triệu euro vào năm 2024 để phát triển "Nhà máy AI", nhằm cạnh tranh toàn cầu trong lĩnh vực AI. Sáng kiến này tập trung vào việc xây dựng siêu máy tính AI và hỗ trợ startup, doanh nghiệp vừa và nhỏ tiếp cận công nghệ AI tiên tiến, với mục tiêu thúc đẩy đổi mới sáng tạo trong nhiều lĩnh vực quan trọng.

https://www.theregister.com/2024/07/30/europe_ai_factories/

AI tạo sinh bùng nổ sẽ thúc đẩy công suất DC khu vực APAC tăng gấp đôi vào năm 2028, đạt 24.800MW

• Theo Moody's, công suất trung tâm dữ liệu ở khu vực Châu Á - Thái Bình Dương (APAC) dự kiến sẽ tăng gấp đôi trong 5 năm tới, từ 10.500MW hiện tại lên 24.800MW vào năm 2028, với tốc độ tăng trưởng kép hàng năm gần 20%.

• APAC được dự báo sẽ chiếm khoảng 30% tổng công suất mở rộng toàn cầu trong 5 năm tới, với hơn 564 tỷ USD đầu tư.

Sự bùng nổ đầu tư vào phát triển phần mềm AI tạo sinh ở APAC sẽ thúc đẩy tăng trưởng thị trường trung tâm dữ liệu trong khu vực.

• Theo S&P Global, thị phần doanh thu phần mềm AI tạo sinh của APAC dự kiến sẽ tăng từ 14% hiện tại lên 20% vào năm 2028, trong khi Bắc Mỹ giảm từ 63% xuống 55%.

• Hiện có hơn 4.400MW công suất trung tâm dữ liệu đang được xây dựng ở các thị trường chính của APAC, trong đó khoảng 75% ở Trung Quốc, Nhật Bản, Úc và Ấn Độ.

• Tuy nhiên, sự mở rộng trung tâm dữ liệu ở APAC có thể làm tăng rủi ro chuyển đổi carbon và quản lý nước cho các nhà khai thác và nhà đầu tư.

Hầu hết các quốc gia APAC chủ yếu dựa vào nhiên liệu hóa thạch để phát điện. Trung Quốc, thị trường trung tâm dữ liệu lớn nhất APAC với công suất 3.956MW, phụ thuộc nhiều vào điện than.

• Theo Cơ quan Năng lượng Quốc tế, nhu cầu ngày càng tăng và việc áp dụng AI tạo sinh dự kiến sẽ khiến tiêu thụ điện của trung tâm dữ liệu toàn cầu tăng gấp đôi từ năm 2022 đến 2026.

• Tổ chức phi lợi nhuận China Water Risk cho biết các trung tâm dữ liệu của Trung Quốc tiêu thụ khoảng 1,3 tỷ mét khối nước hàng năm, đủ cho 26 triệu người sử dụng. Con số này có thể đạt hơn 3 tỷ mét khối vào năm 2030.

• Để đáp ứng cam kết khí hậu, các chính phủ APAC đã bắt đầu quản lý tác động môi trường của trung tâm dữ liệu. Trung Quốc vừa công bố kế hoạch hành động về phát triển bền vững trung tâm dữ liệu, đặt mục tiêu cải thiện hiệu quả năng lượng và sử dụng năng lượng tái tạo.

📌 Nhu cầu AI tạo sinh bùng nổ sẽ thúc đẩy công suất trung tâm dữ liệu APAC tăng gấp đôi lên 24.800MW vào năm 2028. Tuy nhiên, việc mở rộng nhanh chóng cũng đặt ra thách thức về tiêu thụ điện và nước, đòi hỏi các giải pháp bền vững hơn trong tương lai.

https://www.scmp.com/business/article/3272205/booming-genai-demand-propel-doubling-asia-pacific-data-centre-capacity-2028

Trung Quốc tìm cách sử dụng siêu máy tính để phát triển mô hình ngôn ngữ lớn (LLM) nhằm vượt qua lệnh cấm vận chip của Mỹ

• Các chuyên gia cho rằng Trung Quốc cần tìm cách tiếp cận mới để phát triển trí tuệ nhân tạo (AI), thay vì chỉ tăng số lượng bộ xử lý trong trung tâm dữ liệu, do lệnh cấm vận chip của Mỹ.

• Công nghệ siêu máy tính mà Trung Quốc đã phát triển trong thập kỷ qua có thể giúp phá vỡ sự kiểm soát của các hạn chế do Mỹ dẫn đầu đối với ngành AI của Trung Quốc.

• Hệ thống siêu máy tính được thiết kế để huấn luyện mô hình ngôn ngữ lớn (LLM) - công nghệ nền tảng của các dịch vụ AI tạo sinh như ChatGPT - là rất quan trọng để thay thế các cụm máy tính trung tâm dữ liệu tiêu tốn nhiều năng lượng.

• Nỗ lực của Trung Quốc nhằm thiết lập một nền tảng điện toán tiên tiến khả thi để huấn luyện LLM và phát triển ứng dụng AI cho thấy tính cấp thiết của việc tự chủ về công nghệ.

• Tiến bộ AI của Trung Quốc vẫn bị cản trở do lựa chọn GPU hạn chế giữa các lệnh trừng phạt của Mỹ ngăn cản Nvidia cung cấp chip tiên tiến nhất cho nước này.

• Nvidia đang phát triển phiên bản chip AI mới cho thị trường Trung Quốc phù hợp với các quy định kiểm soát xuất khẩu hiện tại của Mỹ.

• Các chuyên gia cho rằng việc xây dựng LLM không chỉ đơn giản là thêm nhiều chip, mà phải học cách giảm tiêu thụ năng lượng và nâng cao hiệu quả như bộ não con người.

Trung Quốc là thị trường trung tâm dữ liệu lớn nhất khu vực Châu Á - Thái Bình Dương với công suất 3.956 megawatt, phần lớn dựa vào năng lượng than đá.

• Các chuyên gia kêu gọi Trung Quốc tập trung nghiên cứu cơ bản về điện toán thông minh cho LLM, kết hợp với công nghệ tính toán hiệu năng cao (HPC) để đạt được bước đột phá về sức mạnh tính toán.

• Hiện tại, các LLM được phát triển ở Trung Quốc dựa trên mô hình và thuật toán của Mỹ, chưa có đủ cân nhắc về lý thuyết cơ bản.

• Các công ty công nghệ lớn của Trung Quốc như Tencent đang tối ưu hóa cơ sở hạ tầng, bao gồm tăng tốc truyền thông mạng và nâng cao hiệu quả đào tạo AI.

📌 Trung Quốc đang tìm cách sử dụng công nghệ siêu máy tính để phát triển LLM, nhằm vượt qua lệnh cấm chip của Mỹ. Các chuyên gia kêu gọi tập trung vào nghiên cứu cơ bản và kết hợp với HPC để đạt được đột phá. 

https://www.scmp.com/tech/tech-war/article/3272354/tech-war-china-eyes-supercomputers-building-llms-amid-us-sanctions-advanced-chips

CEO của Nvidia, dự đoán tương lai AI sẽ cần 3 máy tính: tạo AI, mô phỏng AI và chạy AI.

• Jensen Huang, CEO của Nvidia, đã có cuộc trò chuyện kéo dài 1 giờ với Wired tại sự kiện Siggraph năm nay về tương lai của AI và các sản phẩm của Nvidia.

Huang dự đoán rằng trong tương lai, hệ thống AI sẽ cần đến 3 máy tính:
  - Một máy để tạo ra AI
  - Một máy để mô phỏng và tinh chỉnh AI  
  - Một máy để chạy AI

• Ông cho rằng thế giới AI đang chuyển từ giai đoạn tiên phong sang "làn sóng doanh nghiệp", và tiếp theo sẽ là "làn sóng vật lý" mà ông mô tả là "thực sự phi thường".

• Huang đề cập đến các sản phẩm của Nvidia phù hợp với 3 máy tính này:
  - Máy chủ DGX H100 để tạo AI
  - Máy tính nhúng Jetson để mô phỏng AI
  - Trạm làm việc và máy chủ sử dụng Omniverse và GPU RTX để chạy AI

• Tuy nhiên, nhiều người cho rằng đây có thể là chiến lược bán hàng của Nvidia, khi hầu hết người dùng và doanh nghiệp không cần đến 3 máy tính phức tạp và đắt đỏ như vậy.

• Siggraph vốn là hội nghị về đồ họa máy tính và công nghệ tương tác, nhưng AI đã trở thành chủ đề chính trong năm nay.

• Huang cũng thừa nhận việc huấn luyện và suy luận AI tiêu tốn rất nhiều năng lượng.

Nvidia hiện đã chuyển hướng tập trung 100% vào AI, không còn chỉ là công ty đồ họa/game như trước đây.

• Tuy nhiên, game thủ PC vẫn được hưởng lợi từ các tiến bộ AI của Nvidia thông qua công nghệ như RTX và DLSS.

• Một số người cho rằng việc liên tục đẩy mạnh AI vào mọi khía cạnh của đời sống máy tính đang trở nên hơi quá mức.

📌 Nvidia dự đoán tương lai AI cần 3 máy tính riêng biệt, nhưng có thể đây là chiến lược bán hàng. Công ty đang chuyển hướng tập trung hoàn toàn vào AI, với các sản phẩm như DGX H100, Jetson và Omniverse. Tuy nhiên, nhiều người cho rằng việc liên tục đẩy mạnh AI đang trở nên quá mức.

https://www.pcgamer.com/software/ai/nvidias-ceo-chats-about-the-future-of-ai-were-going-to-need-three-computers-one-to-create-the-ai-one-to-simulate-the-ai-and-one-to-run-the-ai/

Apple sử dụng chip TPU của Google để huấn luyện mô hình AI, thay vì GPU của Nvidia

• Apple tiết lộ trong một báo cáo kỹ thuật rằng họ đã sử dụng chip Tensor Processing Unit (TPU) của Google để huấn luyện các mô hình AI cho hệ thống Apple Intelligence.

Việc lựa chọn TPU của Google thay vì GPU của Nvidia cho thấy các công ty công nghệ lớn đang tìm kiếm giải pháp thay thế cho Nvidia trong lĩnh vực huấn luyện AI tiên tiến.

• Apple đã thuê các máy chủ đám mây để thực hiện các tính toán huấn luyện AI. Cụ thể, mô hình AFM on-device được huấn luyện trên một "slice" gồm 2.048 chip TPU v5p, trong khi AFM-server được huấn luyện trên 8.192 chip TPU v4.

• TPU v5p là phiên bản TPU tiên tiến nhất của Google, ra mắt vào tháng 12/2023. Chi phí thuê TPU của Google khoảng dưới 2 USD/giờ khi đặt trước 3 năm.

• Nvidia hiện đang thống trị thị trường chip AI cao cấp với GPU của họ. Tuy nhiên, nguồn cung GPU Nvidia khan hiếm do nhu cầu tăng cao từ các công ty như OpenAI, Microsoft, Anthropic.

• Các CEO như Mark Zuckerberg và Sundar Pichai gần đây đã bày tỏ lo ngại về việc đầu tư quá mức vào cơ sở hạ tầng AI, nhưng cho rằng rủi ro kinh doanh khi tụt hậu là quá lớn.

• Apple mới công bố kế hoạch AI của mình muộn hơn so với các đối thủ. Họ vừa giới thiệu hệ thống Apple Intelligence với nhiều tính năng mới như giao diện Siri mới, xử lý ngôn ngữ tự nhiên tốt hơn và tóm tắt bằng AI.

• Trong năm tới, Apple dự định triển khai các chức năng dựa trên AI tạo sinh như tạo hình ảnh, emoji và Siri nâng cao có thể truy cập thông tin cá nhân của người dùng.

• Đây là báo cáo kỹ thuật thứ hai của Apple về hệ thống AI của họ. Báo cáo đầu tiên được công bố vào tháng 6 và cũng đề cập việc sử dụng TPU.

• Apple sẽ công bố kết quả kinh doanh quý vào thứ Năm tuần này.

📌 Apple đã chọn chip TPU của Google thay vì GPU của Nvidia để huấn luyện mô hình AI, sử dụng 2.048 chip TPU v5p cho mô hình on-device và 8.192 chip TPU v4 cho mô hình server. Điều này cho thấy xu hướng tìm kiếm giải pháp thay thế Nvidia trong ngành công nghiệp AI.

https://www.cnbc.com/2024/07/29/apple-says-its-ai-models-were-trained-on-googles-custom-chips-.html

GPU Nvidia H100 gây thảm họa cho Meta: một sự cố mỗi 3 giờ khi huấn luyện LLama 3

• Meta vừa công bố nghiên cứu về quá trình huấn luyện mô hình Llama 3 405B trên cụm máy chứa 16.384 GPU Nvidia H100 80GB.

• Quá trình huấn luyện kéo dài 54 ngày và gặp 419 sự cố linh kiện không mong muốn, trung bình cứ 3 giờ lại có một sự cố.

50% số sự cố là do GPU hoặc bộ nhớ HBM3 trên GPU gây ra.

• Trong 419 sự cố không mong muốn, 148 (30,1%) do các lỗi GPU khác nhau và 72 (17,2%) do lỗi bộ nhớ HBM3.

• GPU Nvidia H100 tiêu thụ khoảng 700W và chịu nhiều áp lực nhiệt, dẫn đến dễ gặp sự cố.

• 41,3% sự cố không mong muốn còn lại do nhiều yếu tố khác như lỗi phần mềm, cáp mạng và bộ chuyển đổi mạng.

• Chỉ có 2 CPU bị hỏng trong 54 ngày huấn luyện.

• Meta đã phát triển các công cụ chẩn đoán riêng và sử dụng PyTorch NCCL flight recorder để nhanh chóng phát hiện và khắc phục sự cố.

• NCCLX đóng vai trò quan trọng trong việc phát hiện và định vị lỗi, đặc biệt là các vấn đề liên quan đến NVLink và RoCE.

• Các công cụ chuyên dụng được sử dụng để xác định GPU chậm trễ, giúp duy trì hiệu quả huấn luyện tổng thể.

• Yếu tố môi trường như biến động nhiệt độ giữa trưa gây ra thay đổi 1-2% về thông lượng.

• Thay đổi đồng thời về mức tiêu thụ điện của hàng chục nghìn GPU tạo áp lực lên lưới điện của trung tâm dữ liệu, đôi khi lên tới hàng chục megawatt.

• Mặc dù gặp nhiều sự cố, nhóm Llama 3 vẫn duy trì thời gian huấn luyện hiệu quả trên 90%.

• So với cụm 16.384 GPU của Meta, cụm 100.000 GPU H100 của xAI có thể gặp sự cố thường xuyên hơn 6 lần.

📌 Meta đối mặt với 419 sự cố trong 54 ngày huấn luyện Llama 3, chủ yếu do GPU H100 và bộ nhớ HBM3. Tuy nhiên, họ vẫn duy trì hiệu suất trên 90% nhờ các công cụ chẩn đoán và tự động hóa tiên tiến. Điều này cho thấy tầm quan trọng của việc quản lý sự cố trong các dự án AI quy mô lớn.

https://www.tomshardware.com/tech-industry/artificial-intelligence/faulty-nvidia-h100-gpus-and-hbm3-memory-caused-half-of-the-failures-during-llama-3-training-one-failure-every-three-hours-for-metas-16384-gpu-training-cluster

Công nghệ CRAM đột phá loại bỏ mô hình von Neumann, giúp AI tiết kiệm năng lượng gấp 1.000 lần

• Các nhà nghiên cứu từ Đại học Minnesota đã phát triển một chip prototype "bộ nhớ truy cập ngẫu nhiên tính toán" (CRAM) có thể giảm nhu cầu năng lượng cho các ứng dụng AI tới 1.000 lần hoặc hơn so với các phương pháp hiện tại.

Trong một mô phỏng, công nghệ CRAM cho thấy khả năng tiết kiệm năng lượng lên tới 2.500 lần.

CRAM hoàn toàn đảo ngược mô hình von Neumann truyền thống bằng cách thực hiện tính toán trực tiếp trong bộ nhớ sử dụng các thiết bị spintronics gọi là magnetic tunnel junctions (MTJs).

• Thay vì dựa vào điện tích để lưu trữ dữ liệu, các thiết bị spintronics tận dụng spin của electron, mang lại giải pháp hiệu quả hơn so với các chip dựa trên transistor truyền thống.

Bằng cách loại bỏ việc truyền dữ liệu tốn nhiều năng lượng giữa logic và bộ nhớ, công nghệ CRAM có thể đóng vai trò quan trọng trong việc giúp AI tiết kiệm năng lượng hơn rất nhiều.

• Cơ quan Năng lượng Quốc tế dự báo vào tháng 3 rằng mức tiêu thụ điện toàn cầu cho đào tạo và ứng dụng AI có thể tăng hơn gấp đôi từ 460 terawatt-giờ năm 2022 lên hơn 1.000 terawatt-giờ vào năm 2026 - gần bằng mức tiêu thụ của toàn bộ Nhật Bản.

Nền tảng của đột phá này đã được phát triển trong hơn 20 năm, bắt đầu từ công trình tiên phong của giáo sư kỹ thuật Jian-Ping Wang về việc sử dụng các nanodevice MTJ cho mục đích tính toán.

• Giáo sư Wang thừa nhận rằng các đề xuất ban đầu của họ về việc loại bỏ mô hình von Neumann đã bị coi là "điên rồ" cách đây hai thập kỷ.

• Nhóm nghiên cứu Minnesota đã kiên trì phát triển dựa trên nghiên cứu MTJ được cấp bằng sáng chế của Wang, cho phép sử dụng RAM từ tính (MRAM) hiện đang được sử dụng trong đồng hồ thông minh và các hệ thống nhúng khác.

Các nhà nghiên cứu vẫn cần giải quyết những thách thức về khả năng mở rộng, sản xuất và tích hợp với silicon hiện có.

• Họ đang lên kế hoạch hợp tác demo với các công ty hàng đầu trong ngành bán dẫn để giúp CRAM trở thành hiện thực thương mại.

📌 Công nghệ CRAM đột phá từ Đại học Minnesota có thể giảm nhu cầu năng lượng cho AI tới 1.000 lần bằng cách tính toán trực tiếp trong bộ nhớ. Dự kiến tiêu thụ điện toàn cầu cho AI sẽ tăng từ 460 lên 1.000 terawatt-giờ vào năm 2026, công nghệ này hứa hẹn mang lại giải pháp tiết kiệm năng lượng đáng kể.

https://www.techspot.com/news/104005-breakthrough-cram-technology-ditches-von-neumann-model-makes.html

OpenAI đang đàm phán với Broadcom - gã khổng lồ chip trị giá 700 tỷ USD để sản xuất chip có khả năng cạnh tranh với Nvidia

• OpenAI đang đàm phán với Broadcom và một số nhà thiết kế chip khác để phát triển chip AI mới nhằm cạnh tranh với Nvidia.

• Broadcom là công ty thiết kế, phát triển và cung cấp các giải pháp bán dẫn và phần mềm cơ sở hạ tầng, với các sản phẩm được sử dụng trong mạng trung tâm dữ liệu, kết nối gia đình, truy cập băng thông rộng, thiết bị viễn thông, điện thoại thông minh và trạm gốc.

• Hiện Broadcom được xếp hạng là công ty có giá trị lớn thứ 13 trên thế giới, vượt qua các gã khổng lồ công nghệ nổi tiếng hơn như Samsung, AMD, Intel, Arm, IBM và Qualcomm.

• Nvidia gần đây đã trở thành công ty có giá trị lớn thứ 3 trên thế giới, vượt qua Alphabet và Amazon. Vào tháng 6, Nvidia thậm chí còn vượt qua cả Microsoft và Apple trong một thời gian ngắn.

Microsoft và OpenAI được cho là đang lên kế hoạch cho một dự án trung tâm dữ liệu bao gồm một siêu máy tính AI có tên "Stargate", có thể được trang bị chip của AMD.

• Chưa rõ cuộc đàm phán giữa OpenAI với Broadcom và các đối tác khác có liên quan đến dự án Stargate hay không.

• The Information cho rằng bất kỳ kết quả nào từ những cuộc đàm phán này cũng khó có thể cạnh tranh với sản phẩm hiện tại của Nvidia, do cần nhiều năm nghiên cứu phát triển và đầu tư tài chính.

• OpenAI được cho là đã thuê các cựu nhân viên của Google có kinh nghiệm phát triển bộ xử lý Tensor, cho thấy công ty rất nghiêm túc trong việc phát triển phần cứng riêng.

Các công ty công nghệ lớn đều muốn tham gia vào lĩnh vực AI nhưng không muốn phụ thuộc vào Nvidia, vì vậy nhiều công ty đang tìm kiếm các giải pháp thay thế.

• Broadcom chuyên về thiết kế, phát triển và cung cấp các giải pháp bán dẫn và phần mềm cơ sở hạ tầng, với sản phẩm được sử dụng rộng rãi trong nhiều lĩnh vực công nghệ.

📌 OpenAI đang đàm phán với Broadcom - công ty chip trị giá 700 tỷ USD lớn hơn cả Intel, AMD, Arm và Qualcomm cộng lại - để phát triển chip AI cạnh tranh với Nvidia. Dù khó vượt qua Nvidia ngay lập tức, động thái này cho thấy tham vọng của OpenAI trong việc giảm phụ thuộc vào các nhà cung cấp chip AI hiện tại.

https://www.techradar.com/pro/openai-is-talking-to-dollar700-billion-chip-giant-youve-never-heard-of-to-produce-chip-capable-of-rivaling-nvidia-broadcom-is-bigger-than-intel-amd-arm-and-qualcomm-together

Nvidia Blackwell: Máy chủ AI siêu mạnh với giá lên tới 3 triệu USD

• Nvidia dự kiến ra mắt nền tảng Blackwell với các máy chủ AI có giá từ 2-3 triệu USD mỗi tủ.

• Morgan Stanley ước tính Nvidia sẽ xuất xưởng 60.000-70.000 tủ máy chủ B200 trong năm 2025, mang lại doanh thu ít nhất 210 tỷ USD.

• Theo các nhà phân tích HSBC, hệ thống máy chủ GB200 NVL36 của Nvidia sẽ có giá 1,8 triệu USD, trong khi NVL72 sẽ là 3 triệu USD.

• GB200 Superchip kết hợp CPU và GPU dự kiến có giá 60.000-70.000 USD mỗi chip.

• CEO Jensen Huang tiết lộ một GPU Blackwell sẽ có giá từ 30.000-40.000 USD.

Nvidia đã đầu tư khoảng 10 tỷ USD để phát triển nền tảng Blackwell, với sự tham gia của khoảng 25.000 người.

• B200 có 208 tỷ bóng bán dẫn, cung cấp tới 20 petaflops sức mạnh tính toán FP4.

• Chỉ cần 2.000 GPU Blackwell để huấn luyện mô hình 1,8 nghìn tỷ tham số, tiêu thụ 4 megawatt điện, so với 8.000 GPU Hopper tiêu thụ 15 megawatt cho cùng một tác vụ.

GB200 Superchip mạnh gấp 30 lần GPU H100 cho các tác vụ suy luận mô hình ngôn ngữ lớn.

• Do nhu cầu cao, Nvidia đang tăng đơn đặt hàng với TSMC lên khoảng 25%.

• Blackwell được thiết kế để cung cấp sức mạnh cho nhiều ứng dụng thế hệ tiếp theo như robot, xe tự lái, mô phỏng kỹ thuật và các sản phẩm chăm sóc sức khỏe.

• Dự kiến Blackwell sẽ trở thành tiêu chuẩn de facto cho huấn luyện AI và nhiều tác vụ suy luận.

• Nhà phân tích David Cahn của Sequoia Capital ước tính doanh thu AI hàng năm cần thiết để bù đắp các khoản đầu tư đã tăng lên 600 tỷ USD.

• Mặc dù chi phí rất cao, nhu cầu về các máy chủ AI mạnh mẽ này vẫn rất lớn từ các công ty công nghệ.

📌 Nvidia dẫn đầu cuộc đua AI với nền tảng Blackwell, dự kiến mang lại 210 tỷ USD doanh thu năm 2025. Máy chủ GB200 NVL72 giá 3 triệu USD, mạnh gấp 30 lần H100, tiết kiệm 73% điện năng khi huấn luyện mô hình 1,8 nghìn tỷ tham số.

https://www.techspot.com/news/103994-nvidia-blackwell-server-cabinets-could-cost-somewhere-around.html

Accenture và Nvidia hợp tác phát triển AI Refinery - khung làm việc tùy chỉnh mô hình ngôn ngữ lớn Llama 3.1

• Accenture vừa công bố khung làm việc AI Refinery được phát triển trên nền tảng Nvidia AI Foundry. Giải pháp này cho phép khách hàng xây dựng các mô hình ngôn ngữ lớn tùy chỉnh sử dụng mô hình Llama 3.1.

AI Refinery giúp doanh nghiệp tinh chỉnh và cá nhân hóa các mô hình với dữ liệu và quy trình riêng, tạo ra các giải pháp AI tạo sinh chuyên biệt cho từng lĩnh vực.

• Nền tảng Nvidia AI Foundry cung cấp cơ sở hạ tầng toàn diện để phát triển và triển khai các mô hình AI tùy chỉnh, bao gồm:
  - Các mô hình nền tảng từ Nvidia và cộng đồng
  - Tài nguyên tính toán DGX Cloud có khả năng mở rộng 
  - Hỗ trợ chuyên gia từ Nvidia AI Enterprise
  - Hệ sinh thái đối tác như Accenture

AI Refinery Framework của Accenture bao gồm 4 yếu tố chính:
  - Tùy chỉnh và đào tạo mô hình theo lĩnh vực
  - Nền tảng Switchboard để lựa chọn và kết hợp các mô hình
  - Enterprise Cognitive Brain để quét và vector hóa dữ liệu doanh nghiệp
  - Kiến trúc agent để hỗ trợ hoạt động AI tự chủ

• Nhiều công ty lớn như Amdocs, Capital One và ServiceNow đã áp dụng AI Foundry vào quy trình làm việc, giúp tạo lợi thế cạnh tranh.

• Nvidia NIM (Nvidia Inference Microservices) cung cấp các lợi thế độc đáo như:
  - Mô hình và container tùy chỉnh truy cập qua API tiêu chuẩn
  - Chạy trên bất kỳ GPU Nvidia nào trong hơn 100 triệu GPU đã cài đặt
  - Hỗ trợ các phiên bản Llama 3.1 khác nhau (8B, 70B, 405B)

• Julie Sweet, CEO của Accenture nhấn mạnh tiềm năng chuyển đổi của AI tạo sinh trong việc tái cấu trúc doanh nghiệp.

• Jensen Huang, CEO của Nvidia cho biết AI Refinery của Accenture sẽ cung cấp chuyên môn và nguồn lực cần thiết để giúp doanh nghiệp tạo ra các mô hình Llama tùy chỉnh.

📌 Accenture và Nvidia hợp tác phát triển AI Refinery trên nền tảng AI Foundry, cho phép doanh nghiệp tùy chỉnh mô hình Llama 3.1 theo nhu cầu riêng. Giải pháp này hứa hẹn thúc đẩy ứng dụng AI tạo sinh trong doanh nghiệp, tạo ra các hệ thống AI chuyên biệt và hiệu quả.

https://siliconangle.com/2024/07/25/nvidia-works-accenture-pioneer-custom-llama-large-language-models/

Ngành chip đang bị kẹt giữa cuộc chiến AI và địa chính trị

• Ngành công nghiệp bán dẫn đang phải đối mặt với 2 lực đẩy trái chiều: nhu cầu tăng cao từ AI và rủi ro địa chính trị ngày càng lớn.

• ASML, nhà sản xuất thiết bị sản xuất chip hàng đầu của Hà Lan, đang ở tâm điểm của tình thế khó khăn này. Kết quả quý 2 của công ty rất tích cực với doanh số thiết bị đạt 4,8 tỷ euro, trong đó gần một nửa đến từ Trung Quốc. Đơn đặt hàng đạt 5,6 tỷ euro, vượt kỳ vọng của các nhà phân tích.

• Tuy nhiên, cổ phiếu ASML đã giảm hơn 10% vào ngày 24/7 do lo ngại Mỹ có thể áp đặt các hạn chế mới đối với việc bán thiết bị bán dẫn cho Trung Quốc. Điều này cũng kéo theo sự sụt giảm của các cổ phiếu khác trong ngành như Tokyo Electron (-7%) và TSMC (-2%).

• Hiện ASML đã bị cấm xuất khẩu thiết bị tiên tiến nhất sang Trung Quốc, nhưng nước này vẫn chiếm tỷ trọng lớn trong doanh số của công ty. Tỷ lệ này dự kiến sẽ giảm khi nhu cầu ở các khu vực khác tăng lên.

• Mặc dù vậy, triển vọng dài hạn của ASML vẫn tích cực. Công ty dự kiến doanh thu sẽ tăng gấp đôi lên 60 tỷ euro vào năm 2030, chủ yếu nhờ vào các máy lithography tiên tiến không bán cho Trung Quốc.

Các nhà sản xuất thiết bị ít tiên tiến hơn như Infineon và STMicroelectronics có thể bị ảnh hưởng nhiều hơn do phải đối mặt với sự cạnh tranh gay gắt hơn từ các nhà sản xuất nội địa Trung Quốc.

• Căng thẳng thương mại Mỹ-Trung đang tạo ra những thách thức lớn cho toàn bộ chuỗi cung ứng chip toàn cầu, không chỉ riêng các nhà sản xuất thiết bị cao cấp.

• Bất chấp những lo ngại về địa chính trị, nhu cầu chip vẫn được dự báo sẽ tăng mạnh trong những năm tới nhờ sự phát triển của AI, tự động hóa và số hóa.

• Các nhà đầu tư cần cân nhắc cả yếu tố tăng trưởng dài hạn và rủi ro địa chính trị khi đánh giá triển vọng của ngành bán dẫn.

📌 Ngành chip đang phải cân bằng giữa tiềm năng tăng trưởng từ AI và rủi ro địa chính trị. ASML dự kiến tăng doanh thu lên 60 tỷ euro vào 2030 nhưng đối mặt với nguy cơ hạn chế xuất khẩu sang Trung Quốc. Toàn bộ chuỗi cung ứng chip toàn cầu đang chịu áp lực từ căng thẳng thương mại Mỹ-Trung.

https://www.ft.com/content/a613d44c-6ea4-4689-a125-c4f1861bc22e

#FT

Supermicro bùng nổ doanh thu nhờ giải pháp làm mát bằng chất lỏng cho AI, tiết kiệm 40% năng lượng

• Supermicro, công ty chuyên về cơ sở hạ tầng AI, đã chứng kiến sự tăng trưởng đáng kinh ngạc với doanh thu tăng 200% so với cùng kỳ năm ngoái trong quý tài chính thứ ba.

• CEO Charles Liang dự đoán "cuộc cách mạng AI có thể lớn hơn cả cuộc cách mạng công nghiệp" và chia sẻ tầm nhìn này tại sự kiện VB Transform 2024.

• Supermicro cung cấp các giải pháp cơ sở hạ tầng AI toàn diện, bao gồm cụm máy chủ và tủ rack được kết nối mạng, làm mát và tích hợp GPU.

• Công ty làm việc chặt chẽ với các nhà lãnh đạo công nghệ như Nvidia, Intel, AMD và Broadcom để phát triển các nền tảng tối ưu nhất cho khách hàng.

• Tại Thung lũng Silicon, Supermicro đang sản xuất và vận chuyển 4.000 tủ rack mỗi tháng, trong đó có 1.000 tủ sử dụng giải pháp làm mát bằng chất lỏng.

• Công ty đang tăng cường sản xuất để đạt mục tiêu 2.000 tủ rack làm mát bằng chất lỏng mỗi tháng.

Giải pháp làm mát bằng chất lỏng của Supermicro giúp tiết kiệm 30-40% năng lượng so với phương pháp làm mát truyền thống.

Với cùng một ngân sách điện năng, khách hàng có thể triển khai thêm 30% sức mạnh tính toán khi sử dụng giải pháp làm mát bằng chất lỏng.

• Elon Musk đang sử dụng giải pháp làm mát bằng chất lỏng của Supermicro cho dự án xAI của mình.

• Supermicro đặt mục tiêu làm cho làm mát bằng chất lỏng chiếm ít nhất 20-30% tổng số triển khai trung tâm dữ liệu trong 12 tháng tới.

Công ty đang chuẩn bị năng lực sản xuất để hỗ trợ toàn bộ ngành công nghiệp AI trên toàn cầu, tin rằng cuộc bùng nổ AI hiện tại mới chỉ ở giai đoạn đầu.

📌 Supermicro đang dẫn đầu cuộc cách mạng AI với doanh thu tăng 200%, nhờ giải pháp làm mát bằng chất lỏng tiết kiệm 40% năng lượng. Công ty đặt mục tiêu sản xuất 2.000 tủ rack làm mát bằng chất lỏng/tháng, chiếm 30% triển khai trung tâm dữ liệu trong năm tới.

https://venturebeat.com/ai/by-embracing-liquid-cooling-ai-powerhouse-supermicro-enables-30-more-computing-power-with-the-same-power-budget/

Elon Musk công bố xAI đang huấn luyện AI trên cụm máy chủ mạnh nhất thế giới gồm 100.000 GPU H100

• Elon Musk thông báo xAI đã bắt đầu huấn luyện trên "cụm máy chủ huấn luyện AI mạnh nhất thế giới" tại Memphis, Tennessee.

• Cụm máy chủ Memphis được cho là khoản đầu tư vốn lớn nhất của một công ty mới vào thành phố Memphis.

• Dự án chưa có hợp đồng với cơ quan điện lực Tennessee Valley Authority, cần thiết cho các dự án tiêu thụ trên 100 megawatt.

• Cụm máy chủ bao gồm 100.000 GPU H100 của Nvidia được làm mát bằng chất lỏng.

• Hệ thống hoạt động trên một fabric RDMA (Remote Direct Memory Access) duy nhất, giúp truyền dữ liệu hiệu quả và độ trễ thấp giữa các nút tính toán.

Mục tiêu của xAI là huấn luyện "AI mạnh nhất thế giới theo mọi tiêu chí" vào tháng 12 năm nay.

• Musk tuyên bố cụm máy chủ Memphis sẽ mang lại "lợi thế đáng kể" cho xAI.

• Elon Musk nổi tiếng với việc đưa ra và không đạt được các thời hạn công khai cho nhiều dự án.

• xAI cần một mô hình mới và hữu ích để cạnh tranh với các đối thủ như OpenAI, Anthropic, Google, Microsoft và Meta.

• Microsoft và CEO OpenAI Sam Altman được cho là đang phát triển siêu máy tính huấn luyện AI trị giá 100 tỷ USD có tên mã Stargate.

• xAI cung cấp mô hình ngôn ngữ lớn Grok và chatbot cùng tên thông qua nền tảng X cho người dùng trả phí.

• Các GPU H100 của Nvidia được ra mắt năm ngoái và đang có nhu cầu cao từ các nhà cung cấp mô hình AI.

• Cụm máy chủ Memphis có thể không giữ được danh hiệu mạnh nhất thế giới trong thời gian dài, tùy thuộc vào sự phát triển của dự án Stargate.

📌 Elon Musk tham vọng tạo ra AI mạnh nhất thế giới vào cuối năm 2024 với cụm máy chủ 100.000 GPU H100 tại Memphis. Dù vậy, kế hoạch này phải đối mặt với sự cạnh tranh gay gắt từ các gã khổng lồ công nghệ khác và lịch sử trì hoãn dự án của Musk.

https://venturebeat.com/ai/elon-musk-announces-most-powerful-ai-training-cluster-in-the-world/

Nvidia phát triển chip AI mới cho Trung Quốc: đối đầu với Huawei và vượt qua rào cản xuất khẩu

• Nvidia đang phát triển phiên bản chip AI cao cấp dành riêng cho thị trường Trung Quốc, tuân thủ các hạn chế xuất khẩu của Mỹ.

• Công ty sẽ hợp tác với Inspur, một trong những nhà phân phối lớn nhất của Nvidia tại Trung Quốc, để phát triển chip mới có tên tạm thời là "B20".

• Các sản phẩm AI hiện tại của Nvidia tại Trung Quốc đã được thiết kế đặc biệt để tuân thủ quy định xuất khẩu của Mỹ. Tuy nhiên, gần đây có thông tin cho rằng các sản phẩm này, như H20, đang gặp phải nhu cầu yếu do cạnh tranh gay gắt từ các nhà sản xuất chip địa phương, đặc biệt là Huawei.

• Vào tháng 3, Nvidia đã giới thiệu dòng chip "Blackwell", dự kiến sẽ đi vào sản xuất vào cuối năm 2024. Dòng chip này được thiết kế đặc biệt để đáp ứng yêu cầu tính toán của các mô hình ngôn ngữ lớn, trong bối cảnh sự quan tâm đến lĩnh vực đang phát triển nhanh chóng này tăng lên đáng kể trong năm qua.

• Sự quan tâm ngày càng tăng đối với phát triển AI đã tạo ra một cơn bùng nổ doanh thu cho Nvidia, thúc đẩy giá trị công ty trở thành một trong những công ty có giá trị nhất trên Phố Wall.

• Nvidia hiện là nhà sản xuất chip có giá trị nhất thế giới.

• Công ty không phản hồi yêu cầu bình luận qua email.

• Cổ phiếu NVDA giảm 2,61% trong phiên giao dịch gần nhất.

• Bài báo cũng đề cập đến việc nhiều nhà đầu tư đang lo ngại về việc đầu tư thêm vào cổ phiếu khi định giá tăng vọt trong năm 2024.

• Investing.com's ProPicks được đề cập như một công cụ để tìm kiếm cơ hội đầu tư mới tiềm năng, với 6 danh mục đầu tư mẫu xác định các cổ phiếu tốt nhất để nhà đầu tư mua ngay bây giờ.

📌 Nvidia đang phát triển chip AI B20 cho thị trường Trung Quốc, hợp tác với Inspur và tuân thủ quy định xuất khẩu Mỹ. Dù đối mặt cạnh tranh từ Huawei, Nvidia vẫn dẫn đầu với dòng chip Blackwell mới và giá trị thị trường cao nhất ngành.

https://ca.investing.com/news/stock-market-news/nvidia-developing-flagship-ai-chip-for-chinese-market-reuters-3507183

OpenAI bắt tay Broadcom: cuộc đua chip AI mới nóng bỏng hơn bao giờ hết

• OpenAI đang đàm phán với các nhà thiết kế bán dẫn, trong đó có Broadcom, về việc phát triển một con chip AI mới. Động thái này nhằm giảm sự phụ thuộc vào Nvidia và tăng cường chuỗi cung ứng của công ty.

• Sam Altman, đồng sáng lập và CEO của OpenAI, đang dẫn đầu nỗ lực mở rộng nguồn cung cấp linh kiện và cơ sở hạ tầng cần thiết để vận hành các mô hình AI ngày càng mạnh mẽ hơn.

• Theo một nguồn tin, yếu tố hạn chế của AI là năng lực: năng lực chip, năng lực năng lượng, năng lực tính toán. OpenAI không thể ngồi yên và để người khác xây dựng khi họ đang ở tuyến đầu.

• Altman đã tiếp xúc với các nhà sản xuất chip, đối tác như Microsoft, cơ quan chính phủ và các nhà đầu tư tài chính để tăng cường năng lực và duy trì vị thế trung tâm của công ty trong làn sóng công nghệ AI đang bùng nổ.

• Cuộc đàm phán giữa OpenAI và Broadcom tập trung vào vai trò mà Broadcom có thể đảm nhận trong việc phát triển chip mới cho OpenAI. Tuy nhiên, các cuộc thảo luận vẫn đang ở giai đoạn đầu.

• OpenAI cho biết họ đang có các cuộc trò chuyện liên tục với các bên liên quan trong ngành và chính phủ về việc tăng cường tiếp cận cơ sở hạ tầng cần thiết để đảm bảo lợi ích của AI được phổ biến rộng rãi.

• Các bộ vi xử lý mạnh mẽ là một trong những mặt hàng được săn đón nhất đối với các công ty AI hàng đầu. OpenAI, Microsoft và các đối thủ chính như Anthropic và Google đặc biệt phụ thuộc vào các đơn vị xử lý đồ họa (GPU) tiên tiến của Nvidia để đào tạo và vận hành các mô hình của họ.

• Mặc dù khó có thể cạnh tranh với năng lực công nghệ của Nvidia trong ngắn hạn, OpenAI đang tìm hiểu nhiều cách để trở nên tự chủ hơn trong việc theo đuổi trí tuệ nhân tạo tổng quát (AGI) - AI có thể vượt trội con người trong nhiều nhiệm vụ nhận thức.

• Ngay cả với sự hỗ trợ của Microsoft, đã cam kết 13 tỷ USD, OpenAI vẫn cần hỗ trợ tài chính từ bên ngoài hoặc các đối tác thương mại để hiện thực hóa kế hoạch của mình.

📌 OpenAI đang tích cực tìm kiếm đối tác phát triển chip AI mới, với Broadcom là một ứng cử viên tiềm năng. Mục tiêu là giảm phụ thuộc vào Nvidia, tăng cường chuỗi cung ứng và duy trì vị thế dẫn đầu trong lĩnh vực AI. Dự án này đòi hỏi khoản đầu tư khổng lồ, vượt xa cam kết 13 tỷ USD từ Microsoft.

https://www.ft.com/content/496a0c33-1af3-4dbf-977f-04d6804a8d28

 

#FT

12
Từ đồn điền dầu cọ đến trung tâm AI: bang Johor Malaysia thu hút hàng tỷ đô đầu tư công nghệ

• Bang Johor ở miền nam Malaysia đang trở thành trung tâm dữ liệu và AI mới của khu vực, thu hút hàng tỷ đô la đầu tư từ các công ty công nghệ lớn như TikTok, Nvidia và Microsoft.

• Các công ty đang tận dụng lợi thế đất đai rẻ hơn và nguồn năng lượng dồi dào hơn ở Johor, trong khi vẫn gần Singapore - trung tâm tài chính lớn nhất Đông Nam Á.

• Đầu tư nước ngoài vào Johor đạt 58,8 tỷ ringgit (12,6 tỷ USD) năm 2022 và 31 tỷ ringgit năm 2023, tăng mạnh so với 10 tỷ ringgit năm 2019.

• Giá đất tại Khu công nghệ Sedenak ở Johor đã tăng từ khoảng 40 ringgit/ft2 lên 70-80 ringgit/ft2 trong vài năm qua.

Malaysia đứng đầu danh sách thị trường trung tâm dữ liệu phát triển nhanh nhất châu Á, với công suất dự kiến tăng 600% trong 5 năm tới.

• YTL Power International đã ký thỏa thuận trị giá 4,3 tỷ USD để xây dựng trung tâm dữ liệu AI ở Johor với Nvidia là khách thuê.

• ByteDance, công ty mẹ của TikTok, dự kiến đầu tư khoảng 10 tỷ ringgit để thành lập trung tâm AI ở Malaysia.

• Johor đang hướng tới việc thiết lập khu kinh tế đặc biệt (SEZ) với Singapore, dự kiến được thống nhất trong năm nay.

• Quốc vương Malaysia hiện tại, vốn là Sultan của Johor, đang thúc đẩy mạnh mẽ sự phát triển kinh tế của bang này.

• Một số lo ngại về việc bùng nổ trung tâm dữ liệu có thể gây áp lực lên tài nguyên mà không tạo ra nhiều việc làm.

• Malaysia vẫn phụ thuộc vào nhiên liệu hóa thạch, bao gồm than đá, cho phần lớn nguồn điện.

Chính phủ Malaysia muốn có các yêu cầu nghiêm ngặt hơn về sử dụng nước và năng lượng tái tạo trong các trung tâm dữ liệu.

• Johor và Singapore ngày càng hội nhập, với các cửa khẩu biên giới thuộc loại đông đúc nhất toàn cầu.

Nhiều người hy vọng đầu tư vào Johor sẽ được coi như đầu tư vào Singapore trong tương lai.

📌 Johor, Malaysia đang chuyển mình thành trung tâm AI và dữ liệu hàng đầu Đông Nam Á, thu hút 12,6 tỷ USD đầu tư nước ngoài năm 2022. Với kế hoạch thành lập khu kinh tế đặc biệt cùng Singapore, Johor hứa hẹn trở thành "Thâm Quyến của Đông Nam Á" trong tương lai gần.

 

https://www.ft.com/content/4d8ab5e8-a7a6-4850-a631-5e9e2a4c13bb


#FT

CoreWeave CEO khẳng định nhu cầu chip AI của Nvidia là "không ngừng nghỉ"

• Mike Intrator, CEO của startup cơ sở hạ tầng AI CoreWeave, cho biết nhu cầu về chip AI của Nvidia là "không ngừng nghỉ" và nghiêng hẳn về phía Nvidia.

Thị trường đang trong tình trạng mất cân bằng nghiêm trọng trong 2,5 năm qua và dự kiến sẽ còn tiếp tục như vậy.

• Khách hàng đang đặt hàng trước 9-12 tháng, yêu cầu cung cấp tất cả chip có thể vào một ngày cụ thể.

• Các công ty không có đủ năng lực để đào tạo và triển khai các mô hình AI của họ.

CoreWeave cung cấp chip từ nhiều nhà sản xuất khác nhau, nhưng khách hàng chỉ muốn công nghệ của Nvidia.

• Intrator nói: "Khách hàng của chúng tôi muốn công nghệ Nvidia. Họ không muốn những thứ khác."

• Ông không thể đánh giá nhu cầu đối với các loại chip khác vì không thể đáp ứng hết nhu cầu về chip Nvidia.

• Trong quý gần nhất, Nvidia đã vượt kỳ vọng về doanh thu và lợi nhuận lần thứ 6 liên tiếp.

• CEO Nvidia Jensen Huang cho rằng cuộc cách mạng công nghiệp mới đã bắt đầu, với các công ty và quốc gia chuyển sang sử dụng điện toán tăng tốc và xây dựng "nhà máy AI".

• Cổ phiếu Nvidia đã tăng khoảng 138% từ đầu năm đến nay nhờ nhu cầu chip AI tiếp tục tăng cao.

• Một số người so sánh tình hình hiện tại với bong bóng dot-com, trong khi những người khác cho rằng AI sẽ tiếp tục thúc đẩy hiệu quả.

• Có ý kiến cho rằng giá cổ phiếu Nvidia mới chỉ bắt đầu tăng.

📌 CoreWeave, startup cung cấp cơ sở hạ tầng AI, báo cáo nhu cầu "không ngừng nghỉ" về chip Nvidia. CEO Mike Intrator nhấn mạnh khách hàng chỉ muốn công nghệ Nvidia, không quan tâm đến các lựa chọn khác. Cổ phiếu Nvidia đã tăng 138% từ đầu năm, phản ánh xu hướng này.

https://www.benzinga.com/news/24/07/39824702/ai-infrastructure-ceo-says-customers-are-showing-relentless-demand-for-nvidia-chips-and-nvidia-chips

AMD giải thích cách tiếp cận mở để giải quyết tình trạng thiếu hụt GPU và thu hẹp khoảng cách với Nvidia

• Ramine Roane, Phó chủ tịch phụ trách trung tâm dữ liệu, điện toán đám mây và AI của AMD, đã chia sẻ về chiến lược nguồn mở của công ty nhằm thách thức vị thế thống trị của Nvidia trong cuộc chiến chip AI.

Nvidia hiện đang kiểm soát hơn 70% thị trường chip AI, với nền tảng phần mềm CUDA độc quyền chỉ tương thích với GPU của Nvidia.

AMD đã chọn hướng đi khác bằng cách phát triển phần mềm ROCm nguồn mở cho lập trình GPU, cho phép mọi người tự do sử dụng, tải xuống và chỉnh sửa.

• Tình trạng thiếu hụt GPU đang là vấn đề lớn trong ngành công nghiệp chip. AMD đang cố gắng sản xuất và cung cấp càng nhiều GPU càng tốt.

Meta và Microsoft đã công bố kế hoạch mua chip của AMD vào năm ngoái, giảm bớt sự phụ thuộc vào GPU của Nvidia. Microsoft hiện đang triển khai mô hình AI GPT-4 của OpenAI trên phần cứng của AMD.

Khách hàng đang chuyển đổi các chương trình CUDA sang HIP - ngôn ngữ lập trình của ROCm, có thể tương thích với các GPU khác.

• Theo Alvin Nguyen, chuyên gia phân tích cao cấp tại Forrester, cách tiếp cận nguồn mở của AMD có thể giúp công ty giành được ưu thế trên thị trường và giảm chi phí hỗ trợ.

• Tuy nhiên, việc đảm bảo tương thích với CUDA để cho phép khách hàng chuyển đổi sang các nhà cung cấp GPU khác vẫn sẽ đòi hỏi sự hỗ trợ liên tục từ AMD.

• Thách thức là những thay đổi đối với CUDA có thể tạo ra các vấn đề về tính tương thích, cần thời gian để giải quyết và có thể khiến người dùng các sản phẩm không phải của Nvidia cảm thấy thất vọng.

📌 AMD đang áp dụng chiến lược nguồn mở để thách thức vị thế thống trị 70% thị phần của Nvidia trong lĩnh vực chip AI. Bằng cách phát triển phần mềm ROCm mở, AMD hy vọng giải quyết tình trạng thiếu hụt GPU và thu hút các khách hàng lớn như Meta và Microsoft chuyển từ nền tảng CUDA độc quyền của Nvidia.

https://www.businessinsider.com/amd-ai-vp-gpu-shortage-nvidia-lock-in-2024-7

Cơ sở hạ tầng trung tâm dữ liệu cần "hoàn toàn mới" để đáp ứng nhu cầu AI

- Jacky Liu, Chủ tịch Chief Telecom, cho biết tất cả các khía cạnh của trung tâm dữ liệu sẽ cần nâng cấp đáng kể để đáp ứng yêu cầu của máy chủ AI. Chi phí xây dựng trung tâm dữ liệu mới sẽ cao hơn ít nhất 50% so với trung tâm dữ liệu thông thường.
- Công suất lưới điện tiêu chuẩn cho giá máy chủ trung tâm dữ liệu sẽ tăng từ 4-6 kilowatt lên ít nhất 10 kilowatt, thậm chí lên tới 20 kilowatt cho một số thiết kế đặc biệt.  
- Máy chủ AI nặng hơn nhiều, có thể lên tới 1.500 kg và dự kiến đạt 2.000 kg, so với dưới 1.000 kg của máy chủ thông thường. Sàn trung tâm dữ liệu cần được nâng cấp để chịu được trọng lượng nặng hơn, đồng thời cần hệ thống cách chấn động đất và giảm chấn mạnh hơn để bảo vệ.
- Giá của rack máy chủ NV72 mới nhất của Nvidia dành cho tính toán AI vào khoảng 3-4 triệu USD, trong khi máy chủ truyền thống chỉ có giá hàng chục nghìn USD mỗi cái.
- Trung tâm dữ liệu mới nhất của Chief ở Đài Bắc được thiết kế để đáp ứng yêu cầu của máy chủ AI. Công ty này đang mở rộng sang khu vực Đông Nam Á để đáp ứng nhu cầu ngày càng tăng từ các nhà cung cấp Đài Loan đang dịch chuyển chuỗi cung ứng.
- Theo Gartner, chi tiêu cho dịch vụ đám mây công cộng toàn cầu dự kiến tăng 20,4% lên 675,4 tỷ USD trong năm nay và tăng thêm 22,7% trong năm tới nhờ nhu cầu về AI tạo sinh. IDC dự báo tăng trưởng khu vực châu Á - Thái Bình Dương đạt tốc độ kép hàng năm là 17,3% vào năm 2027.

📌 Chief Telecom nhấn mạnh cơ sở hạ tầng trung tâm dữ liệu cần nâng cấp toàn diện để đáp ứng yêu cầu khắt khe của máy chủ AI, với công suất điện tăng gấp đôi, sàn chịu tải nặng hơn và hệ thống chống động đất mạnh mẽ hơn. Công ty đang mở rộng sang Đông Nam Á, nơi chi tiêu đám mây dự kiến tăng trưởng 17,3%/năm đến 2027, để phục vụ các nhà cung cấp Đài Loan đang dịch chuyển chuỗi cung ứng.

https://asia.nikkei.com/Spotlight/Supply-Chain/AI-needs-entirely-new-infrastructure-says-Taiwan-s-Chief-Telecom

Giữa cơn sốt chip AI, tại sao Singapore vẫn đặt cược vào chip truyền thống?

- Giữa cơn sốt toàn cầu về chip AI, Singapore lại tập trung vào sản xuất chip truyền thống (mature-node chips) sử dụng công nghệ từ 28nm trở lên. Những chip này được ứng dụng rộng rãi trong các thiết bị gia dụng, ô tô và máy móc công nghiệp. Ngược lại, chip AI đòi hỏi công nghệ tiên tiến hơn nhiều, từ 7nm trở xuống.
- Hiện tại, chỉ có 3 công ty trên thế giới có khả năng sản xuất chip AI là TSMC (Đài Loan), Samsung (Hàn Quốc) và Intel (Mỹ). TSMC đang thống trị thị trường với 90-95% thị phần. Trong khi đó, Hàn Quốc lại nổi trội ở mảng sản xuất chip nhớ băng thông cao, một thành phần quan trọng để huấn luyện các mô hình AI.
- Singapore không sở hữu bất kỳ cơ sở sản xuất chip tiên tiến nào. Rào cản gia nhập rất lớn do chi phí đầu tư đắt đỏ. Một chiếc máy quang khắc cực tím (EUV) để sản xuất chip dưới 7nm có giá lên tới 180 triệu USD, chưa kể chi phí bảo trì hàng năm. Các nước phát triển lớn như Mỹ và Nhật Bản đang tung ra các gói trợ cấp trị giá hàng tỷ USD để cạnh tranh giành các nhà sản xuất chip hàng đầu như TSMC.
- Tuy nhiên, nhu cầu về chip truyền thống được dự báo sẽ vẫn rất lớn và ổn định trong dài hạn. Bởi lẽ, chúng được ứng dụng trong vô vàn lĩnh vực từ cơ sở dữ liệu, mạng viễn thông, tự động hóa nhà máy, cho tới ô tô thông minh, điện thoại và máy tính xách tay. Sự phát triển của AI cũng sẽ kéo theo nhu cầu tăng cao về năng lực tính toán, lưu trữ và truyền tải dữ liệu.
- Lợi thế của chip truyền thống là có một lượng khách hàng rất đa dạng. Ngoài ra, chúng cũng ít chịu ảnh hưởng từ các căng thẳng địa chính trị vốn đang bao trùm lĩnh vực chip AI.
- Thay vì cố gắng chen chân vào thị trường chip AI, Singapore hoàn toàn có thể tận dụng thế mạnh sẵn có của mình trong lĩnh vực sản xuất chip truyền thống. Đây là lợi thế mà Singapore đã gây dựng từ những năm 1960-1970, khi các tập đoàn bán dẫn lớn bắt đầu đặt chân vào đảo quốc này.
- Hiện nay, nhiều ông lớn như GlobalFoundries, Micron, STMicroelectronics đang vận hành các nhà máy sản xuất chip tại Singapore. Họ có xu hướng mở rộng các cơ sở hiện tại thay vì xây dựng nhà máy mới ở nơi khác, nhằm tiết kiệm thời gian cho việc kiểm định và đáp ứng các tiêu chuẩn của khách hàng.
- Tháng 6/2023, liên doanh giữa NXP Semiconductors và Vanguard International Semiconductor Corp đã công bố kế hoạch đầu tư 7,8 tỷ USD để xây dựng một nhà máy chip tại Singapore. Nhà máy này sẽ sản xuất chip 40-130nm cho thị trường ô tô, công nghiệp, tiêu dùng và di động.
- Bên cạnh đó, số lượng sinh viên tốt nghiệp ngành vi điện tử tại các trường đại học ở Singapore cũng đang tăng lên đáng kể. Chẳng hạn, khoa Thiết kế mạch tích hợp của ĐH Công nghệ Nanyang trước đây chỉ có 25-30 sinh viên tốt nghiệp mỗi năm, nhưng con số này hiện đã lên tới 80 người. Sự quan tâm của giới trẻ một phần đến từ sự chú ý mà ngành bán dẫn nhận được trong đại dịch Covid-19.
- Khi năng lực của ngành bán dẫn Singapore được cải thiện, cơ hội việc làm cũng gia tăng. Các công ty thiết kế chip như AMD đang chuyển nhiều hoạt động thiết kế chip cao cấp sang Singapore, tạo điều kiện cho sinh viên tốt nghiệp thăng tiến. Để thu hút nhân tài, AMD cũng đang trả mức lương cạnh tranh hơn, thu hẹp khoảng cách với thung lũng Silicon.
- Chính sách mở cửa và chào đón nhân tài nước ngoài của Singapore cũng là một lợi thế quan trọng. Bởi không phải tất cả nhân lực cần thiết cho ngành bán dẫn đều có thể được đào tạo trong nước. Những yếu tố như an toàn và việc sử dụng tiếng Anh phổ biến đã giúp Singapore trở thành điểm đến hấp dẫn với nhân tài nước ngoài.
- Kinh nghiệm của Hàn Quốc và Đài Loan cho thấy việc thu hút nhân tài bán dẫn giàu kinh nghiệm từ bên ngoài đóng vai trò quan trọng cho sự phát triển của ngành. Ngược lại, Nhật Bản đã tự hạn chế trao đổi nhân lực từ 30 năm trước, dẫn tới sự chậm lại trong phát triển ngành bán dẫn.

📌 Trong khi nhiều quốc gia đang chạy đua sản xuất chip AI, Singapore vẫn kiên định với lộ trình phát triển chip truyền thống vốn là thế mạnh của mình. Thị trường chip truyền thống có quy mô rất lớn, ổn định và ít bị ảnh hưởng bởi căng thẳng địa chính trị. Với hệ sinh thái bán dẫn đã phát triển qua nhiều thập kỷ, nguồn nhân lực được đào tạo bài bản và chính sách mở cửa với nhân tài nước ngoài, Singapore hoàn toàn có thể tận dụng cơ hội từ nhu cầu chip truyền thống gia tăng do sự bùng nổ của AI. Trong 5 năm tới, Singapore được kỳ vọng sẽ thu hút thêm 10-15 tỷ USD vốn FDI vào lĩnh vực bán dẫn.

https://www.techinasia.com/singapore-losing-out-ai-chip-boom

Is Singapore losing out on the AI chip boom?

Co-written by Sharon See

 

The global AI boom is spurring some countries to vie for dominance in making leading-edge microchips – but not Singapore.

 

The city-state’s focus on “mature-node chips” – used in appliances, cars, and industrial equipment – means its semiconductor ecosystem may have limited exposure to the AI boom, says Maybank economist Brian Lee.

Yet industry watchers do not see this as a concern, as the market for mature-node chips is much larger than that for leading-edge ones.

 

The chips that Singapore makes are for the mass market, says Ang Wee Seng, executive director of the Singapore Semiconductor Industry Association (SSIA).

No appetite for AI chips

AI chips are made to provide high computing power and responsive speed, says Tilly Zhang, a China technology analyst from Gavekal Research.

 

In contrast to mature-node chips that use so-called “process node” technology of 28 nanometers (nm) or more, cutting-edge AI chips have process nodes of 7 nm or less, and thus require specialized production methods. Current research focuses on developing 2 nm to 3 nm chips.

 

“That’s something that Singapore will not produce because first and foremost, we don’t have the extreme ultraviolet (EUV) lithography in our fabs here – none of them have that technology,” says Ang, referring to the manufacturing technology for these smaller chips.

Taiwan and South Korea dominate the global AI chip supply as only three companies in the world have the required capability to produce them: Taiwan Semiconductor Manufacturing Company (TSMC), Samsung, and Intel.

Cost is a major hurdle. There is only one maker of EUV lithography machines and its products cost US$180 million each, excluding yearly maintenance costs, according to Trendforce.

 

The high barrier to entry is why most chips optimized for AI are made by Taiwan-headquartered TSMC, which is considered more mature, advanced, and reliable than Samsung, said Zhang. She estimates TSMC’s market share to be about 90% to 95%.

 

However, South Korea shines in producing memory chips, including advanced high-bandwidth chips that also require lower process node capabilities and are essential for AI model training.

Singapore, on the other hand, has no advanced chip facilities.

 

“If other advanced foundries like TSMC or Samsung consider relocating a part of their capacity to Singapore, it could be possible to establish some domestic advanced chip capacity,” Zhang points out.

 

But with intense competition to woo such chipmakers, industry watchers say that attracting them would be exorbitant.

 

“More recently, large developed countries like Japan and the US have been dangling very large subsidies in the tune of billions to attract chip production by heavyweights such as TSMC,” Maybank’s Lee points out. “Singapore cannot compete in this subsidies arms race over the longer term.”

Ultimately, companies are the ones making commercial decisions on whether fabs in Singapore should pivot to leading-edge chips, says SSIA’s Ang.

 

Indirect opportunities

In the “very narrow context” of chip manufacturing, Singapore’s semiconductor industry may not directly benefit from the AI boom, says Ang.

 

“But if you look at the ecosystem as a whole, from the design, to the packaging and everything else, I think Singapore plays a bigger role than what we actually expect,” he points out.

Ang adds that there is also a trickle-down effect of AI demand: AI requires more computing power, more memory space for databases, and faster connectivity speeds for high-volume data transmission.

 

The chips that make this possible – by powering databases and communication networks – will continue to be mature-node chips, says Lee Bo Han, partner for R&D and incentives advisory at KPMG in Singapore. In other words, the market for mature-node chips should have ample opportunities and stable demand in the long run.

 

“Mature-node [chips are] something that we will have to keep using,” he says, citing applications such as factory automation, smart cars, mobile phones, and laptops.

Frederic Neumann, HSBC’s chief Asia economist, agrees that AI chips may not be worth pursuing for Singapore. “Since leading-edge logic chips are hard to manufacture, the technology evolves quickly, and the capital outlays are substantial, it might be worthwhile to focus on other areas of AI-related hardware and software,” he says.

 

“One opportunity lies in further building on Singapore’s existing expertise in memory chips, including 3D Nand where it holds a roughly 10% global production share,” Neumann adds.

 

One advantage of mature-node chips is that their wide range of uses means a diversity of clients. Another is that such chips are not affected by the geopolitical tensions surrounding AI-optimized chips.

“If you are in the AI leading-edge technology node, I think you’ll have to be very clear [that your tech] will not end up in China, [as] there is a lot of concern from countries like the US,” says Ang.

 

Decades of advantage

Instead of trying to go into leading-edge chips, Singapore can hone its established advantage in traditional chips.

 

This edge has been in the making since the 1960s and 1970s, with the entry of global semiconductor assembly and test operators, also known as “back-end” players.

Now, front-end multinational corporations such as GlobalFoundries, Micron, and STMicroelectronics produce chips that are used in everything from cars to chargers.

 

As these companies have a strong presence in Singapore, they are more likely to expand their current footprint than build new plants elsewhere, says Ang.

 

New plants must undergo “qualification,” or ensuring they meet clients’ specifications; expanding an existing plant removes this need and saves time, he notes.

 

For example, GlobalFoundries took about two years to open the latest expansion of its Fab 7 in Singapore’s Woodlands district. In contrast, TSMC’s second factory in Arizona was announced in 2022, but it may not start production until 2027 or 2028.

Singapore’s continued attractiveness can be seen in the new investments that are still being made.

 

In June, NXP Semiconductors and TSMC-backed Vanguard International Semiconductor Corp announced a US$7.8 billion joint venture for a Singapore plant that will make 40 to 130 nm chips for the automotive, industrial, consumer, and mobile market segments.

 

Losing and winning

Though Singapore retains its front-end advantage, its back-end industry has admittedly shrunk. Many such players have moved to cheaper pastures.

 

When John Nelson joined assembly and test services provider Utac as group chief executive 12 years ago, the company was already moving some of its more manual and technologically dated operations to Thailand.

But instead of leaving entirely, Utac’s Singapore focus has shifted toward research and development.

 

In September 2020, Utac acquired Powertech Technology Singapore to gain its expertise in a process called wafer bumping. Utac then conducted further engineering R&D to integrate Powertech’s operations post-acquisition.

 

“You can’t get comfortable, you have to be looking at new things … how can we be successful in each of our operations?” says Nelson.

 

Even in the mature-node field, innovation is possible. Singapore-based precision manufacturer Jade Micron has seen improvements not just in wafer fabrication, but in areas such as testing. For instance, a single testing machine used to test just two chips at a time, but it can now test up to 32 chips in parallel.

Attracting talent

Singapore’s efforts to maintain its semiconductor edge may be helped by an increasing supply of local talent.

 

Nanyang Technological University, for instance, has seen rising interest in microelectronics, says SSIA’s Ang. Its integrated circuit design course used to have just 25 to 30 graduates each year, but now has about 80.

 

He attributes this to the attention that the industry received during the Covid-19 pandemic, when there was a boom in semiconductor demand.

 

As Singapore’s semiconductor capabilities improve, so do job opportunities. Chip design companies are making higher-end designs here, allowing graduates to move up the value chain.

Such companies include AMD, which acquired high-end chip designer Xilinx in 2022. Together, they have about 1,200 employees in Singapore, including AMD’s chief technology office with some 12 to 15 doctorate holders.

 

While Singapore does not manufacture AI-related chips, local designers of such chips can expect higher pay, says Steven Fong, AMD’s corporate vice president for Asia Pacific and Japan embedded business.

 

“The most lucrative, highest paid [engineers] are in Silicon Valley … but we are moving up very fast to narrow the gap with Silicon Valley because of the talent crunch,” he adds.

 

Singapore’s openness to global talent is also an important edge, says Fong, since not all the required talent for semiconductor R&D can be found locally.

Overseas talent, in turn, are willing to head here, thanks to factors such as the widespread use of English and the country’s relative safety, he points out.

Han Byung Joon, co-founder and CEO of semiconductor startup Silicon Box, notes that Singapore’s openness to foreign talent can help it build a stronger local base.

 

Markets such as South Korea and Taiwan made great progress partly due to an influx of experienced semiconductor talent, he points out. In contrast, Japan stopped such talent exchanges about 30 years ago and became more self-sufficient, which led development to slow.

 

“If you have openness and bring in people who are trained and experienced somewhere else … you will be successful. If you close down the country, then you tend to minimize that opportunity,” says Han.

 

Startup do sinh viên bỏ học Harvard sáng lập tuyên bố chip AI mới Sohu sẽ cách mạng hóa ChatGPT, nhanh hơn 20 lần so với GPU H100

• Startup Etched do hai sinh viên bỏ học Harvard sáng lập đang phát triển chip AI mới có tên Sohu, nhắm tới thị trường phần cứng AI đang phát triển nhanh chóng.

Sohu là chip ASIC (Mạch tích hợp chuyên dụng) được thiết kế riêng để chạy các mô hình transformer AI như ChatGPT, Sora và Google Gemini.

• Etched tuyên bố Sohu nhanh hơn 20 lần so với GPU H100 hàng đầu của Nvidia trong việc chạy các mô hình transformer. So với B200 mạnh mẽ hơn của Nvidia, Sohu vẫn nhanh hơn 10 lần.

• Khác với GPU đa năng của Nvidia, Sohu chỉ tập trung vào việc chạy các mô hình transformer AI, không thể chạy các loại mô hình AI khác như mạng nơ-ron tích chập.

• Cách tiếp cận chuyên biệt này có thể mở ra khả năng phát triển các sản phẩm AI mới mà trước đây không thể thực hiện được do giới hạn về sức mạnh tính toán của GPU.

• Ví dụ tiềm năng bao gồm trình dịch đa ngôn ngữ thời gian thực hoặc các ứng dụng đa phương thức tích hợp xử lý ngôn ngữ và hình ảnh.

• Etched đã huy động được 120 triệu USD vào ngày 25/6 để biến Sohu thành hiện thực, nhưng chưa có lộ trình cụ thể cho việc ra mắt sản phẩm.

• Công ty tuyên bố đã nhận được đơn đặt hàng trước trị giá "hàng chục triệu đô la" và đã ký thỏa thuận với TSMC để sản xuất chip 4 nanomet.

• Thành công của Nvidia trong lĩnh vực phần cứng AI đã đưa giá trị vốn hóa thị trường của công ty lên mức 3 nghìn tỷ USD, vượt qua cả Microsoft và Apple vào tháng trước.

Mặc dù có tiềm năng lớn, hiệu suất và khả năng thực tế của Sohu vẫn chưa được chứng minh và cần phải chờ đợi khi sản phẩm thực sự ra mắt.

📌 Startup Etched tuyên bố chip AI Sohu nhanh hơn 20 lần so với Nvidia H100, huy động 120 triệu USD để phát triển. Chip chuyên biệt cho mô hình transformer có thể mở ra các ứng dụng AI mới, nhưng hiệu suất thực tế vẫn cần được chứng minh.

https://www.ndtv.com/artificial-intelligence/chatgpt-ai-chip-sohu-new-ai-chip-in-making-claims-it-will-revolutionise-chatgpt-6116225

Samsung trên bờ vực: đình công lịch sử đe dọa tham vọng chip AI và nguy cơ mất nhân tài về tay đối thủ

• Samsung Electronics đang phải đối mặt với cuộc khủng hoảng lao động ngày càng leo thang, gây trở ngại cho nỗ lực bắt kịp đối thủ trong thị trường bán dẫn dùng cho hệ thống AI.

• Mặc dù lợi nhuận hoạt động quý 2 dự kiến tăng gần 1.500% so với cùng kỳ năm ngoái, Samsung đang gặp khó khăn với tình trạng bất ổn của người lao động và những thất bại trong sản xuất chip.

• Giá cổ phiếu Samsung chỉ tăng khoảng 7,5% trong năm nay, trong khi đối thủ trong nước SK Hynix tăng 65%.

• Samsung đang tụt hậu so với SK Hynix và Micron trong việc phát triển chip bộ nhớ băng thông cao (HBM), một thành phần quan trọng của hệ thống AI. Công ty vẫn chưa vượt qua các bài kiểm tra để trở thành nhà cung cấp HBM cho Nvidia.

• Samsung cũng không thể làm suy yếu vị thế thống trị của TSMC trong lĩnh vực sản xuất chip theo hợp đồng.

• Chủ tịch Lee Jae-yong đã bổ nhiệm Jun Young-hyun làm lãnh đạo mới của bộ phận chip Samsung Electronics, hứa hẹn sẽ "đổi mới bầu không khí nội bộ và bên ngoài" để giải quyết "cuộc khủng hoảng chip".

• Một kỹ sư chip của Samsung tiết lộ rằng bầu không khí nội bộ đang u ám và nhiều người đang cân nhắc rời công ty để gia nhập đối thủ cạnh tranh.

• Khoảng 6.500 thành viên của Công đoàn Samsung Electronics Quốc gia (NSEU) đã bắt đầu một cuộc đình công chưa từng có kéo dài 3 ngày vào tuần trước.

• Samsung cũng đang chịu áp lực nặng nề từ Apple và các đối thủ Trung Quốc giá rẻ trong lĩnh vực di động, trong khi các đối thủ Trung Quốc cũng đang đe dọa thị phần của họ trong lĩnh vực màn hình và thiết bị gia dụng.

• Công đoàn NSEU đã tuyên bố sẽ tiếp tục "đình công vô thời hạn" nhằm vào các dây chuyền sản xuất, bao gồm cả những dây chuyền sản xuất chip HBM.

• Samsung khẳng định vẫn "cam kết tham gia đàm phán thiện chí với công đoàn", nhưng từ chối bình luận về các vấn đề nhân sự.

• Các nhà phân tích cho rằng cuộc đình công sẽ làm phức tạp thêm nỗ lực bù đắp khoảng cách với SK Hynix trong cuộc đua HBM.

• Samsung và SK Hynix đang cạnh tranh quyết liệt để thu hút nguồn nhân lực kỹ thuật hạn chế của Hàn Quốc.

• Samsung vừa công bố một nhóm liên bộ phận chuyên phát triển HBM và cuối cùng sẽ thu hẹp khoảng cách công nghệ với SK Hynix khi ngành công nghiệp chuyển sang các thế hệ chip HBM trong tương lai.

📌 Samsung đang đối mặt với cuộc khủng hoảng lao động nghiêm trọng, ảnh hưởng đến tham vọng chip AI. Công ty tụt hậu so với đối thủ trong phát triển chip HBM và sản xuất chip theo hợp đồng. Cuộc đình công lịch sử của 6.500 công nhân làm trầm trọng thêm tình hình, đe dọa vị thế dẫn đầu của Samsung trong ngành công nghiệp bán dẫn.

https://www.ft.com/content/9b7de6ca-7694-4da4-8d26-e7a6e6079fe1

#FT

FlashAttention-3: Công nghệ mới tối ưu hóa hiệu suất GPU H100 cho LLM

• FlashAttention-3 là một kỹ thuật mới được phát triển bởi các nhà nghiên cứu từ Colfax Research, Meta, Nvidia, Georgia Tech, Princeton University và Together AI nhằm tăng tốc đáng kể việc tính toán attention trên GPU Nvidia Hopper (H100 và H800).

• Attention là thành phần cốt lõi của kiến trúc transformer được sử dụng trong các mô hình ngôn ngữ lớn (LLM). Tuy nhiên, khi LLM ngày càng lớn hơn và xử lý các chuỗi đầu vào dài hơn, chi phí tính toán attention trở thành nút thắt cổ chai.

FlashAttention-3 xây dựng dựa trên các công trình trước đó về FlashAttention và FlashAttention-2, tối ưu hóa hơn nữa việc sử dụng tài nguyên trên GPU Nvidia Hopper để tối đa hóa hiệu suất và hiệu quả cho việc huấn luyện và suy luận LLM.

• Kỹ thuật mới này giải quyết thách thức của việc tính toán attention bằng cách giảm số lần đọc và ghi bộ nhớ giữa bộ nhớ băng thông cao (HBM) của GPU và bộ nhớ truy cập ngẫu nhiên tĩnh (SRAM) trên chip GPU khi thực hiện tính toán attention.

• FlashAttention-3 lập lịch các hoạt động để tối đa hóa sự chồng chéo giữa tính toán và di chuyển dữ liệu giữa các phân đoạn bộ nhớ khác nhau của GPU, giảm thời gian GPU chờ đợi dữ liệu được chuyển.

• Kỹ thuật này cũng đan xen các phép nhân ma trận và các phép toán softmax để giảm khả năng xảy ra nút thắt cổ chai trong việc tính toán giá trị attention.

• FlashAttention-3 sử dụng một sắp xếp đặc biệt các phép toán để tính toán attention nhanh hơn và chính xác hơn trong các mô hình lượng tử hóa.

• Theo các nhà nghiên cứu, FlashAttention-3 đạt được mức sử dụng lên tới 75% khả năng tối đa của GPU H100, tương đương với tốc độ tăng 1,5-2 lần so với các phiên bản FlashAttention trước đó cho cả việc huấn luyện và chạy LLM.

• Việc tính toán attention nhanh hơn do FlashAttention-3 cung cấp có thể giúp giảm đáng kể thời gian huấn luyện LLM, mở rộng cửa sổ ngữ cảnh của LLM và giảm số lượng bộ tăng tốc cần thiết để chạy LLM, từ đó giảm chi phí vận hành mô hình trong sản xuất.

• Các nhà nghiên cứu đã mở nguồn FlashAttention-3 dưới giấy phép cho phép và có kế hoạch tích hợp nó vào các thư viện học sâu phổ biến như PyTorch và Hugging Face Transformers.

📌 FlashAttention-3 tối ưu hóa hiệu suất GPU H100 cho LLM, tăng tốc 1,5-2 lần so với phiên bản trước. Công nghệ nguồn mở này giúp giảm thời gian huấn luyện, mở rộng cửa sổ ngữ cảnh lên hàng trăm nghìn token và tiết kiệm chi phí vận hành LLM trong sản xuất.

https://venturebeat.com/ai/flashattention-3-unleashes-the-power-of-h100-gpus-for-llms/

Úc lắp đặt siêu máy tính mạnh nhất lịch sử phục vụ nghiên cứu AI

- Úc vừa lắp đặt siêu máy tính mạnh nhất từ trước đến nay mang tên Virga, do Tổ chức Nghiên cứu Khoa học và Công nghiệp Khối thịnh vượng chung (CSIRO) phát triển với chi phí 14,5 triệu USD.
- Virga đứng thứ 72 trên bảng xếp hạng Top500 siêu máy tính nhanh nhất thế giới, với 60.000 nhân CPU Intel Xeon thế hệ thứ 4 36 nhân và GPU Nvidia H100 94GB HBM.
- Hiệu năng của Virga đạt gần 15 petaflops, tuy khiêm tốn so với siêu máy tính đứng đầu Frontier (1.200 petaflops) nhưng vẫn là bước tiến lớn so với hệ thống cũ Bracewell và Petrichor 25.000 nhân CPU.
- Virga sử dụng giải pháp làm mát chất lỏng trực tiếp lai, cần tới 50 tấn thiết bị CNTT để lắp đặt, do Dell hợp tác xây dựng.
- Mục tiêu chính của Virga là tăng tốc khám phá khoa học, xử lý bộ dữ liệu lớn, hỗ trợ nghiên cứu trí tuệ nhân tạo như chẩn đoán bệnh qua MRI, phát triển chiến lược robot quốc gia.

📌 Siêu máy tính 14,5 triệu USD Virga với 60.000 nhân CPU, hiệu năng gần 15 petaflops, đứng thứ 72 thế giới, là cỗ máy mạnh nhất lịch sử Úc, mở ra cơ hội đẩy mạnh nghiên cứu AI, robot và giải quyết các bài toán khoa học quy mô lớn.

https://www.extremetech.com/computing/australia-installs-its-most-powerful-supercomputer-yet-for-ai-and-research

ByteDance, Alibaba và SenseTime dẫn đầu thị trường dịch vụ hạ tầng AI tạo sinh tại Trung Quốc với hơn 50% thị phần

• ByteDance, Alibaba và SenseTime là 3 nhà cung cấp dịch vụ hạ tầng AI tạo sinh hàng đầu tại Trung Quốc, chiếm hơn 50% thị phần trong nửa cuối năm 2023 theo báo cáo của IDC.

• Các công ty này cho thuê phần mềm, năng lực tính toán, lưu trữ và tài nguyên mạng để doanh nghiệp xây dựng ứng dụng sử dụng mô hình ngôn ngữ lớn (LLM), công nghệ nền tảng của dịch vụ AI tạo sinh như ChatGPT.

• Trung Quốc đã nhanh chóng trở thành quốc gia dẫn đầu thế giới về áp dụng AI tạo sinh kể từ khi OpenAI ra mắt ChatGPT vào tháng 11/2022.

• Theo khảo sát của SAS và Coleman Parkes Research với 1.600 nhà ra quyết định trên toàn cầu, 83% người được hỏi ở Trung Quốc cho biết đã sử dụng AI tạo sinh, cao hơn nhiều so với mức trung bình toàn cầu 54% và Mỹ 65%.

Thị trường điện toán thông minh tại Trung Quốc, bao gồm cả AI tạo sinh và phi AI tạo sinh, đã tăng trưởng gần 86% đạt 11,4 tỷ nhân dân tệ (1,6 tỷ USD) trong nửa cuối 2023, với các nhà cung cấp dịch vụ hạ tầng AI tạo sinh đóng góp gần 60% tăng trưởng.

• Bắc Kinh đang tìm cách nâng tỷ trọng năng lực tính toán AI của Trung Quốc lên 35% vào cuối năm 2025, từ mức 25,4% giữa năm 2023.

Trung Quốc hiện đứng thứ hai sau Mỹ về tổng năng lực tính toán, nhưng vẫn còn lo ngại về thị trường phân mảnh, thiếu chip cho phát triển AI và khó khăn trong xây dựng năng lực tính toán nội địa do hạn chế xuất khẩu bán dẫn tiên tiến của Mỹ.

Trung Quốc đang xây dựng 8 trung tâm tính toán quốc gia và 10 cụm trung tâm dữ liệu quốc gia trong dự án "Dữ liệu phía Đông và Tính toán phía Tây", dự kiến thu hút khoảng 400 tỷ nhân dân tệ đầu tư mỗi năm.

• Trước khi ChatGPT phổ biến cuối năm 2022, một số công ty công nghệ Trung Quốc đã mất hứng thú với AI và cân nhắc trả lại đơn đặt hàng chip A100 tiên tiến của Nvidia. ByteDance vẫn "lạc quan về AI" và đã mua lại những con chip này, hiện đang rất được săn đón tại Trung Quốc.

📌 Trung Quốc dẫn đầu thế giới về áp dụng AI tạo sinh với 83% doanh nghiệp đã triển khai, cao hơn nhiều so với mức trung bình toàn cầu 54%. ByteDance, Alibaba và SenseTime chiếm hơn 50% thị phần dịch vụ hạ tầng AI tạo sinh tại Trung Quốc. Thị trường điện toán thông minh đạt 11,4 tỷ nhân dân tệ, tăng 86% trong nửa cuối 2023.

https://www.scmp.com/tech/big-tech/article/3269939/bytedance-alibaba-sensetime-lead-generative-ai-infrastructure-services-market-china

Tencent nâng cấp mạng Xingmai 2.0: tăng 60% hiệu suất truyền thông mạng, hỗ trợ 100.000 GPU cho đào tạo AI

• Tencent Holdings đã nâng cấp đáng kể mạng máy tính hiệu năng cao Xingmai 2.0, tăng cường khả năng AI và cải thiện hiệu quả đào tạo mô hình ngôn ngữ lớn (LLM).

• Mạng Xingmai 2.0 mới có thể hỗ trợ hơn 100.000 GPU trong một cụm tính toán duy nhất, gấp đôi công suất so với mạng ban đầu ra mắt năm 2023.

• Hiệu suất truyền thông mạng tăng 60% và hiệu quả đào tạo LLM tăng 20% nhờ việc tối ưu hóa cơ sở hạ tầng hiện có.

• Tencent đạt được những cải tiến này mà không cần đầu tư vào bộ xử lý mới, vốn khó có thể tiếp cận do quy định xuất khẩu của Mỹ.

• Công ty đang thúc đẩy việc sử dụng LLM độc quyền trong các ứng dụng doanh nghiệp và cung cấp dịch vụ hỗ trợ các doanh nghiệp khác phát triển mô hình AI riêng.

• Ngành công nghiệp AI Trung Quốc đang trong cuộc chiến giá cả, với các công ty lớn như Alibaba, Baidu và ByteDance đua nhau giảm giá để thúc đẩy công nghệ AI của họ.

Tencent đã cung cấp miễn phí phiên bản lite của LLM Hunyuan và giảm giá cho các phiên bản tiêu chuẩn nhằm tăng cường áp dụng thương mại.

• Baidu báo cáo hiệu quả đào tạo LLM Ernie tăng gấp 5 lần và chi phí suy luận giảm 99%, cho thấy nỗ lực của các công ty công nghệ Trung Quốc trong việc nâng cao hiệu quả và giảm chi phí đào tạo AI.

• Những tiến bộ này rất quan trọng trong bối cảnh cuộc chiến giá cả, giúp công nghệ AI trở nên dễ tiếp cận và giá cả phải chăng hơn.

• Các công ty công nghệ Trung Quốc đang tận dụng cải tiến hiệu quả thay vì dựa vào bộ xử lý tiên tiến để cạnh tranh với các đối thủ phương Tây.

📌 Tencent nâng cấp mạng Xingmai 2.0 hỗ trợ 100.000 GPU, tăng 60% hiệu suất truyền thông và 20% hiệu quả đào tạo LLM. Động thái này phản ánh nỗ lực của Trung Quốc trong việc tăng cường khả năng AI bằng cách tối ưu hóa tài nguyên sẵn có, đối phó với hạn chế tiếp cận chip tiên tiến.

https://www.tomshardware.com/tech-industry/artificial-intelligence/tencent-boosts-100000-gpu-capable-hpc-clusters-with-network-optimization

Singapore đang chuyển hướng ngành trung tâm dữ liệu sang tập trung vào AI

• Singapore đang đối mặt với tình trạng thiếu hụt công suất trung tâm dữ liệu, điều này có thể thúc đẩy ngành hướng tới các ứng dụng AI có giá trị cao hơn.

• Kiran Karunakaran từ Bain & Company dự đoán Singapore sẽ dẫn đầu khu vực trong việc chuyển đổi công suất trung tâm dữ liệu hiện có thành cơ sở hỗ trợ AI.

• Ước tính các công ty điện toán đám mây lớn như Google và Amazon chiếm 70% lưu lượng sử dụng trung tâm dữ liệu ở Singapore. Họ có thể tận dụng sự hiện diện tại đây cho các khối lượng công việc AI, đồng thời chuyển các khối lượng công việc truyền thống sang Malaysia và Indonesia.

Singapore đã công bố sẽ cung cấp thêm ít nhất 300 megawatt (MW) công suất cho trung tâm dữ liệu trong ngắn hạn. Thêm 200 MW có thể được cấp cho các nhà khai thác sử dụng năng lượng xanh.

Hiện tại, Singapore có hơn 70 trung tâm dữ liệu với tổng công suất 1,4 gigawatt.

• Niccolo Lombatti từ BMI Technology cho rằng Singapore sẽ không đủ công suất để đào tạo các mô hình AI lớn, và 300 MW bổ sung có thể được sử dụng tốt hơn cho suy luận AI.

• Kết nối của Singapore là một yếu tố hỗ trợ sự phát triển của AI trong nước. Serene Nah từ Digital Realty tin rằng Singapore có thể giữ lại các khối lượng công việc quan trọng và duy trì vị thế là trung tâm kết nối chính trong khu vực.

• Ngành trung tâm dữ liệu Singapore đang đối mặt với thách thức lưu trữ khối lượng công việc AI. Singtel đang loại bỏ các trung tâm dữ liệu cũ kém hiệu quả và xây dựng các cơ sở bền vững hơn.

• Dự án Tuas 58 MW của Singtel sẽ tăng gấp đôi công suất hoạt động của công ty tại Singapore lên 120 MW khi hoàn thành vào cuối năm 2025, với hiệu quả sử dụng năng lượng (PUE) dự kiến là 1,23.

• Các công nghệ mới như làm mát bằng chất lỏng đang được triển khai để tăng hiệu quả làm mát cho khối lượng công việc AI tiêu thụ nhiều năng lượng hơn.

• Oliver Curtis từ Sustainable Metal Cloud cho biết các máy chủ hỗ trợ AI có thể tiết kiệm năng lượng hơn các máy chủ truyền thống, cho phép Singapore tạo ra nhiều đầu ra hơn với cùng một lượng công suất.

• Cạnh tranh từ các nước trong khu vực như Malaysia và Indonesia đang gia tăng, nhưng Singapore vẫn có lợi thế về sự chắc chắn trong quy định và môi trường kinh doanh.

• Princeton Digital Group đang thực hiện chiến lược SG+ từ năm 2023, xây dựng các khuôn viên trung tâm dữ liệu ở Singapore, Batam và Johor Bahru hợp tác với Ủy ban Phát triển Kinh tế Singapore.

📌 Singapore đang chuyển hướng ngành trung tâm dữ liệu sang tập trung vào AI để đối phó với tình trạng thiếu hụt công suất. Với 70 trung tâm dữ liệu hiện có và kế hoạch bổ sung 300-500 MW, quốc đảo này đang đầu tư vào công nghệ làm mát tiên tiến và năng lượng xanh để duy trì vị thế dẫn đầu khu vực, đồng thời đối mặt với cạnh tranh từ Malaysia và Indonesia.

https://www.techinasia.com/singapores-data-center-crunch-drive-sector-ai-focus

#techinasia

Singapore’s data center crunch could drive sector’s AI focus

The limited capacity in the data center sector is likely to push the local data center industry toward higher-value AI use cases.

Kiran Karunakaran, partner at Bain & Company, expects the city-state to take the lead in the region to convert existing data center capacity to AI-enabled facilities.

He estimates that firms operating large-scale cloud platforms, such as Google and Amazon, account for 70% of data center usage in the country. These companies will likely leverage their presence in Singapore for AI workloads while shifting more traditional workloads to Malaysia and Indonesia.

“Many of the data centers in Singapore have already started thinking about AI workloads, says Karunakaran. He adds that in terms of readiness, they are “already ahead” when it comes to availability of graphics processing units – semiconductor chips used to train and run AI models – as well as conversion of existing Tier 4 data centers to AI-enabled ones.

Even with Singapore’s move to increase allocated capacity to the industry, the sector still faces energy and water constraints. In May, Singapore said that it will provide at least 300 megawatts (MW) of additional capacity for data centers in the near term.

Janil Puthucheary, the country’s senior minister of state for communications and information, said in a speech in May that another 200 MW or more could be made available to operators who tap green energy.

Singapore currently has more than 70 data centers, which have a total of 1.4 gigawatts of capacity.

Even with the expected shift toward AI-enabled facilities, Niccolo Lombatti, media and telecoms analyst at BMI technology, says that the types of AI workloads executed in Singapore also matters.

Currently, there is a lot of focus on training and improving AI models, such as OpenAI’s ChatGPT and AI Singapore’s Sea-Lion large language model. But Lombatti says that the nation will not have sufficient capacity to train such models, noting that the average data center development in the US already takes up 200 MW.

“I think that the 300 MW may be better used – and I think that will be the plan – in AI inference, which requires less power density but requires being much closer to the user,” he adds.

AI inference refers to the process in which AI models generate their own results after being trained on data sets. For instance, AI inference for autonomous driving could be done locally in Singapore for optimal performance and safety.

Another factor supporting the growth of AI in the country is its connectivity, according to Serene Nah, managing director and head of Asia Pacific at Digital Realty. She believes that Singapore can retain critical workloads, and remain a key connectivity hub in the region by providing a range of connectivity options.

“Singapore’s world-class connectivity makes it a prime location for deploying cutting-edge AI. Co-locating AI with global networks in Singapore allows for seamless data processing across vast distances and access to a wide range of customers,” Nah explains.

She adds that there are several ongoing initiatives to import renewable energy and develop low-carbon energy technologies locally.

Local readiness for AI

Singapore’s data center industry is taking on the challenge of hosting these AI workloads.

Bill Chang, CEO of Singtel’s data center arm Nxera, says that the telco is phasing out its older, less efficient data centers and building more sustainable facilities in their place.

“This involves building highly efficient data centers that optimize land, power, and water use through advanced technologies, such as liquid cooling and smart operations, to achieve better overall energy efficiency and operational resiliency, and making a complete switch to renewable energy from the grid for our internal operations and common utilities,” he explains.

Singtel’s 58 MW Tuas project will double the company’s operational capacity in Singapore to 120 MW when it is completed in end-2025.

The project is expected to have a power usage effectiveness (PUE) of 1.23. This metric refers to the ratio of energy used for cooling on top of the IT load, and a ratio of one indicates no additional energy used for cooling.

But with the shift toward AI, these workloads will consume more power. Experts note that there are new technologies in place to boost cooling efficiency.

In its roadmap outlining Singapore’s green initiatives for data centers, the Infocomm Media Development Authority (IMDA) noted that AI workloads will have higher rack densities, which refer to the amount of power used by a single rack cabinet in a data center. While the average server rack consumed 8.4 kilowatts (kW) in 2020, this could rise to over 100 kW per rack.

Air cooling – where servers are placed in air-conditioned rooms – can only support up to 20 kW per rack. Hence, more sophisticated liquid cooling solutions will be necessary to effectively cool higher-density racks.

Oliver Curtis, co-founder of AI cloud service provider Sustainable Metal Cloud, says that AI-enabled servers could be more power-efficient than traditional servers. This would enable Singapore to produce more output for the same amount of power capacity that it currently has.

The company has retrofitted existing data center capacity from ST Telemedia Global Data Centres to host AI servers that are immersed in thermally conductive liquid that removes heat more efficiently than air. This improves the firm’s PUE from 1.5 to 1.1, well below IMDA’s threshold of 1.3 for what is considered a “green” data center.

“That allows us to price our product as cheap as in the US, yet we’re doing so here in a much more high-cost environment,” Curtis adds.

Given energy constraints and the need to be sustainable, NTT Data Singapore CEO Png Kim Meng says that if there were an update to IMDA’s roadmap, he would like to see a deeper integration of green initiatives and advanced technologies such as AI.

“Enhancements should focus on expanding the scope of sustainable development practices within data centers, promoting energy efficiency, and reducing carbon footprints,” he said, adding that robust incentives and clear guidelines will incentivize more companies to invest in green technologies.

Competition from the region

BMI’s Lombatti said that because energy and power are scarce resources in Singapore, companies have looked to Malaysia’s Johor Bahru and Indonesia’s Batam to deploy capital, even if these markets are not as digitally mature.

Still, he noted that there is a broader risk that the explosive growth in these markets could lead to resource constraints as well.

Noorazam Osman, Johor Bahru’s city council mayor, said in May that data center investments should not compromise the state’s domestic water and power needs.

Lombatti says that regulators and governments may later realize the scale of the water and energy drained by data centers after they are built, only to implement regulations that create uncertainty for operators.

“They will likely introduce either a local ban, perhaps in a town or a specific region, or it can be a countrywide ban, where there is no more building activity,” he adds.

Bain’s Karunakaran points out that one factor in Singapore’s favor is that the regime offers businesses certainty. This likely contributes to the 20% premium that local data centers tend to draw.

He noted that data center operators in Indonesia have faced foreign ownership limits, along with significant currency risks and some potential difficulties in repatriating profits back to shareholders as dividends.

While the proportion of Southeast Asian data center capacity hosted in Singapore may fall, he does not expect the proportion of revenue generated by the country’s data centers compared to their regional counterparts to decline in the next three years.

Asher Ling, managing director of Singapore-based data center operator Princeton Digital Group, notes that IMDA’s roadmap helps to establish the guard rails for companies seeking new data center capacity.

Princeton Digital Group has been executing its SG+ strategy since 2023, to build data center campuses in Singapore, Batam, and Johor Bahru in collaboration with the Singapore Economic Development Board.

“We’re able to work collaboratively, symbiotically with Johor and Batam to create a larger region that really serves all the complex needs of the global community,” Ling says. “I think that really becomes a very interesting case study for the world to see in the next five years or so.”

Innatera và cuộc cách mạng âm thầm trong phần cứng AI với chip thần kinh học

- Chip thần kinh học của Innatera được thiết kế để mô phỏng cách não sinh học xử lý thông tin, sử dụng mạng lưới các nơ-ron nhân tạo giao tiếp qua xung điện, tương tự như nơ-ron thật.
- Kiến trúc lấy cảm hứng từ não này mang lại nhiều lợi thế cho hệ thống thần kinh học, đặc biệt trong các ứng dụng điện toán biên như thiết bị tiêu dùng và IoT công nghiệp.
- Bộ xử lý thần kinh học có thể thực hiện các tác vụ AI phức tạp chỉ với một phần nhỏ năng lượng so với các giải pháp truyền thống, cho phép các khả năng như nhận thức môi trường liên tục trên thiết bị chạy pin.
- Sản phẩm chủ lực của Innatera, Bộ xử lý thần kinh xung T1, kết hợp công cụ tính toán theo sự kiện với bộ tăng tốc CNN thông thường và CPU RISC-V, tạo nên một nền tảng toàn diện cho AI siêu tiết kiệm năng lượng trên thiết bị pin.
- Giải pháp thần kinh học của Innatera có thể thực hiện tính toán với năng lượng ít hơn 500 lần so với cách tiếp cận thông thường và tốc độ nhận dạng mẫu nhanh hơn khoảng 100 lần so với đối thủ.
- Innatera hợp tác với Socionext phát triển giải pháp sáng tạo cho phát hiện sự hiện diện của con người, kết hợp cảm biến radar với chip thần kinh học để tạo ra thiết bị hiệu quả cao, bảo vệ quyền riêng tư.
- Công nghệ này có ứng dụng rộng rãi như tự động hóa nhà thông minh, an ninh tòa nhà và phát hiện người ở trên xe, mang đến khả năng AI cho thiết bị biên đồng thời giảm tiêu thụ năng lượng và nâng cao quyền riêng tư.
- Innatera đang tăng cường sản xuất, Bộ xử lý thần kinh xung dự kiến sẽ đi vào sản xuất cuối năm 2024 với lô hàng lớn bắt đầu từ Q2/2025.
- Công ty gần đây đã huy động 21 triệu USD trong vòng Series A để đẩy nhanh phát triển bộ xử lý thần kinh xung.
- Innatera đã xây dựng bộ công cụ phát triển phần mềm (SDK) rất mở rộng, sử dụng PyTorch làm giao diện, cho phép các nhà phát triển ứng dụng dễ dàng hướng đến chip của họ.

📌 Chip thần kinh học tạo của Innatera hứa hẹn cách mạng hóa điện toán AI với hiệu quả cao gấp 500 lần, tốc độ nhanh gấp 100 lần so với giải pháp thông thường. Công ty đang hướng tới thị trường ứng dụng cảm biến biên với mục tiêu đưa trí tuệ đến 1 tỷ thiết bị vào năm 2030, mở ra kỷ nguyên mới cho AI thông minh và bền vững hơn.

https://venturebeat.com/ai/beyond-gpus-innatera-and-the-quiet-uprising-in-ai-hardware/

Trung tâm dữ liệu AI "Gigafactory" của Elon Musk sẽ có 350.000 GPU của Nvidia và sẽ hoạt động trong vài tháng tới

- Trung tâm dữ liệu AI mới của Elon Musk tại nhà máy Tesla Gigafactory ở Texas sử dụng công nghệ làm mát bằng chất lỏng của Supermicro. CEO của Supermicro, Charles Liang, đánh giá cao giải pháp này.

- Liang ước tính việc Musk dẫn đầu xu hướng sử dụng làm mát bằng chất lỏng cho các trung tâm dữ liệu AI lớn có thể giúp bảo tồn 20 tỷ cây xanh trên hành tinh. Supermicro tuyên bố công nghệ làm mát trực tiếp bằng chất lỏng có thể giảm tới 89% chi phí điện năng so với làm mát bằng không khí.

- Mục tiêu của Supermicro là tăng tỷ lệ áp dụng làm mát trực tiếp bằng chất lỏng từ dưới 1% lên trên 30% trong một năm. 

- Trung tâm dữ liệu mới của Tesla sẽ chứa 50.000 GPU Nvidia và phần cứng AI của Tesla để huấn luyện tính năng lái tự động hoàn toàn. Musk ước tính cụm siêu máy tính này sẽ tiêu thụ 130 megawatt khi triển khai và tăng lên 500 megawatt sau khi cài đặt phần cứng AI độc quyền của Tesla.

- Ngoài ra, Elon Musk cũng đang xây dựng một cụm siêu máy tính khác cho công ty xAI, sử dụng 100.000 GPU H100 của Nvidia và dự kiến nâng cấp lên 300.000 GPU B200 vào mùa hè năm sau. Cụm này cũng sẽ được làm mát bằng chất lỏng bởi Supermicro.

- Cả hai cụm siêu máy tính dự kiến sẽ đi vào hoạt động trong vài tháng tới. Tuy nhiên, việc xây dựng cụm của Tesla có thể bị trì hoãn vài tháng do Musk yêu cầu Nvidia chuyển hàng nghìn GPU đặt cho Tesla sang cho xAI.

📌 Elon Musk đang xây dựng hai trong số các cụm siêu máy tính AI lớn nhất thế giới, sử dụng tổng cộng 350.000 GPU Nvidia, áp dụng công nghệ làm mát bằng chất lỏng tiên tiến của Supermicro. Dự án này hứa hẹn thúc đẩy xu hướng làm mát bằng chất lỏng, giúp tiết kiệm năng lượng đáng kể cho các trung tâm dữ liệu AI trong tương lai.

https://www.tomshardware.com/tech-industry/artificial-intelligence/elon-musks-liquid-cooled-gigafactory-data-centers-get-a-plug-from-supermicro-ceo-tesla-and-xais-new-supercomputers-will-have-350000-nvidia-gpus-both-will-be-online-within-months

Ấn Độ chi 50% ngân sách "Sứ mệnh AI quốc gia" để mua GPU hỗ trợ startup trong nước

- Chính phủ Ấn Độ sẽ chi khoảng 5.000 crore rupee (tương đương 607 triệu USD), trong tổng số 10.372 crore rupee (1,26 tỷ USD) của Sứ mệnh AI Ấn Độ để mua sắm GPU và cung cấp năng lực tính toán được trợ giá cho các công ty khởi nghiệp Ấn Độ.
- GPU là chip chuyên dụng được tối ưu hóa để tăng tốc các tác vụ trí tuệ nhân tạo (AI) và học máy thông qua xử lý nhanh hơn. Nvidia, Intel và AMD là những nhà sản xuất GPU lớn nhất thế giới.
- Chính phủ đang trong quá trình đấu thầu để mua chip nhưng sẽ không mua trực tiếp. Thay vào đó, họ sẽ muốn các công ty tư nhân đầu tư và chính phủ sẽ trợ giá một phần chi phí truy cập vào năng lực tính toán đó.
- Cách tiếp cận này cho phép người dùng, doanh nghiệp và công ty khởi nghiệp quyết định loại GPU phù hợp với nhu cầu sử dụng của họ.
- Chính phủ sẽ chỉ thực hiện một số kiểm tra và cân bằng để đảm bảo không bị lạm dụng, ví dụ như người dùng nhận được tính toán được trợ giá nhưng lại chuyển cho người khác.
- Trước đó, Bộ trưởng Bộ Điện tử và Công nghệ Thông tin Ấn Độ (MeitY) cho biết chính phủ đang xem xét cách tiếp cận tài trợ khoảng cách khả thi hoặc cơ chế dựa trên phiếu mua hàng cho lĩnh vực AI để GPU sẵn có nhanh hơn và rộng rãi hơn.

📌 Ấn Độ sẽ đầu tư 5.000 crore rupee (khoảng 607 triệu USD) từ ngân sách Sứ mệnh AI quốc gia để mua hơn 10.000 GPU, nhằm hỗ trợ các công ty khởi nghiệp AI trong nước bằng cách trợ giá chi phí tính toán. Cách tiếp cận này cho phép doanh nghiệp tự quyết định loại GPU phù hợp và chính phủ sẽ giám sát để tránh lạm dụng.

https://www.business-standard.com/technology/tech-news/govt-to-use-50-of-india-ai-mission-funds-for-gpu-procurement-meity-124070400728_1.html

Siêu máy tính với 1 triệu chip NVIDIA và AMD sắp ra đời

• Trong một cuộc phỏng vấn với The Next Platform, Giám đốc điều hành Trung tâm dữ liệu của AMD, Forrest Norrod, đã tiết lộ rằng có khách hàng đang thảo luận về trung tâm dữ liệu có tới 1 triệu bộ xử lý chỉ trong một máy.

• Với giá khoảng 25.000 USD cho một GPU cao cấp, những siêu máy tính này có thể có giá trị lên tới 25 tỷ USD chỉ riêng phần GPU, chưa kể các chi phí khác như mạng, bộ nhớ và máy chủ.

• Broadcom cũng đề cập đến các cụm AI tiên tiến đang được thảo luận với quy mô từ khoảng 4.000 bộ xử lý lên tới 1 triệu.

• Xu hướng này xuất phát từ mối quan hệ gần như tuyến tính giữa kích thước dữ liệu đưa vào mô hình và chất lượng của mô hình AI. Hiện tại, cần nhiều dữ liệu hơn và nhiều chip máy tính hơn (đặc biệt là GPU và các chip tùy chỉnh khác) để đẩy mạnh AI.

• Độ phức tạp của các mô hình AI tiên tiến đang tăng nhanh chóng. ChatGPT đầu tiên có khoảng 117 triệu tham số, trong khi ChatGPT 5 (phiên bản tiếp theo) dự kiến sẽ có khoảng 17,5 nghìn tỷ tham số.

• Phần lớn các "siêu máy tính" này vẫn đang trong giai đoạn lên ý tưởng. Microsoft được đồn đại đang xem xét "Project Stargate" có thể tốn tới 100 tỷ USD.

• Việc đào tạo mô hình AI đang rất hứa hẹn so với suy luận (thực sự "chạy" các mô hình AI). Có một cuộc chạy đua vũ trang với nhiều công ty được hậu thuẫn đang hướng tới trí tuệ nhân tạo tổng quát.

• Hiện tại, chưa có khái niệm rõ ràng về tiềm năng phát triển trong lĩnh vực này.

• Xu hướng này có thể tác động lớn đến các công ty như NVIDIA (Nasdaq: NVDA) và AMD (Nasdaq: AMD), những nhà cung cấp chính cho các chip GPU và bộ xử lý AI.

• Nhu cầu ngày càng tăng đối với sức mạnh tính toán AI đang thúc đẩy sự phát triển của các cụm máy tính khổng lồ này, với mục tiêu đạt được những bước tiến quan trọng trong lĩnh vực trí tuệ nhân tạo.

📌 Siêu máy tính với 1 triệu chip NVIDIA và AMD đang được phát triển, phản ánh nhu cầu tính toán AI khổng lồ. Các dự án như "Project Stargate" của Microsoft có thể tốn tới 100 tỷ USD. Xu hướng này thúc đẩy cuộc đua phát triển AI tổng quát với tiềm năng chưa xác định.

https://247wallst.com/investing/2024/07/04/supercomputers-with-1-million-nvidia-and-amd-chips-are-coming/

tencent tăng 60% hiệu suất mạng ai mà không cần chip nvidia đỉnh cao

• Tencent đã nâng cấp mạng điện toán hiệu năng cao (HPC) của mình, cải thiện khả năng AI mà không cần sử dụng chip tiên tiến nhất của Nvidia.

• Phiên bản 2.0 của Mạng hiệu năng cao thông minh của Tencent (Xingmai) sẽ cải thiện hiệu quả truyền thông mạng và đào tạo mô hình ngôn ngữ lớn (LLM) lần lượt là 60% và 20%.

• Tencent đạt được cải thiện hiệu suất bằng cách tối ưu hóa cơ sở hạ tầng hiện có thay vì cạnh tranh trực tiếp với các đối thủ Mỹ như OpenAI về chi tiêu và bán dẫn tiên tiến.

• Mạng Xingmai có thể hỗ trợ một cụm máy tính với hơn 100.000 GPU, gấp đôi quy mô so với phiên bản ban đầu phát hành năm 2023.

• Hiệu suất được cải thiện rút ngắn thời gian cần thiết để xác định vấn đề chỉ còn vài phút, giảm từ vài ngày trước đây.

• Tencent gần đây đã đẩy mạnh việc tăng cường công nghệ trong lĩnh vực AI đang phát triển nhanh chóng, quảng bá các mô hình LLM nội bộ cho doanh nghiệp và cung cấp dịch vụ giúp các công ty khác xây dựng mô hình riêng.

• Ngành công nghiệp AI của Trung Quốc đang rơi vào cuộc chiến giá cả, với tất cả các công ty lớn đều giảm giá xuống thấp hơn nhiều so với các công ty phương Tây.

• Tencent đã cung cấp miễn phí phiên bản lite của mô hình LLM Hunyuan và cắt giảm cho các phiên bản tiêu chuẩn vào tháng 5.

• Cuộc đua cải thiện hiệu quả đào tạo mô hình rất quan trọng trong cuộc chiến giá bằng cách làm cho công nghệ trở nên phải chăng hơn cho các nhà khai thác và khách hàng của họ.

• Robin Li Yanhong, người sáng lập và CEO của Baidu, cho biết hiệu quả đào tạo mô hình LLM Ernie đã tăng hơn 5 lần trong vòng một năm. Hiệu suất suy luận của mô hình tăng 105 lần, giảm 99% chi phí suy luận.

• OpenAI cũng cho rằng những cải tiến hiệu quả gần đây là lý do cho mức giá thấp hơn nhiều của mô hình GPT-4 được ra mắt vào tháng 5.

📌 Tencent nâng cấp mạng HPC, cải thiện hiệu quả truyền thông mạng và đào tạo LLM lên 60% và 20%. Mạng Xingmai hỗ trợ 100.000 GPU, gấp đôi quy mô. Các công ty Trung Quốc đang tối ưu hóa hệ thống hiện có để thúc đẩy AI trong bối cảnh hạn chế tiếp cận chip tiên tiến của Mỹ.

https://www.scmp.com/tech/big-tech/article/3268901/tencent-boosts-ai-training-efficiency-without-nvidias-most-advanced-chips

 

Nvidia dự kiến đạt doanh thu 12 tỷ USD từ chip AI tại Trung Quốc năm nay bất chấp các biện pháp kiểm soát xuất khẩu của Mỹ

• Nvidia dự kiến sẽ bán được 12 tỷ USD chip AI tại Trung Quốc trong năm nay, bất chấp các biện pháp kiểm soát xuất khẩu của Mỹ.

• Công ty sẽ cung cấp hơn 1 triệu chip H20 mới trong những tháng tới, được thiết kế để tránh các hạn chế của Mỹ đối với việc bán bộ xử lý AI cho khách hàng Trung Quốc.

• Mỗi chip H20 có giá từ 12.000 đến 13.000 USD, dự kiến mang lại doanh thu trên 12 tỷ USD cho Nvidia.

• Con số này cao hơn doanh thu 10,3 tỷ USD từ toàn bộ hoạt động kinh doanh của Nvidia tại Trung Quốc trong năm tài chính kết thúc vào tháng 1/2024.

• Số lượng chip H20 bán ra gần gấp đôi so với dự kiến doanh số của sản phẩm cạnh tranh Ascend 910B do Huawei sản xuất tại Trung Quốc.

• Chính quyền Biden muốn hạn chế dòng chảy của các chip mạnh nhất thế giới đến Trung Quốc, lo ngại Bắc Kinh có thể sử dụng chúng để tạo ra các hệ thống AI mạnh mẽ hơn cho mục đích quân sự.

• Tình trạng thiếu chip AI đã ảnh hưởng đến khả năng cạnh tranh của các tập đoàn công nghệ Trung Quốc như ByteDance, Tencent và Alibaba với các công ty Mỹ như OpenAI, Microsoft, Meta và Google trong lĩnh vực AI.

• Dù doanh số tại Trung Quốc giảm trước khi ra mắt H20 vào mùa xuân này, các nhà phân tích cho rằng chip mới đang được vận chuyển với số lượng lớn và được khách hàng Trung Quốc ưa chuộng.

• Theo Dylan Patel của SemiAnalysis, mặc dù khả năng của H20 "trên giấy tờ" thấp hơn so với 910B của Huawei, nhưng trong thực tế chip của Nvidia "vượt trội hơn một chút" nhờ hiệu suất bộ nhớ vượt trội.

• Hầu hết các công ty AI Trung Quốc đã xây dựng mô hình AI của họ dựa trên hệ sinh thái và phần mềm của Nvidia. Việc chuyển sang cơ sở hạ tầng của Huawei sẽ tốn thời gian và chi phí.

📌 Bất chấp các hạn chế xuất khẩu của Mỹ, Nvidia dự kiến đạt doanh thu 12 tỷ USD từ chip AI H20 tại Trung Quốc trong năm nay, vượt xa đối thủ nội địa Huawei. Chip H20 được thiết kế để tránh các biện pháp kiểm soát, cho thấy khả năng thích ứng của Nvidia trước căng thẳng Mỹ-Trung trong lĩnh vực bán dẫn.

https://www.ft.com/content/b76ef55b-21cd-498b-ac16-5660908bb8d2

#FT

Startup GPU Trung Quốc nâng cấp giải pháp trung tâm dữ liệu AI, bất chấp lệnh cấm của Mỹ

• Moore Threads, startup GPU Trung Quốc thành lập năm 2020, vừa công bố nâng cấp giải pháp trung tâm dữ liệu AI KUAE, tăng số lượng GPU có thể kết nối trong một cụm máy tính lên 10.000.

• Đây là nỗ lực của các công ty Trung Quốc nhằm bắt kịp khả năng AI bất chấp lệnh cấm xuất khẩu chip tiên tiến của Mỹ sang Trung Quốc.

• KUAE là máy chủ trung tâm dữ liệu tích hợp 8 GPU MTT S400 của Moore Threads, được thiết kế cho các mô hình ngôn ngữ lớn (LLM).

• MTT S400 dựa trên kiến trúc MUSA tự phát triển, có 128 lõi tensor và 48GB bộ nhớ GPU, với băng thông bộ nhớ 768 GB/giây.

• Các GPU có thể liên kết với nhau bằng công nghệ MTLink do Moore Threads phát triển, cho phép kết nối nhiều GPU tạo thành hệ thống mạnh mẽ hơn.

• Moore Threads vừa hoàn thành vòng tài trợ mới lên tới 2,5 tỷ nhân dân tệ (343,7 triệu USD).

Mặc dù dẫn đầu lĩnh vực GPU đang bùng nổ ở Trung Quốc, Moore Threads vẫn thua kém Nvidia về hiệu năng sản phẩm. 

• Phiên bản cơ bản của GPU A100 của Nvidia có 40GB bộ nhớ GPU băng thông cao và băng thông bộ nhớ 1.555 GB/giây, cung cấp sức mạnh tính toán gấp 3 lần MTT S400.

Moore Threads đã ký thỏa thuận với các nhà khai thác viễn thông quốc doanh China Mobile, China Unicom và China Energy Engineering Corporation, cùng Gulin Huajue Big Data Technology để xây dựng 3 dự án cụm máy tính.

Công ty được thành lập bởi một cựu lãnh đạo Nvidia Trung Quốc và bị đưa vào danh sách đen thương mại của Mỹ vào tháng 10/2023.

• Nvidia gần đây đã vượt qua Microsoft và Apple để trở thành công ty có giá trị nhất thế giới với vốn hóa thị trường 3,34 nghìn tỷ USD vào tháng 6.

📌 Moore Threads, startup GPU Trung Quốc, nâng cấp giải pháp AI lên 10.000 GPU kết nối, thu hút 2,5 tỷ nhân dân tệ đầu tư mới. Dù vẫn thua kém Nvidia, đây là nỗ lực đáng kể để bắt kịp công nghệ AI bất chấp lệnh cấm của Mỹ.

https://www.scmp.com/tech/tech-war/article/3269185/chinese-gpu-start-moore-threads-upgrades-its-ai-data-centre-solution-despite-us-restrictions

Ngành ô tô Nhật đối mặt thách thức về chip AI, phụ thuộc vào công nghệ nước ngoài và chi phí cao.

• Startup xe tự lái Turing của Nhật Bản cho rằng ngành công nghiệp ô tô nước này đang phải đối mặt với chi phí cao hơn và có thể mất tự do thiết kế do chip AI ngày càng đắt đỏ và phụ thuộc nhiều vào các công ty nước ngoài như Nvidia.

• Motofumi Kashiwaya, trưởng nhóm phát triển bán dẫn của Turing, nhận định các công ty chip Nhật Bản giỏi về điều khiển xe thuần túy, nhưng trong lĩnh vực AI, Nvidia đã trở nên cạnh tranh hơn.

• Chip Orin do Nvidia thiết kế đã trở thành ứng cử viên chính cho việc xử lý hệ thống AI trên xe. GPU của Nvidia được coi là tốt nhất cho việc xử lý quy mô lớn cần thiết để đào tạo hoặc vận hành AI tiên tiến.

• Chi phí thiết kế một hệ thống trên chip (SoC) có thể lên tới ít nhất 10 tỷ yên (62 triệu USD) đối với các nhà sản xuất ô tô.

• Các công ty ô tô Nhật Bản đã thành lập liên minh ASRA để nghiên cứu chung và thống nhất một số thiết kế chip trong tương lai nhằm giảm chi phí.

• Keiji Yamamoto của Toyota cho rằng cán cân quyền lực giữa các nhà sản xuất ô tô và nhà sản xuất chip đã thay đổi, với các nhà sản xuất ô tô giờ đây phải chọn chip từ danh sách sản phẩm của các nhà sản xuất SoC toàn cầu.

• Turing đang phát triển chip AI riêng vì không tìm thấy chip hiện có nào có thể vận hành AI ở tốc độ cần thiết cho xe tự lái hoàn toàn.

• Công ty đặt cược vào AI tạo sinh, tin rằng đây là giải pháp tốt hơn so với cách tiếp cận thông thường kết hợp nhiều cảm biến với thuật toán AI dựa trên quy tắc.

• Turing dự kiến sẽ cần một mô hình AI "thông minh hơn" và chip mạnh mẽ hơn để vận hành AI đó. Sự kết hợp hiện tại giữa các mô hình AI tạo sinh và chip Nvidia vẫn chưa đáp ứng được yêu cầu của công ty.

• Turing đặt mục tiêu sản xuất chip thử nghiệm với số lượng nhỏ và khả năng hạn chế vào năm 2026. Chip mới, có tên mã Hummingbird, sẽ tập trung vào một mục đích duy nhất là chạy các chương trình AI tiên tiến trên xe.

• Công ty đã bắt đầu đàm phán ban đầu với các nhà máy sản xuất bán dẫn cho chip thử nghiệm và sẽ cần ít nhất vài trăm triệu yên để sản xuất thử nghiệm.

📌 Startup Turing cảnh báo ngành ô tô Nhật đối mặt thách thức về chip AI đắt đỏ và phụ thuộc công nghệ nước ngoài. Công ty đang phát triển chip AI riêng cho xe tự lái, dự kiến sản xuất thử nghiệm vào năm 2026 với chi phí hàng trăm triệu yên.

https://asia.nikkei.com/Business/Tech/Semiconductors/Japan-s-auto-industry-has-an-AI-chip-problem-says-self-driving-startup2

SK Hynix đặt cược lớn vào tương lai AI với kế hoạch đầu tư 74,8 tỷ USD đến 2028, tập trung vào chip HBM

• SK Hynix, công ty con sản xuất chip của SK Group, công bố kế hoạch đầu tư 103 nghìn tỷ won (74,8 tỷ USD) đến năm 2028.

Khoảng 80% số tiền đầu tư, tương đương 82 nghìn tỷ won, sẽ được dành cho phát triển chip bộ nhớ băng thông cao (HBM) - loại chip được tối ưu hóa để sử dụng với các bộ tăng tốc AI của Nvidia.

SK Telecom và SK Broadband cũng sẽ đầu tư 3,4 nghìn tỷ won vào mảng kinh doanh trung tâm dữ liệu, nhằm đón đầu xu hướng AI.

• Kế hoạch này được công bố sau cuộc họp chiến lược thường niên kéo dài 20 giờ giữa Chủ tịch SK Group Chey Tae-won và khoảng 20 lãnh đạo cấp cao.

• SK Group đặt mục tiêu tạo ra 80 nghìn tỷ won doanh thu từ hoạt động kinh doanh và tái cơ cấu đến năm 2026.

• Tập đoàn cũng nhắm tới việc đạt 30 nghìn tỷ won dòng tiền tự do trong 3 năm tới, đồng thời giữ tỷ lệ nợ trên vốn chủ sở hữu dưới 100%.

• Sau khi lỗ 10 nghìn tỷ won năm ngoái, SK Group kỳ vọng đạt lợi nhuận trước thuế 22 nghìn tỷ won năm nay và tăng lên 40 nghìn tỷ won vào năm 2026.

• SK Hynix đã công bố nhiều kế hoạch đầu tư lớn trong năm nay, bao gồm 3,87 tỷ USD xây dựng nhà máy đóng gói tiên tiến và trung tâm nghiên cứu sản phẩm AI tại Indiana, Mỹ.

• Tại Hàn Quốc, SK Hynix đang chi 14,6 tỷ USD xây dựng khu phức hợp chip nhớ mới và tiếp tục các khoản đầu tư trong nước khác như Cụm Bán dẫn Yongin.

• Kế hoạch đầu tư tham vọng này diễn ra trong bối cảnh Chủ tịch Chey Tae-won cần tìm 1 tỷ USD để giải quyết vụ ly hôn, dẫn đến đồn đoán ông sẽ có động thái thúc đẩy tập đoàn để chi trả cho vợ cũ.

📌 SK Hynix đặt cược lớn vào tương lai AI với kế hoạch đầu tư 74,8 tỷ USD đến 2028, tập trung vào chip HBM. SK Group nhắm mục tiêu lợi nhuận 40 nghìn tỷ won năm 2026, tăng gấp đôi so với dự kiến 2024, thể hiện tham vọng tái cơ cấu mạnh mẽ.

https://www.bloomberg.com/news/articles/2024-06-30/sk-hynix-plans-to-invest-75-billion-on-chips-through-2028

AI thúc đẩy đầu tư trung tâm dữ liệu tăng 28,5% và trở thành khối lượng công việc hàng đầu của server

• Theo báo cáo mới nhất của Omdia, AI đang là động lực chính thúc đẩy đầu tư vào trung tâm dữ liệu, dự kiến sẽ đẩy chi tiêu vốn cho các cơ sở này tăng gần 30% trong năm nay.

• AI đang trở thành danh mục phát triển nhanh nhất khi tính theo số lượng máy chủ triển khai mỗi năm. Dự báo AI sẽ vượt qua hầu hết các khối lượng công việc máy chủ khác như cơ sở dữ liệu và phân tích trong năm nay, và sẽ vượt qua viễn thông vào năm 2027.

• Chi tiêu vốn cho trung tâm dữ liệu dự kiến tăng 28,5% trong năm 2024, được hỗ trợ bởi dự trữ tiền mặt của các công ty hyperscaler lớn.

• Doanh số bán máy chủ dự kiến tăng 74% lên 210 tỷ USD trong năm nay, từ mức 121 tỷ USD năm 2023.

• Chi tiêu cho quản lý nhiệt trung tâm dữ liệu dự kiến tăng 22%, đạt 9,4 tỷ USD. Doanh thu cơ sở hạ tầng phân phối điện sẽ vượt 4 tỷ USD lần đầu tiên, và doanh thu bộ lưu điện sẽ tăng 10% lên 13 tỷ USD.

Số lượng máy chủ dùng để đào tạo mô hình AI dự kiến chỉ tăng 5%/năm, trong khi máy chủ dùng cho suy luận AI tăng 17%/năm. Nguyên nhân là nhu cầu máy chủ đào tạo AI chủ yếu đến từ một số ít hyperscaler, tập trung vào tối ưu hóa hiệu suất phần cứng.

• Đào tạo AI được coi là hoạt động R&D và sẽ được phân bổ ngân sách dựa trên kế hoạch, tức là một phần doanh thu được tái đầu tư.

• Ngược lại, số lượng máy chủ cần cho suy luận AI sẽ tăng khi số người dùng ứng dụng AI tăng lên.

• Nhu cầu phần cứng máy chủ mạnh mẽ hơn đã thúc đẩy sự bùng nổ trong triển khai hệ thống làm mát bằng chất lỏng.

• Công nghệ làm mát trực tiếp đến chip một pha là loại phổ biến nhất nhờ tính đơn giản và trưởng thành. Làm mát trực tiếp đến chip hai pha hiện vẫn là công nghệ ngách nhưng có triển vọng tăng trưởng đáng kể.

• Hệ thống làm mát ngâm chìm tăng trưởng chậm hơn dự kiến do rào cản quy định và chi phí, chủ yếu vẫn được sử dụng trong điện toán hiệu năng cao.

• Tổng doanh thu hệ thống làm mát bằng chất lỏng dự kiến vượt 5 tỷ USD vào năm 2028, đạt mốc 2 tỷ USD vào cuối năm nay.

📌 AI đang thúc đẩy mạnh mẽ đầu tư vào trung tâm dữ liệu, với chi tiêu vốn tăng 28,5% trong năm 2024. Doanh số máy chủ dự kiến đạt 210 tỷ USD, tăng 74%. Công nghệ làm mát bằng chất lỏng cũng bùng nổ, dự kiến đạt doanh thu 2 tỷ USD cuối năm nay và 5 tỷ USD vào năm 2028.

https://www.theregister.com/2024/06/28/datacenter_capex_tai/

Alibaba tiết lộ thiết kế mạng và trung tâm dữ liệu dùng để huấn luyện mô hình ngôn ngữ lớn

• Alibaba đã công bố thiết kế trung tâm dữ liệu mới dùng để huấn luyện mô hình ngôn ngữ lớn (LLM), sử dụng mạng dựa trên Ethernet.

Mỗi máy chủ trong hệ thống chứa 8 GPU và 9 NIC, mỗi NIC có 2 cổng 200 GB/giây.

• Thiết kế này đã được sử dụng trong sản xuất trong 8 tháng, nhằm tối đa hóa khả năng PCIe của GPU và tăng dung lượng gửi/nhận của mạng.

• Alibaba sử dụng NVlink cho mạng nội bộ trong máy chủ, cung cấp băng thông lớn hơn giữa các máy chủ.

• Mỗi cổng trên NIC được kết nối với một switch đầu giá khác nhau để tránh điểm lỗi đơn lẻ, một thiết kế mà Alibaba gọi là "rail-optimized".

Mỗi pod chứa 15.000 GPU và có thể được đặt trong một trung tâm dữ liệu duy nhất.

• Alibaba phát triển kiến trúc mạng mới này do các mô hình lưu lượng trong đào tạo LLM khác với điện toán đám mây thông thường, với lưu lượng entropy thấp và bùng nổ.

• Công ty tự thiết kế và tạo ra bộ tản nhiệt buồng hơi riêng, cùng với việc sử dụng nhiều cột bấc hơn ở trung tâm chip để tản nhiệt hiệu quả hơn.

Giải pháp làm mát này giúp duy trì nhiệt độ chip dưới 105°C, ngưỡng mà các switch bắt đầu tắt.

Mỗi tòa nhà trung tâm dữ liệu của Alibaba Cloud có giới hạn công suất tổng thể là 18MW, có thể chứa khoảng 15.000 GPU.

• Thiết kế này cho phép mỗi tòa nhà chứa một pod hoàn chỉnh, với phần lớn các liên kết nằm trong cùng một tòa nhà.

• Alibaba cũng cung cấp một trong những mô hình ngôn ngữ lớn tốt nhất thông qua mô hình Qwen của họ, được đào tạo trên 110 tỷ tham số.

📌 Alibaba đã phát triển một thiết kế trung tâm dữ liệu tiên tiến cho việc huấn luyện LLM, với mạng Ethernet tùy chỉnh và 15.000 GPU mỗi pod. Giải pháp làm mát độc đáo và kiến trúc mạng mới giúp tối ưu hóa hiệu suất và khả năng mở rộng cho đào tạo AI quy mô lớn.

https://www.techradar.com/pro/website-hosting/alibaba-unveils-its-network-and-datacenter-design-for-large-language-model-training

Chip AI Sohu tuyên bố chạy mô hình nhanh hơn và rẻ hơn 20 lần so với GPU Nvidia H100

• Startup Etched vừa công bố chip Sohu, một mạch tích hợp chuyên dụng (ASIC) được thiết kế riêng cho các mô hình transformer AI.

• Sohu tuyên bố vượt trội hơn GPU Nvidia H100 trong việc suy luận mô hình ngôn ngữ lớn (LLM).

Một máy chủ 8xSohu được cho là có hiệu suất tương đương 160 GPU H100, giúp trung tâm dữ liệu tiết kiệm chi phí ban đầu và vận hành.

• Các bộ tăng tốc AI hiện tại (CPU hoặc GPU) được thiết kế để hoạt động với nhiều kiến trúc AI khác nhau, dẫn đến việc phân bổ phần lớn sức mạnh tính toán cho khả năng lập trình.

• Etched ước tính chỉ 3,3% transistor của GPU Nvidia H100 được sử dụng cho phép nhân ma trận - nhiệm vụ chính của LLM.

• Kiến trúc transformer AI đã trở nên phổ biến gần đây, với các mô hình nổi tiếng như ChatGPT, Sora, Gemini, Stable Diffusion và DALL-E đều dựa trên nó.

• Etched đã đặt cược lớn vào transformer khi bắt đầu dự án Sohu cách đây vài năm, tích hợp kiến trúc này vào phần cứng.

• Chiến lược này cho phép Sohu phân bổ nhiều transistor hơn cho tính toán AI, tương tự như GPU chuyên biệt cho xử lý đồ họa.

• Sohu chỉ hoạt động với mô hình transformer, khác với các chip AI hiện tại có thể hỗ trợ nhiều kiến trúc khác nhau.

• Sự ra đời của Sohu có thể đe dọa vị thế dẫn đầu của Nvidia trong lĩnh vực AI, đặc biệt nếu các công ty chỉ sử dụng mô hình transformer chuyển sang Sohu.

• Hiệu quả là chìa khóa để chiến thắng trong cuộc đua AI, và Sohu hứa hẹn mang lại phần cứng nhanh nhất và giá cả phải chăng nhất.

• Các chuyên gia lo ngại về khủng hoảng tiêu thụ điện năng do cơ sở hạ tầng AI gây ra. Mark Zuckerberg cho rằng nguồn cung điện sẽ hạn chế sự phát triển của AI.

• Các GPU bán ra năm ngoái tiêu thụ nhiều điện hơn 1,3 triệu hộ gia đình.

• Nếu cách tiếp cận của Etched với Sohu thành công, có thể giảm nhu cầu điện năng cho AI xuống mức quản lý được, cho phép lưới điện bắt kịp khi nhu cầu tính toán tăng lên một cách bền vững hơn.

📌 Chip AI Sohu của Etched hứa hẹn hiệu suất gấp 20 lần Nvidia H100 với chi phí thấp hơn. Thiết kế chuyên biệt cho mô hình transformer có thể cách mạng hóa trung tâm dữ liệu AI, giảm tiêu thụ điện từ 1,3 triệu hộ gia đình xuống mức bền vững hơn.

https://www.tomshardware.com/tech-industry/artificial-intelligence/sohu-ai-chip-claimed-to-run-models-20x-faster-and-cheaper-than-nvidia-h100-gpus

Huawei gặp khó khăn trong sản xuất GPU do lệnh trừng phạt của Mỹ

• Huawei đang gặp khó khăn trong việc tăng sản lượng GPU Ascend 910B do các lệnh trừng phạt của Mỹ

• Ascend 910B được coi là câu trả lời của Trung Quốc cho GPU của Nvidia, có hiệu năng tương đương A100 của Nvidia

• Chip được cho là thiết kế nội bộ của Huawei, sản xuất bởi SMIC trên quy trình 7nm

• Khách hàng Trung Quốc ưa chuộng Ascend 910B hơn các GPU đặc biệt của Nvidia dành cho thị trường này

• Vấn đề nằm ở thiết bị sản xuất chip tiên tiến được thiết kế cho các quy trình cũ hơn, gây ra các vấn đề kỹ thuật khi tái sử dụng

• Mỹ tiếp tục siết chặt việc cung cấp thiết bị sản xuất chip cho Trung Quốc, thuyết phục cả đồng minh như Nhật Bản và Hà Lan tham gia

• Thiết bị EUV tiên tiến nhất đã bị cấm bán cho Trung Quốc, năm ngoái Mỹ mở rộng lệnh cấm sang cả một số thiết bị DUV

Năm nay, Mỹ thuyết phục các nhà cung cấp thiết bị sản xuất chip không thực hiện các thỏa thuận bảo trì với các công ty bán dẫn Trung Quốc

• Chủ tịch Tập Cận Bình kêu gọi tăng cường đổi mới khoa học công nghệ, đặc biệt trong 6 lĩnh vực bao gồm bán dẫn

• Ông Tập nhấn mạnh việc đảm bảo các chuỗi công nghiệp và cung ứng quan trọng độc lập, an toàn và có thể kiểm soát được

• Mục tiêu của Trung Quốc là trở thành "cường quốc công nghệ" vào năm 2035

• Ông Tập cho rằng "cuộc cách mạng khoa học công nghệ và cuộc chơi giữa các cường quốc đan xen lẫn nhau"

• Huawei được cho là đang nghiên cứu phát triển thiết bị sản xuất chip riêng gần Thượng Hải, bao gồm cả máy quang khắc

📌 Huawei gặp khó trong sản xuất GPU Ascend 910B do lệnh cấm Mỹ. Chủ tịch Tập kêu gọi Trung Quốc tự chủ công nghệ, đặt mục tiêu thành cường quốc công nghệ năm 2035. Cuộc đua công nghệ giữa các nước lớn ngày càng gay gắt, tập trung vào lĩnh vực bán dẫn.

https://www.theregister.com/2024/06/26/huawei_struggling_to_ramp_gpu/

AMD tiết lộ kế hoạch xây dựng cụm AI "quái vật" với 1,2 triệu GPU, vượt xa mọi siêu máy tính hiện có

• AMD đang cân nhắc xây dựng một cụm AI khổng lồ với khoảng 1,2 triệu GPU, gấp hơn 20 lần số lượng GPU trong các siêu máy tính mạnh nhất hiện nay.

• Thông tin này được tiết lộ bởi Forrest Norrod, Phó Chủ tịch kiêm Tổng Giám đốc mảng kinh doanh trung tâm dữ liệu của AMD, trong một cuộc phỏng vấn với The Next Platform.

• Norrod mô tả quy mô của dự án này là "đáng kinh ngạc" và thừa nhận rằng nó có thể sẽ được thực hiện hoặc không.

• Các công ty đang cân nhắc chi hàng chục tỷ, thậm chí cả trăm tỷ đô la cho các dự án AI trong tương lai.

• Để so sánh, siêu máy tính Frontier của AMD hiện đang xếp hạng số 1 thế giới, với chi phí chỉ 600 triệu đô la và có 37.888 GPU MI250X.

• AMD đã chiếm 30% thị phần CPU trong thị trường trung tâm dữ liệu, nhưng vẫn đang phải đối mặt với sự cạnh tranh gay gắt từ Nvidia trong lĩnh vực GPU.

• Ưu tiên hàng đầu của AMD là giảm thiểu ma sát trong việc áp dụng công nghệ của họ, đặc biệt khi Nvidia đang thống trị không chỉ về phần cứng mà còn cả phần mềm CUDA.

• Khi được hỏi liệu AMD có thể tạo ra một bản sao của phần cứng Nvidia để bán hay không, Norrod trả lời rằng họ "không thể làm điều đó".

• Dự án này, nếu được thực hiện, sẽ đánh dấu một bước tiến quan trọng trong cuộc đua AI và có thể thay đổi cục diện của ngành công nghiệp siêu máy tính.

• Việc xây dựng một cụm AI với quy mô như vậy sẽ đòi hỏi một khoản đầu tư khổng lồ về tài chính và công nghệ, vượt xa chi phí của các siêu máy tính hiện tại.

• Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua, bao gồm cả việc phát triển công nghệ để quản lý và vận hành một hệ thống lớn như vậy.

📌 AMD tiết lộ kế hoạch xây dựng cụm AI với 1,2 triệu GPU, gấp 20 lần siêu máy tính hiện tại. Dự án tham vọng này có thể đòi hỏi đầu tư hàng trăm tỷ đô la, đánh dấu bước ngoặt trong ngành AI và siêu máy tính.

https://www.extremetech.com/computing/amd-says-an-ai-cluster-with-12-million-gpus-could-be-in-the-cards

Intel Lunar Lake: Chip AI sẽ đánh bại cả Apple M3 và Qualcomm Snapdragon X?

• Intel sắp ra mắt dòng chip Lunar Lake mới cho laptop, hứa hẹn mang lại hiệu năng và hiệu suất năng lượng vượt trội so với thế hệ Meteor Lake trước đó.

• Lunar Lake sử dụng thiết kế SoC tích hợp CPU, NPU và GPU Xe2 trên cùng một chip. NPU có hiệu năng 48 TOPS, GPU trên 67 TOPS, tổng cộng trên 100 TOPS cho tính toán AI.

• Cấu trúc chip mới gồm 4 nhân P-core "Lion Cove" và 4 nhân E-core "Skymount". E-core mới mạnh hơn và tiết kiệm điện hơn P-core 2023 ở tốc độ xung nhịp thông thường của laptop.

• GPU Xe2 tích hợp cải thiện 1,5 lần so với Meteor Lake trong 3DMark Time Spy. Hỗ trợ ray tracing và các công nghệ mới.

• RAM LPDDR5X 16GB hoặc 32GB được tích hợp sẵn trên chip, không thể nâng cấp sau.

• Intel hứa hẹn thời lượng pin tăng 60% so với Meteor Lake nhờ các cải tiến như RAM tích hợp, E-core tiết kiệm điện và Enhanced Intel Thread Director mới.

• So với Qualcomm Snapdragon X và Apple M3/M4, Intel tự tin Lunar Lake sẽ cạnh tranh sát sao về hiệu năng và thời lượng pin.

• Lunar Lake dự kiến ra mắt vào mùa lễ hội cuối năm 2024.

• Vẫn cần chờ đợi các bài đánh giá thực tế để biết chính xác hiệu năng và thời lượng pin của Lunar Lake so với đối thủ.

• Khoảng cách về thời lượng pin giữa laptop Windows và macOS đang dần được thu hẹp nhờ các cải tiến từ Intel và Qualcomm.

📌 Intel Lunar Lake hứa hẹn mang lại cuộc cách mạng cho laptop Windows với hiệu năng AI trên 100 TOPS, thời lượng pin tăng 60% và khả năng cạnh tranh ngang ngửa Apple M3/M4. Dự kiến ra mắt cuối 2024, Lunar Lake sẽ thu hẹp khoảng cách giữa laptop Windows và macOS.

https://www.makeuseof.com/what-are-intel-ai-lunar-lake-chips/

Alibaba Cloud ra mắt hàng nghìn mô hình AI Trung Quốc ra toàn cầu

- Alibaba Cloud đã tạo ra phiên bản tiếng Anh của Modelscope, dịch vụ cung cấp mô hình AI dưới dạng dịch vụ (models-as-service).
- Modelscope ra mắt từ năm 2022, tương tự như AWS Bedrock hay Azure OpenAI Studio, cung cấp thư viện các mô hình nền tảng từ nhiều nguồn để tích hợp vào ứng dụng trên nền tảng đám mây.
- Alibaba Cloud tuyên bố có hơn 5 triệu nhà phát triển sử dụng Modelscope từ khi ra mắt, với hơn 5.000 mô hình.
- Dịch vụ bao gồm các mô hình "Qwen" của Alibaba Cloud và nhiều mô hình từ các startup Trung Quốc.
- Modelscope cung cấp hơn 1.500 bộ dữ liệu tiếng Trung chất lượng cao và nhiều công cụ hỗ trợ xử lý dữ liệu.
- Phiên bản tiếng Anh của Modelscope quan trọng vì tiếng Anh phổ biến hơn tiếng Quan Thoại ở các thị trường mục tiêu của Alibaba Cloud như Đông Nam Á.
- Alibaba Cloud đứng thứ 3 về thị phần doanh thu đám mây ở một số thị trường châu Á, đôi khi vượt qua cả Google.
- Alibaba Cloud có tham vọng lớn với 89 khu vực khả dụng tại 30 vùng, trong đó 16 vùng nằm ngoài Trung Quốc đại lục.
- Tuy nhiên, Alibaba Cloud không tránh khỏi lo ngại về luật an ninh quốc gia của Trung Quốc buộc phải chia sẻ thông tin với Bắc Kinh khi được yêu cầu.
- Nhiều khách hàng phương Tây cho rằng Alibaba Cloud có mức rủi ro cao hơn so với các đối thủ.
- Chính phủ Mỹ đã hạn chế hoạt động của các nhà mạng Trung Quốc như China Mobile, China Telecom và China Unicom vì lo ngại an ninh quốc gia.

📌 Modelscope phiên bản tiếng Anh của Alibaba Cloud cung cấp hơn 5.000 mô hình AI và 1.500 bộ dữ liệu tiếng Trung chất lượng cao. Tuy nhiên, dịch vụ này vẫn gặp phải lo ngại về rủi ro địa chính trị do luật an ninh quốc gia của Trung Quốc, khiến nhiều khách hàng phương Tây e dè bất chấp tiềm năng hấp dẫn của các mô hình và dữ liệu được cung cấp.

https://www.theregister.com/2024/06/25/alibaba_modelscope_english_translation/

Tâm lý "sợ bỏ lỡ" của Singapore giữa sự trỗi dậy của trung tâm dữ liệu AI

- Singapore gần đây bất ngờ thông báo sẽ giải phóng thêm năng lượng cho việc mở rộng trung tâm dữ liệu, sau khi các CEO của Nvidia, Google, Microsoft cam kết đầu tư hàng tỷ USD vào trung tâm dữ liệu, điện toán đám mây và AI ở Malaysia.
- Từ 2019-2022, Singapore đã cấm xây dựng trung tâm dữ liệu mới do tiêu thụ quá nhiều tài nguyên. Lệnh cấm này đẩy các công ty sang Johor (Malaysia) và Batam (Indonesia).
- Singapore, như nhiều nước khác, đã đánh giá thấp mức độ tăng trưởng nhu cầu về AI sẽ mở rộng thị trường trung tâm dữ liệu toàn cầu. Nước này muốn trở thành trung tâm AI của Đông Nam Á.
- Singapore không thể cạnh tranh về đất đai và năng lượng với các nước láng giềng, nhưng có thể bổ trợ cho nhau. Johor được các gã khổng lồ công nghệ ưa chuộng vì gần Singapore - nơi kết nối mạnh mẽ.
- Singapore có thể thúc đẩy chiến lược "Singapore + 1", trong đó các công ty đặt trụ sở tại Singapore để tận dụng môi trường kinh doanh quốc tế, các hiệp định thương mại tự do và nguồn nhân tài, nhưng đặt cơ sở sản xuất hoặc trung tâm dữ liệu ở những nơi như Johor.
- Từ 2013-2022, Singapore là nước nhận vốn FDI cao nhất Đông Nam Á, chiếm hơn 50% tổng lượng vốn của khu vực năm 2022 (141 tỷ USD).

📌 Singapore đang chứng kiến sự trỗi dậy của trung tâm dữ liệu AI và tâm lý "sợ bỏ lỡ" khi các nước láng giềng như Malaysia thu hút đầu tư khổng lồ từ các gã khổng lồ công nghệ. Tuy nhiên, với vị thế kết nối mạnh mẽ và môi trường kinh doanh thuận lợi, Singapore hoàn toàn có thể bổ trợ và hưởng lợi từ xu hướng này thông qua các chiến lược như "Singapore + 1".

https://www.ft.com/content/49f6b682-311b-4ab1-b6bc-2ec8e1feec0b

#FT

Supermicro đang hưởng lợi từ sự bùng nổ của AI với doanh thu tăng 200% so với năm ngoái

- Doanh thu của Supermicro tăng 200% so với năm ngoái nhờ nhu cầu về máy chủ AI từ các doanh nghiệp. Các nhà phân tích dự đoán doanh thu của công ty có thể tăng gấp đôi trong 1-2 năm tài chính tới.

- Elon Musk thông báo Dell và Supermicro sẽ cung cấp mỗi bên một nửa máy chủ cho startup AI xAI. Tăng trưởng của Supermicro vượt qua cả Dell gần đây.

- Supermicro sẽ sản xuất 5.000 giá đỡ thiết bị mỗi tháng tại nhà máy mới ở Malaysia từ quý 4. Công nghệ làm mát chất lỏng trực tiếp (DLC) độc quyền của công ty dự kiến tăng trưởng 2.900% trong 2 năm.

- DLC sẽ được cài đặt trong 15% giá đỡ mà công ty xuất xưởng năm nay và tăng gấp đôi vào năm tới. CEO Charles Liang dự đoán 20% trung tâm dữ liệu sẽ sớm áp dụng công nghệ làm mát bằng chất lỏng.

- Trung tâm dữ liệu sử dụng làm mát bằng chất lỏng tiêu thụ ít năng lượng hơn và cho phép triển khai mật độ cao, năng suất hơn. Điều này tạo thách thức cho các đối thủ mới trong lĩnh vực suy luận AI muốn loại bỏ GPU.

📌 Supermicro đang tận dụng sự bùng nổ của AI với doanh thu tăng 200%, cung cấp giải pháp máy chủ và công nghệ DLC cho các trung tâm dữ liệu. Công ty dự kiến sản lượng DLC tăng 2.900% trong 2 năm tới, giúp giảm tiêu thụ năng lượng và tăng mật độ triển khai, đồng thời tạo thách thức cho các đối thủ mới muốn loại bỏ GPU trong lĩnh vực AI.

https://venturebeat.com/ai/nvidia-gets-the-glory-but-supermicro-is-the-unsung-hero-of-the-ai-revolution-learn-more-at-vb-transform/

Chip Blackwell của Nvidia đánh dấu bước tiến vượt bậc về hiệu quả năng lượng, với mức cải thiện ấn tượng 25 lần

- Thách thức về tiêu thụ năng lượng là một trở ngại đáng kể trong lĩnh vực AI tạo sinh, bất chấp tiềm năng to lớn của nó. Hiểu được chi phí liên quan đến các hệ thống này là rất quan trọng để chúng được áp dụng rộng rãi.

- Nvidia Corporation đã giới thiệu nền tảng Blackwell như giải pháp thế hệ tiếp theo, nhằm giải quyết vấn đề then chốt này. So với người tiền nhiệm Hopper, nền tảng Blackwell thể hiện những tiến bộ đáng kể về hiệu quả chi phí và tiết kiệm năng lượng.

- Mỗi chip Nvidia H100 tiêu thụ 700W năng lượng ở hiệu suất đỉnh, vượt quá mức tiêu thụ điện năng của một hộ gia đình Mỹ trung bình. Tổng cộng, chip AI hiệu suất cao của NVDA được ước tính sẽ vượt quá mức tiêu thụ năng lượng của nhiều quốc gia nhỏ.

- Nền tảng Blackwell của NVDA là một bước đột phá, với cải tiến đáng kể 25 lần về hiệu quả năng lượng. Tiến bộ này không chỉ củng cố vị trí dẫn đầu của NVDA trong ngành mà còn giúp việc vận hành chip của họ bền vững về mặt kinh tế.

- Nền tảng sắp tới của NVDA, Rubin, dự kiến ra mắt vào năm 2026, được kỳ vọng sẽ tiếp tục cải tiến khả năng tiết kiệm năng lượng do Blackwell mang lại, tận dụng các đổi mới công nghệ như CPU Versa và Bộ nhớ HBM4 để tăng cường lợi thế cạnh tranh của NVDA.

📌 Chip Blackwell của Nvidia đánh dấu bước tiến vượt bậc về hiệu quả năng lượng, với mức cải thiện ấn tượng 25 lần. Điều này mở đường cho việc triển khai rộng rãi các chip NVDA, được hỗ trợ bởi đường ống sản phẩm mới mạnh mẽ như nền tảng Rubin và hệ sinh thái phần mềm, bất chấp những lo ngại về định giá và cạnh tranh gay gắt.

Citations:
[1] https://seekingalpha.com/article/4700723-nvidia-blackwell-finally-addresses-an-ai-bottleneck
[2] https://www.scmp.com/tech/tech-war/article/3265192/new-nvidia-blackwell-gpus-put-china-further-behind-global-leading-edge-ai-chips-amid-us-sanctions
[3] https://asia.nikkei.com/Business/Tech/Semiconductors/Nvidia-unveils-Blackwell-GPU-for-AI-as-successor-to-Hopper-chip
[4] https://devs-core.com/unveiling-potential-nvidias-blackwell-ai-chip/
[5] https://www.amax.com/top-5-considerations-for-deploying-nvidia-blackwell/

Cuộc đua kịch tính giữa SoftBank, KDDI biến nhà máy LCD thành trung tâm dữ liệu AI khổng lồ

- Đầu tháng 6/2024, KDDI thông báo hợp tác với Sharp để biến nhà máy LCD gặp khó khăn ở Sakai thành trung tâm dữ liệu AI. Chỉ 4 ngày sau, SoftBank tuyên bố đã giành quyền đàm phán độc quyền để mua lại phần lớn nhà máy này từ Sharp.

- Nhà máy Sakai nằm trên khu công nghiệp rộng khoảng 700.000 m2 được xây dựng trên đất lấn biển ở vịnh Osaka. Đây là nhà máy chính sản xuất màn hình TV lớn của Sharp. Tuy nhiên, Sharp sẽ ngừng sản xuất các tấm nền LCD này từ tháng 9 do cạnh tranh gay gắt từ các đối thủ Trung Quốc.

- SoftBank dường như đang dẫn đầu khi đàm phán mua 60% nhà máy Sakai, bao gồm nhà máy tấm nền TV chính và các cơ sở điện, khí đốt. Họ sẽ biến nhà máy thành trung tâm dữ liệu khi tập trung vào các lĩnh vực AI. SoftBank Group có kế hoạch chi 10 nghìn tỷ yên (63 tỷ USD) để trở thành một thế lực về AI.

- KDDI cho biết họ đang đàm phán với Sharp và các công ty như Super Micro Computer của Mỹ, nhằm xây dựng "một trong những trung tâm dữ liệu AI lớn nhất châu Á", sử dụng 1.000 hệ thống AI quy mô giá đỡ do Nvidia thiết kế. Tuy nhiên, việc SoftBank tham gia vào cuộc đua có thể khiến KDDI gặp khó khăn hơn trong đàm phán.

- Việc chuyển đổi nhà máy LCD thành trung tâm dữ liệu AI cho thấy nhu cầu cấp bách của Nhật Bản về năng lực tính toán AI. Xây dựng trung tâm dữ liệu mới có thể mất nhiều năm. Tại Nhật, tỷ lệ lấp đầy của các trung tâm dữ liệu ở Tokyo đã lên tới 87% vào cuối năm 2023.

- Nhà máy Sakai đặc biệt phù hợp để chuyển đổi thành trung tâm dữ liệu AI nhờ các tiện ích điện và nguồn nước làm mát sẵn có, vốn được xây dựng để đáp ứng nhu cầu sản xuất LCD. Vị trí của nó ở Osaka cũng thuận lợi để phân tán năng lực tính toán, tránh gián đoạn khi xảy ra thảm họa.

- Đối với Sharp, việc chuyển đổi nhà máy Sakai có thể là giải pháp cho vấn đề thua lỗ kéo dài từ mảng kinh doanh LCD. Tuy nhiên, vẫn chưa rõ số phận của khoảng 800 công nhân, chủ yếu trong lĩnh vực sản xuất, tại nhà máy này sau khi ngừng sản xuất tấm nền LCD vào tháng 9.

📌 Cuộc đua giữa các công ty viễn thông lớn của Nhật Bản như SoftBank và KDDI nhằm biến nhà máy LCD của Sharp ở Sakai thành trung tâm dữ liệu AI khổng lồ cho thấy tham vọng của Nhật trong lĩnh vực trí tuệ nhân tạo. Với cơ sở hạ tầng điện, nước làm mát sẵn có và vị trí thuận lợi, nhà máy Sakai hứa hẹn sẽ trở thành một mắt xích quan trọng giúp Nhật Bản nhanh chóng có được năng lực tính toán AI đáng kể, qua đó trở thành một cường quốc về AI trong tương lai gần. Tuy nhiên, vẫn còn nhiều vấn đề cần giải quyết như việc sắp xếp lại lực lượng lao động tại nhà máy sau khi chuyển đổi.

https://asia.nikkei.com/Business/Business-Spotlight/The-AI-scramble-Why-SoftBank-KDDI-and-others-are-racing-for-Sharp-s-LCD-factory

Elon Musk tuyên bố siêu cụm máy tính AI mới của Tesla sẽ tăng lên hơn 500 MW trong 18 tháng tới

- Elon Musk tuyên bố siêu cụm máy tính AI mới của Tesla sẽ tăng lên hơn 500 MW trong 18 tháng tới, trở thành một trong những cụm lớn nhất thế giới.
- Tesla đang gặp khó khăn trong việc xây dựng mở rộng Gigafactory Texas để chứa siêu máy tính khổng lồ mới nhằm huấn luyện AI.
- Ban đầu, Tesla đặt mục tiêu cụm 100 MW sẵn sàng vào tháng 8. Musk đã hủy các dự án khác để tập trung nguồn lực xây dựng cho việc mở rộng này.
- Musk xác nhận Tesla dự định sử dụng cả phần cứng của riêng mình và của Nvidia cũng như các nhà cung cấp khác.
- Có sự không rõ ràng khi Musk ám chỉ Tesla sẽ sử dụng một số máy tính HW4 cho các cụm huấn luyện, trong khi HW4 thường đề cập đến máy tính trong xe của Tesla.
- Musk đề cập tại cuộc họp cổ đông rằng Tesla hiện có chip AI đẳng cấp Nvidia, nhưng cổ phiếu hầu như không dao động trước thông báo này.
- Nỗ lực AI của Tesla vẫn chưa thực sự đáng tin cậy đối với thị trường do những tuyên bố chưa thành hiện thực về khả năng tự lái trong 5 năm qua.
- Tesla cần thể hiện cải tiến đáng kể với FSD qua mỗi bản cập nhật mới. Siêu cụm máy tính mới dường như sẽ giúp đạt được điều này.

📌 Elon Musk tuyên bố siêu cụm máy tính AI 500 MW của Tesla sẽ trở thành một trong những cụm lớn nhất thế giới, đồng thời đạt hiệu suất kỷ lục với chip AI thế hệ tiếp theo. Tuy nhiên, nỗ lực AI của Tesla vẫn chưa thực sự thuyết phục thị trường do những cam kết chưa thành về khả năng tự lái trong nhiều năm qua.

https://electrek.co/2024/06/20/elon-musk-tesla-new-ai-supercluster-over-500-mw-record-ai-chip/

siêu máy tính ai azure: sức mạnh đằng sau những mô hình ngôn ngữ lớn nhất thế giới

- Azure đã phát triển từ sử dụng một thiết kế máy chủ tiêu chuẩn duy nhất đến nhiều loại máy chủ khác nhau, bao gồm GPU và bộ tăng tốc AI.

- Quy mô của các hệ thống cần thiết để chạy các nền tảng AI này là rất lớn. Siêu máy tính huấn luyện AI đầu tiên của Microsoft có 10.000 GPU Nvidia V100 và xếp thứ 5 trong bảng xếp hạng siêu máy tính toàn cầu. Đến tháng 11/2023, phiên bản mới nhất có 14.400 GPU H100 và xếp thứ 3.

- Tính đến tháng 6/2024, Microsoft có hơn 30 siêu máy tính tương tự trên toàn thế giới. Mô hình nguồn mở Llama-3-70B cần 6,4 triệu giờ GPU để huấn luyện, tương đương 730 năm trên một GPU. Nhưng với siêu máy tính AI của Microsoft, một lần chạy huấn luyện chỉ mất khoảng 27 ngày.

- Microsoft đã phát triển bộ tăng tốc suy luận Maia của riêng mình, sử dụng hệ thống làm mát chất lỏng kín mới. Project POLCA của Azure nhằm tăng hiệu quả bằng cách cho phép nhiều hoạt động suy luận chạy cùng lúc.

- Microsoft đã đầu tư đáng kể vào các kết nối InfiniBand băng thông cao, sử dụng 1,2TBps kết nối nội bộ trong máy chủ và 400Gbps giữa các GPU riêng lẻ trong các máy chủ khác nhau.

- Project Forge cung cấp công cụ quản lý tài nguyên và lan truyền tải trên các loại tính toán AI khác nhau. Nó xem tất cả các bộ tăng tốc AI có sẵn trong Azure như một nhóm duy nhất, gọi là One Pool.

- Project Flywheel có thể đảm bảo hiệu suất bằng cách xen kẽ các hoạt động từ nhiều lời nhắc trên các GPU ảo. Azure hiện có thể có VM bảo mật hoàn toàn, bao gồm cả GPU, với các thông điệp được mã hóa giữa CPU và môi trường thực thi đáng tin cậy của GPU.

📌 Microsoft đang đầu tư mạnh mẽ vào cơ sở hạ tầng và nền tảng AI, với hơn 30 siêu máy tính trên toàn cầu, mỗi máy có tới 14.400 GPU H100. Các công nghệ như bộ tăng tốc suy luận Maia, mạng InfiniBand 1,2TBps, Project Forge và Project Flywheel giúp tăng hiệu quả, độ tin cậy và bảo mật cho cả quá trình huấn luyện và suy luận AI quy mô lớn.

https://www.infoworld.com/article/3715661/inside-todays-azure-ai-cloud-data-centers.html

Mỹ tìm kiếm sự hỗ trợ từ Nhật Bản và Hà Lan để hạn chế tiến bộ của Trung Quốc trong lĩnh vực chip AI

- Một quan chức cấp cao của Mỹ sẽ đến thăm Nhật Bản và Hà Lan để yêu cầu hai nước này áp đặt thêm các hạn chế đối với ngành công nghiệp bán dẫn của Trung Quốc, đặc biệt là khả năng sản xuất các chip bộ nhớ băng thông cao (HBM) cần thiết cho trí tuệ nhân tạo (AI).
- Alan Estevez, Thứ trưởng Bộ Thương mại Mỹ phụ trách Công nghiệp và An ninh, sẽ thúc giục các đối tác ở Tokyo và The Hague hạn chế hoạt động của các nhà cung cấp thiết bị bán dẫn ASML Holding NV của Hà Lan và Tokyo Electron Ltd. của Nhật Bản tại Trung Quốc.
- Các nhà máy chip của Trung Quốc đang phát triển các chip HBM, bao gồm Wuhan Xinxin Semiconductor Manufacturing Co., một công ty con của Yangtze Memory Technologies Co., Huawei Technologies Co., và ChangXin Memory Technologies Inc.
- Chính quyền Biden đã cố gắng trong nhiều năm để hạn chế khả năng mua và sản xuất các chip bán dẫn tiên tiến của Trung Quốc, nhưng kết quả vẫn chưa đạt được như mong đợi. Mỹ đang tìm kiếm sự hỗ trợ từ các đồng minh để tạo ra một lệnh cấm toàn cầu hiệu quả hơn.
- Estevez dự kiến sẽ lặp lại yêu cầu của Mỹ về việc thắt chặt các hạn chế đối với khả năng bảo trì và sửa chữa thiết bị tiên tiến của ASML và Tokyo Electron tại Trung Quốc.
- Chuyến thăm của phái đoàn Mỹ đến Hà Lan dự kiến sẽ diễn ra sau khi nội các mới của Hà Lan được tuyên thệ vào tuần đầu tiên của tháng 7. Reinette Klever của Đảng Tự do của Geert Wilders dự kiến sẽ trở thành Bộ trưởng Thương mại và Phát triển Ngoại thương.
- Chính phủ Hà Lan và Nhật Bản đã chống lại áp lực từ Mỹ, muốn có thêm thời gian để đánh giá tác động của các lệnh cấm xuất khẩu hiện tại và chờ kết quả của cuộc bầu cử tổng thống Mỹ vào tháng 11.
- Người phát ngôn Bộ Ngoại giao Trung Quốc Lin Jian cho biết Trung Quốc phản đối các nỗ lực của Mỹ nhằm "ép buộc các quốc gia khác đàn áp ngành công nghiệp bán dẫn của Trung Quốc."
- Các chip HBM là một phần không thể thiếu của hệ sinh thái phần cứng AI vì chúng tăng tốc độ truy cập bộ nhớ, giúp phát triển AI. Các bộ tăng tốc AI, được sản xuất bởi Nvidia Corp. và Advanced Micro Devices Inc., cần được kết hợp với các chip HBM để hoạt động.
- SK Hynix Inc. là nhà sản xuất hàng đầu của các chip HBM, với Samsung Electronics Co. và Micron Technology Inc. của Mỹ đang cố gắng bắt kịp. SK Hynix dựa vào thiết bị từ ASML và Tokyo Electron.
- Các nhà sản xuất thiết bị Hàn Quốc như Hanmi Semiconductor Co. và Hanwha Precision Machinery Co. cũng đóng vai trò quan trọng trong chuỗi cung ứng HBM. Washington đã yêu cầu Seoul hạn chế dòng chảy thiết bị và công nghệ sản xuất chip logic và bộ nhớ cao cấp đến Trung Quốc.
- Các công ty Trung Quốc không còn có thể mua các chip AI tiên tiến nhất từ Nvidia, nhưng Huawei đang phát triển các bộ tăng tốc AI của riêng mình, gọi là Ascend. Không rõ công ty nào đang cung cấp các chip bộ nhớ tiên tiến cho Huawei.

📌 Mỹ đang tìm kiếm sự hỗ trợ từ Nhật Bản và Hà Lan để hạn chế tiến bộ của Trung Quốc trong lĩnh vực chip AI, đặc biệt là các chip bộ nhớ băng thông cao. Các cuộc thảo luận sẽ tập trung vào việc áp đặt thêm các hạn chế đối với ASML và Tokyo Electron.

https://www.bloomberg.com/news/articles/2024-06-18/us-to-seek-curbs-on-asml-tokyo-electron-support-for-china-s-ai-memory-chips

CEO HPE ra mắt phần cứng AI đơn giản hóa việc triển khai AI cho doanh nghiệp

- Tại hội nghị ở Las Vegas, CEO HPE Antonio Neri giới thiệu dòng sản phẩm phần cứng, phần mềm và dịch vụ mới nhằm giúp các doanh nghiệp triển khai các ứng dụng AI một cách dễ dàng.

- Kể từ khi ChatGPT ra mắt năm 2022, các doanh nghiệp đang nỗ lực phát triển và tích hợp AI để tận dụng lượng dữ liệu khổng lồ họ lưu trữ. Tuy nhiên, chip, phần cứng và phần mềm cần thiết để xây dựng và vận hành AI thường phức tạp và rủi ro.

- HPE cho rằng có hàng chục công ty đang xây dựng các mô hình AI tiên tiến và hơn 100 chính phủ quan tâm đến việc xây dựng siêu máy tính và cơ sở hạ tầng điện toán đám mây. Nhưng cơ hội lớn nằm ở việc bán phần cứng AI cho nhóm doanh nghiệp lớn không tập trung vào đẩy ranh giới công nghệ.

- Neri nói rằng thông báo này nhằm đẩy nhanh việc triển khai AI cho phân khúc khách hàng doanh nghiệp, thúc đẩy cuộc cách mạng công nghiệp.

- Hiện tại, mảng kinh doanh AI cho phân khúc này chiếm khoảng 15% doanh thu AI của HPE, phần lớn còn lại đến từ các công ty điện toán đám mây lớn như Amazon và Microsoft. 

- HPE sẽ cung cấp máy chủ sử dụng GPU tiên tiến của Nvidia cho tính toán AI, cùng nhiều phần cứng và phần mềm khác. Dòng sản phẩm máy chủ và dịch vụ mới sẽ có mặt vào mùa thu năm nay.

📌 HPE đang nhắm đến cơ hội lớn trong việc cung cấp giải pháp phần cứng, phần mềm và dịch vụ AI đơn giản hóa cho các doanh nghiệp, chiếm 15% doanh thu AI hiện tại của họ. Với việc tung ra dòng sản phẩm mới vào mùa thu, HPE kỳ vọng sẽ thúc đẩy mạnh mẽ việc triển khai AI ở các doanh nghiệp, đẩy nhanh cuộc cách mạng công nghiệp.

 

https://telecom.economictimes.indiatimes.com/news/enterprise-services/hpe-ceo-unveils-simple-ai-hardware-aimed-to-help-businesses/111099154

NPU là gì? Cách so sánh thông số kỹ thuật NPU như phần cứng máy tính khác

- NPU (Neural Processing Unit) là bộ xử lý chuyên biệt cho các tác vụ AI và machine learning, giúp xử lý hiệu quả các tác vụ như nhận dạng hình ảnh, bộ lọc video thời gian thực, nhận dạng giọng nói, thực tế tăng cường.
- NPU khác biệt với CPU và GPU. CPU là bộ xử lý đa năng, GPU chuyên xử lý đồ họa và hỗ trợ CPU, còn NPU chuyên xử lý các tính toán song song cấp cao liên quan đến AI với mức tiêu thụ năng lượng thấp hơn.
- Các thông số quan trọng khi so sánh NPU gồm: TOPS (số phép tính mỗi giây), hiệu suất năng lượng (TOPS/W), độ chính xác (8-bit, 16-bit, 32-bit), băng thông bộ nhớ, khả năng tương thích với các framework AI phổ biến.
- NPU mang lại nhiều lợi ích cho laptop và PC như: tăng hiệu năng xử lý AI, kéo dài thời lượng pin, cải thiện trải nghiệm người dùng với các tính năng AI, giảm tải cho CPU/GPU, sẵn sàng cho các ứng dụng AI trong tương lai.

📌 NPU đang thay đổi cách xử lý các tác vụ AI trên các thiết bị hiện đại. Với NPU 40 TOPS như chip Snapdragon X Elite của Qualcomm cho khả năng AI vượt trội hơn NPU 10 TOPS như chip Meteor Lake của Intel. Hiểu rõ và so sánh các thông số kỹ thuật NPU giúp đưa ra quyết định sáng suốt nhằm tối ưu hiệu năng và sẵn sàng cho tương lai với AI ngày càng phổ biến trong cuộc sống hàng ngày.

https://www.makeuseof.com/what-is-npu-how-compare-specs/

Tìm hiểu về Apple Neural Engine: trái tim của AI trên iPhone và iPad

- Apple Neural Engine (ANE) là bộ phận phần cứng chuyên dụng được giới thiệu lần đầu trên iPhone X và chip A11, nhằm tăng tốc các tác vụ học máy.
- ANE hoạt động cùng với CPU và GPU để thực thi các mô hình học máy hiệu quả hơn, đặc biệt cho các tác vụ đòi hỏi mức tiêu thụ điện năng thấp.
- Học máy liên quan đến việc sử dụng thuật toán và mô hình thống kê để máy tính thực hiện các tác vụ mà không cần lập trình rõ ràng. Nó đòi hỏi huấn luyện với bộ dữ liệu lớn.
- Trong sử dụng hàng ngày, học máy hỗ trợ nhiều ứng dụng như nhiếp ảnh điện toán, phân tích cảnh và ổn định video.
- Core ML là API học máy của Apple, tận dụng CPU, GPU và ANE để đạt hiệu suất tối ưu, cho phép các nhà phát triển tích hợp liền mạch các mô hình học máy vào ứng dụng.
- Hiệu suất của Neural Engine đã được cải thiện đáng kể qua thời gian, từ 11 nghìn tỷ phép tính/giây trên M1, 15.8 nghìn tỷ trên M2/M3, đến 38 nghìn tỷ trên M4 mới nhất.
- ANE hỗ trợ các phép tính dấu phẩy động 16-bit (FP16), được tối ưu hóa cho suy luận thay vì huấn luyện.
- Chiến lược AI của Apple tập trung vào các mô hình AI trên thiết bị và tích hợp đám mây để nâng cao trải nghiệm người dùng với các tính năng như chỉnh sửa văn bản tạo sinh, thông báo cá nhân hóa và tương tác ngôn ngữ tự nhiên.

📌 Apple Neural Engine đóng vai trò then chốt trong việc tăng tốc các tác vụ học máy trên thiết bị Apple. Với khả năng tối ưu hóa hiệu suất và hiệu quả năng lượng ấn tượng lên đến 38 nghìn tỷ phép tính/giây trên chip M4, ANE nâng cao nhiều tính năng từ Face ID đến nhiếp ảnh điện toán, trở thành nền tảng của chiến lược AI tập trung vào xử lý trên thiết bị của Apple.

https://www.geeky-gadgets.com/?p=430149

Mistral AI cảnh báo châu Âu thiếu trung tâm dữ liệu và năng lực đào tạo AI

- Audrey Herblin-Stoop, Trưởng phòng Quan hệ Công chúng tại Mistral AI, cảnh báo châu Âu thiếu các trung tâm dữ liệu để đào tạo các mô hình AI đáp ứng nhu cầu hiện tại.
- Mistral AI đã sử dụng các cơ sở siêu máy tính do Ủy ban châu Âu mở để đào tạo các mô hình của mình.
- Công ty đã công bố mô hình ngôn ngữ lớn mới có tên Mistral Large, cạnh tranh với ChatGPT của OpenAI, thông thạo tiếng Pháp, Anh, Đức, Tây Ban Nha và Ý.
- Đối tác chiến lược của Mistral AI với Microsoft, công ty đang tìm cách đầu tư 15 triệu euro, đang bị Ủy ban châu Âu giám sát.
- Báo cáo của Tòa án Kiểm toán châu Âu (ECA) cảnh báo Ủy ban châu Âu cần đầu tư nhiều hơn vào AI nếu muốn đạt được tham vọng và ngang hàng với Mỹ và Trung Quốc.
- Killian Gross từ Ủy ban châu Âu cho rằng các công ty EU thiếu "sức mạnh tài chính" mà các gã khổng lồ Mỹ như Microsoft có.
- Nghị sĩ Dragoș Tudorache cảnh báo rằng mặc dù Đạo luật AI mang lại tiềm năng hài hòa hóa, các cách tiếp cận của các quốc gia thành viên rất khác nhau về các vấn đề như kỹ năng.
- Mistral AI cần quyền truy cập vào khối lượng lớn dữ liệu bằng các ngôn ngữ như tiếng Ý, Pháp và Tây Ban Nha để đảm bảo hệ thống của họ phù hợp.

📌 Mistral AI nhấn mạnh sự thiếu hụt trung tâm dữ liệu và năng lực đào tạo AI ở châu Âu, cũng như nhu cầu tiếp cận dữ liệu đa dạng ngôn ngữ. Mặc dù Đạo luật AI mang lại tiềm năng hài hòa hóa, các quốc gia thành viên EU vẫn có cách tiếp cận khác nhau. Ủy ban châu Âu cần đầu tư nhiều hơn để bắt kịp Mỹ và Trung Quốc trong lĩnh vực AI.

https://www.euronews.com/next/2024/06/14/mistal-ai-warns-of-lack-of-data-centres-training-capacity-in-europe

Apple sử dụng trung tâm dữ liệu của Google để tạo AI mới

- Apple đang sử dụng silicon của riêng mình để chạy các tính năng AI mới, nhưng cần Google để huấn luyện các mô hình AI.
- Apple đã yêu cầu quyền truy cập bổ sung vào các TPU của Google để huấn luyện, gây ra một cuộc khủng hoảng kỹ thuật cho nhân viên Google vào tháng 4.
- Nhóm Google đã giải quyết vấn đề sau vài ngày làm việc dài. Apple có biệt danh "Bigfoot" trong số nhân viên Google Cloud vì sử dụng rất nhiều trung tâm dữ liệu của Google.
- Hợp tác cho thấy Apple vẫn đang tụt hậu trong cuộc đua AI tạo sinh. Họ phải dựa nhiều hơn vào các đối thủ cạnh tranh như Microsoft, Google và Amazon.
- Thỏa thuận của Apple với OpenAI sẽ cung cấp cho người dùng quyền truy cập vào ChatGPT, một chatbot tiên tiến hơn so với những gì Apple có thể cung cấp.
- Các cuộc chiến AI đang buộc các công ty công nghệ phải thiết lập các mối quan hệ quan trọng và đôi khi bất ngờ, như thỏa thuận gần đây giữa Microsoft và Oracle.
- Apple đang mở cửa cho các đối tác AI và thậm chí đề cập đến khả năng hợp tác với Google Gemini trong tương lai.

📌 Apple đang phải dựa vào các đối thủ cạnh tranh như Google và OpenAI để bắt kịp cuộc đua AI tạo sinh, cho thấy sự hợp tác bất ngờ giữa các gã khổng lồ công nghệ. Mặc dù sử dụng silicon của riêng mình, Apple vẫn cần trung tâm dữ liệu và chuyên môn của Google để huấn luyện các mô hình AI mới.

https://www.businessinsider.com/apple-ai-google-data-centers-2024-6

Nvidia đã xuất xưởng 3,76 triệu GPU trung tâm dữ liệu trong năm 2023, chiếm 98% thị phần doanh thu

- Nvidia đã xuất xưởng 3,76 triệu GPU trung tâm dữ liệu trong năm 2023, tăng hơn 1 triệu so với năm 2022, tương đương mức tăng trưởng 42%.
- Nvidia giữ vững 98% thị phần GPU trung tâm dữ liệu trong năm 2023, không thay đổi so với năm trước.
- Công ty cũng chiếm 88% thị phần GPU máy tính để bàn, với dòng RTX 50-series dự kiến ra mắt cuối năm nay.
- Nvidia đạt doanh thu kỷ lục 60,9 tỷ USD trong năm 2023, tăng 126% so với năm 2022.
- Mặc dù bị cấm xuất khẩu chip AI và các chip tiên tiến khác sang Trung Quốc, Nvidia vẫn đối mặt với tình trạng thiếu hụt GPU AI do sản lượng của TSMC không đáp ứng kịp nhu cầu.
- TSMC dự đoán Nvidia sẽ trở thành công ty bán dẫn lớn nhất thế giới trong năm 2023. Tính đến quý 1 năm 2024, Nvidia đã đứng thứ ba trong số các công ty có giá trị nhất thế giới và có khả năng sẽ vượt qua Apple sớm.
- AMD đang phát triển các chip tiết kiệm năng lượng hơn, trong khi GPU H100 của Nvidia tiêu thụ 700 watt khi hoạt động hết công suất.
- Intel cũng giới thiệu bộ xử lý AI Gaudi 3 với giá chỉ bằng một nửa so với H100, là lựa chọn hấp dẫn cho các công ty không muốn chi hơn 30.000 USD cho mỗi card H100.
- Các nhà cung cấp trung tâm dữ liệu như Microsoft, Amazon và Google cũng tham gia vào cuộc đua phần cứng trung tâm dữ liệu với các chip tự phát triển.
- Microsoft đã tiết lộ GPU Maia 100 cho các ứng dụng AI và dự kiến sẽ sử dụng trong dự án trung tâm dữ liệu trị giá 100 tỷ USD sắp tới.
- Amazon và Google cũng phát triển các chip riêng cho AWS và các bộ xử lý máy chủ trung tâm dữ liệu của mình.
- Nvidia khẳng định rằng các chip của các công ty khác vẫn chưa mạnh bằng GPU của họ về hiệu suất AI và không linh hoạt bằng.

📌 Nvidia đã xuất xưởng 3,76 triệu GPU trung tâm dữ liệu trong năm 2023, chiếm 98% thị phần doanh thu. Công ty đạt doanh thu kỷ lục 60,9 tỷ USD, tăng 126% so với năm 2022. Nvidia vẫn giữ vị trí dẫn đầu mặc dù có sự cạnh tranh từ AMD, Intel và các nhà cung cấp trung tâm dữ liệu khác.

https://www.tomshardware.com/tech-industry/nvidia-shipped-376m-data-center-gpus-in-2023-dominates-business-with-98-revenue-share

Samsung công bố lộ trình công nghệ chip để giành thị phần kinh doanh AI

- Samsung Electronics công bố nhiều tiến bộ sắp tới trong công nghệ nhằm thu hút các nhà sản xuất chip AI vào hoạt động sản xuất của mình.
- Mặc dù là nhà sản xuất chip nhớ số 1 thế giới, Samsung vẫn đang cố gắng bắt kịp đối thủ TSMC trên thị trường foundry.
- Thị phần của Samsung trong thị trường foundry giảm xuống 11% trong quý 1/2024, trong khi của TSMC tăng lên 61,7%.
- Lợi nhuận của Samsung đang phục hồi nhờ nhu cầu về các thành phần dùng trong hệ thống tính toán AI.
- Samsung phải chứng minh khả năng sản xuất tiên tiến và đáng tin cậy để thu hút cam kết lớn hơn từ các khách hàng như Nvidia.
- Công nghệ tiên tiến được Samsung giới thiệu sử dụng công nghệ mạng phân phối nguồn backside, giúp cải thiện hiệu suất và giảm đáng kể độ sụt áp.
- Samsung dự đoán danh sách khách hàng liên quan đến AI sẽ tăng gấp 5 lần và doanh thu tăng gấp 9 lần so với mức hiện tại vào năm 2028.
- Samsung quảng bá công nghệ gate-all-around (GAA), quan trọng cho các sản phẩm AI, và sẽ sản xuất hàng loạt quy trình 3nm thế hệ thứ hai sử dụng GAA trong nửa cuối năm nay.
- Công ty khẳng định việc chuẩn bị cho quy trình 1.4nm đang diễn ra suôn sẻ, với các mục tiêu về hiệu suất và sản lượng đúng hướng cho sản xuất hàng loạt vào năm 2027.

📌 Samsung đang nỗ lực thu hút các nhà sản xuất chip AI bằng cách công bố lộ trình công nghệ tiên tiến, bao gồm quy trình 3nm GAA thế hệ thứ hai, 2nm GAA và 1.4nm, nhằm tăng thị phần trong thị trường foundry đang bị TSMC thống trị với 61,7%. Công ty kỳ vọng sẽ tăng gấp 5 lần số lượng khách hàng AI và gấp 9 lần doanh thu vào năm 2028.

https://www.bloomberg.com/news/articles/2024-06-12/samsung-unveils-chip-technology-road-map-to-win-ai-business

Nvidia thống trị các bài kiểm tra AI mới nhất của MLPerf

- Nvidia tiếp tục thống trị nhiều bài kiểm tra chuẩn về học máy, với hai bài kiểm tra mới được bổ sung vào bộ MLPerf.
- Một hệ thống bao gồm 11.616 GPU Nvidia H100 đứng đầu trong cả 9 bài kiểm tra, lập kỷ lục mới ở 5 bài (bao gồm 2 bài mới về tinh chỉnh LLM và mạng nơ-ron đồ thị).
- Hệ thống 11.616 GPU H100 hoàn thành bài kiểm tra huấn luyện GPT-3 trong chưa đầy 3,5 phút, cải thiện 3,2 lần so với năm ngoái.
- Nvidia đạt được khả năng mở rộng tuyến tính, nghĩa là gấp đôi số GPU sẽ giảm một nửa thời gian huấn luyện.
- Các đối thủ như Intel và Google cũng đang tiến gần hơn đến khả năng mở rộng tuyến tính.
- Nvidia cải thiện hiệu suất nhờ các tối ưu hóa phần mềm như điều chỉnh sử dụng số chấm động 8-bit, điều chỉnh ngân sách điện năng, tăng tốc giao tiếp giữa các GPU và áp dụng thuật toán flash attention.
- MLPerf bổ sung hai bài kiểm tra mới về tinh chỉnh LLM và mạng nơ-ron đồ thị để bắt kịp xu hướng trong ngành AI.
- Trong tương lai, AMD, Intel và Nvidia sẽ cạnh tranh gay gắt hơn với các bộ tăng tốc AI mới.

📌 Nvidia tiếp tục thống trị các bài kiểm tra chuẩn về AI của MLPerf với hệ thống 11.616 GPU H100, đạt mức tăng 3,2 lần so với năm ngoái và khả năng mở rộng tuyến tính. Sự cạnh tranh từ Intel, Google và AMD hứa hẹn sẽ gay cấn hơn trong tương lai gần với các bộ tăng tốc AI thế hệ mới.

https://spectrum.ieee.org/mlperf-nvidia-conquers

Tương lai của AI và 5G: Các nhà khoa học phát triển chip quang học đầu tiên đa năng, lập trình được

- Nhóm nghiên cứu từ Photonics Research Laboratory (PRL)-iTEAM tại Universitat Politècnica de València, phối hợp với iPRONICS, đã phát triển một chip quang học đột phá.
- Đây là chip đầu tiên trên thế giới có tính năng đa năng, lập trình được, đánh dấu bước tiến quan trọng cho ngành viễn thông, trung tâm dữ liệu và cơ sở hạ tầng điện toán AI. 
- Chip này hứa hẹn nâng cao nhiều ứng dụng như truyền thông 5G, điện toán lượng tử, trung tâm dữ liệu, trí tuệ nhân tạo, vệ tinh, máy bay không người lái và xe tự lái.
- Chip cho phép lập trình và kết nối theo yêu cầu các phân đoạn không dây và quang học của mạng truyền thông, tránh tạo ra các nút thắt cổ chai có thể hạn chế cả dung lượng và băng thông.
- Chip có thể thực hiện 12 chức năng cơ bản cần thiết cho các hệ thống này và có thể lập trình theo yêu cầu, từ đó tăng hiệu quả của mạch.
- Các ứng dụng như 5G hay xe tự lái đòi hỏi tần số cao hơn, cần thu nhỏ kích thước ăng-ten và mạch liên quan. PRL-iTEAM đã làm cho bộ chuyển đổi phía sau ăng-ten, một chip giao diện, nhỏ gọn nhất có thể và sẵn sàng hỗ trợ các dải tần số hiện tại và tương lai.
- Chip này đã được tích hợp vào sản phẩm Smartlight của iPRONICS và Vodafone đã sử dụng nó trong thử nghiệm.
- Đối với iPRONICS, phát triển chip này là bước quan trọng vì nó cho phép xác thực các phát triển của họ áp dụng cho một vấn đề ngày càng tăng - quản lý hiệu quả luồng dữ liệu trong trung tâm dữ liệu và mạng cho hệ thống điện toán AI.

📌 Chip quang học đầu tiên trên thế giới có tính năng đa năng, lập trình được và đa chức năng do UPV và iPRONICS phát triển hứa hẹn cải thiện đáng kể hiệu suất của nhiều ứng dụng như 5G, điện toán lượng tử, AI và xe tự lái. Chip cho phép lập trình linh hoạt, tránh nút thắt cổ chai, tăng dung lượng và băng thông của mạng.

https://scitechdaily.com/the-future-of-ai-and-5g-scientists-develop-the-first-universal-programmable-and-multifunctional-photonic-chip/

Quyền lực chính trị và GPU: Thách thức của Nvidia trong cuộc đua AI

- Tại triển lãm Computex ở Đài Loan, CEO của Nvidia, Jensen Huang, đã nhấn mạnh vào việc tập trung thiết kế các chip tốt nhất và cung cấp cơ sở hạ tầng cho cuộc cách mạng AI.
- Tuy nhiên, Nvidia đã đi quá xa trên con đường phát triển phần mềm, gây ra nguy cơ mất tập trung và cạnh tranh với các khách hàng lớn nhất của họ.
- Các hyperscaler đều nhận thức rõ sự phụ thuộc của họ vào Nvidia và đang thiết kế các bộ tăng tốc AI của riêng mình để giảm sự phụ thuộc này.
- Nvidia không có đủ chip để đáp ứng nhu cầu, điều này có nghĩa là họ nắm giữ quyền lực trong tất cả các cuộc đàm phán.
- Các hyperscaler cũng đang cố gắng làm suy yếu các rào cản phần mềm của Nvidia, buộc công ty phải tăng cường đầu tư vào phần mềm để củng cố sự khác biệt của mình.
- Nvidia có nhiều lựa chọn tuyệt vời để tiến về phía trước, nhưng họ không thể quay trở lại chỉ là một nhà cung cấp bán dẫn đơn thuần.

📌 Nvidia đang ở vị thế mạnh mẽ trong cuộc đua AI, nhưng động lực thị trường và nhận thức của các đối thủ cạnh tranh đã hạn chế các lựa chọn của công ty. Việc tập trung vào phần cứng có thể là chiến lược tối ưu, nhưng Nvidia không thể từ bỏ tham vọng phần mềm và chỉ trở thành nhà cung cấp chip thuần túy.

https://www.techspot.com/news/103320-opinion-power-politics-gpus.html

Huawei tuyên bố chip AI vượt trội hơn Nvidia giữa nỗ lực tự cung tự cấp của Trung Quốc

- Một giám đốc điều hành của Huawei cho biết chip AI Ascend 910B của công ty đã vượt qua chip A100 của Nvidia trong một số bài kiểm tra, đạt 80% hiệu suất khi huấn luyện các mô hình ngôn ngữ lớn, thậm chí vượt trội hơn 20% trong một số bài kiểm tra khác.
- Nhận xét này cho thấy Huawei đang phát triển nhanh chóng trong thị trường do Nvidia thống trị, đồng thời đóng vai trò quan trọng trong nỗ lực tự cung tự cấp của Trung Quốc khi Nvidia không thể xuất khẩu GPU tiên tiến do các hạn chế của Mỹ.
- Huawei giới thiệu dòng chip Ascend từ năm 2019, tập trung xây dựng hệ sinh thái phần mềm và phần cứng độc quyền để phục vụ khách hàng trong nước.
- Hệ sinh thái Ascend hiện có 40 đối tác phần cứng, 1.600 đối tác phần mềm và 2.900 giải pháp ứng dụng AI.
- Mặc dù chip Ascend 910B của Huawei kém hơn về mặt công nghệ so với GPU mới nhất của Nvidia, nhưng chúng đã trở thành lựa chọn hàng đầu cho các công ty Trung Quốc hoạt động trong lĩnh vực AI.
- Các gã khổng lồ công nghệ Trung Quốc như Tencent, Baidu và các startup hàng đầu như iFlyTek đã mua chip 910B.
- Huawei vận hành các cụm máy tính chạy trên chip Ascend tại 19 thành phố trên khắp Trung Quốc và có kế hoạch mở rộng ra các thủ phủ tỉnh lớn khác.

📌 Chip AI Ascend 910B của Huawei đã cho thấy khả năng cạnh tranh mạnh mẽ với chip A100 của Nvidia, đánh dấu bước tiến quan trọng trong nỗ lực tự cung tự cấp công nghệ AI của Trung Quốc. Với hệ sinh thái phần cứng và phần mềm đang phát triển nhanh chóng, Huawei đang trở thành lựa chọn hàng đầu cho các công ty trong nước, bất chấp những hạn chế về công nghệ so với đối thủ Mỹ.

https://www.scmp.com/tech/big-tech/article/3265640/huawei-says-its-ai-chip-better-nvidias-a100-amid-chinas-self-reliance-drive

Saudi Arabia khởi động tham vọng thiết kế chip với trung tâm mới

- Saudi Arabia ra mắt Trung tâm Bán dẫn Quốc gia nhằm phát triển các công ty thiết kế chip fabless.
- Mục tiêu thu hút 50 công ty đến vương quốc vào năm 2030, tập trung vào các chip đơn giản thay vì công nghệ tiên tiến và nhạy cảm về chính trị.
- Sản xuất sẽ được thực hiện ở nước ngoài, ít nhất là trong trung hạn.
- Sáng kiến này nhấn mạnh tầm quan trọng ngày càng tăng của bán dẫn đối với Saudi Arabia khi Thái tử Mohammed bin Salman tìm cách khai thác các ngành công nghiệp mới để đa dạng hóa nền kinh tế.
- Vương quốc đang cạnh tranh để trở thành người dẫn đầu khu vực về công nghệ tiên tiến, với hy vọng tạo ra các trung tâm dữ liệu, công ty AI và sản xuất bán dẫn.
- Alat, một công ty đầu tư được hỗ trợ bởi 100 tỷ USD từ quỹ đầu tư quốc gia, được ra mắt vào tháng 2 với nhiệm vụ đầu tư vào việc xây dựng các trung tâm sản xuất mới và tìm kiếm đối tác cho bán dẫn.
- Mỹ đã yêu cầu Saudi Arabia lựa chọn giữa công nghệ Trung Quốc và Mỹ khi xây dựng ngành công nghiệp bán dẫn trong nước.
- Trung tâm mới sẽ cung cấp 10 ưu đãi cho các công ty muốn bắt đầu hoạt động tại đây, bao gồm tiếp cận vốn thông qua quỹ mới trị giá 1 tỷ Riyal (267 triệu USD).

📌 Saudi Arabia đang tích cực phát triển ngành công nghiệp bán dẫn với việc ra mắt Trung tâm Bán dẫn Quốc gia, nhằm thu hút 50 công ty thiết kế chip fabless đến năm 2030. Tập trung vào chip đơn giản và sản xuất quốc tế, sáng kiến này thể hiện tầm quan trọng của bán dẫn trong nỗ lực đa dạng hóa nền kinh tế của vương quốc.

https://www.bloomberg.com/news/articles/2024-06-05/saudi-arabia-s-chip-design-ambitions-take-shape-with-new-hub

GPU và FPGA: sự khác biệt, ưu điểm và ứng dụng phổ biến

- GPU (graphics processing unit) và FPGA (field programmable gate array) là hai trong ba loại bộ xử lý chính cho xử lý hình ảnh và tính toán nặng, bên cạnh CPU (central processing unit).

- FPGA là mạch tích hợp có thể được lập trình lại để hoạt động như một mạch khác. Nó linh hoạt thích ứng với các thuật toán học máy cụ thể.

- GPU ban đầu được thiết kế để render đồ họa và video. Khả năng xử lý song song giúp GPU phổ biến trong các ứng dụng học sâu.

- FPGA có thể được lập trình để hoạt động như GPU, ASIC hoặc các cấu hình khác. Chúng có thể được tối ưu cho các thuật toán cụ thể.

- GPU gồm nhiều nhân, mỗi nhân có thể thực hiện hàng ngàn phép tính đồng thời. Kiến trúc song song giúp GPU xử lý nhanh các phép tính toán học phức tạp.

- FPGA nổi bật về độ trễ thấp và tiêu thụ điện năng thấp khi được tinh chỉnh cho các tác vụ nhất định. Các kỹ sư có thể triển khai các bộ tăng tốc phần cứng tùy chỉnh.

- Các trường hợp sử dụng phổ biến của FPGA: Tăng tốc HPC, xử lý tín hiệu thời gian thực, tối ưu mạng, giao dịch tần suất cao, ứng dụng hàng không vũ trụ và quốc phòng.

- Các trường hợp sử dụng phổ biến của GPU: Học máy và học sâu, khai thác tiền điện tử, các ứng dụng HPC như mô phỏng khoa học, dự báo thời tiết.

- Có thể dùng FPGA như GPU nhưng cần có chuyên môn thiết kế FPGA và hiểu sâu về kiến trúc GPU. FPGA có thể không đạt hiệu năng và tiêu thụ điện như GPU chuyên dụng.

📌 Lựa chọn giữa GPU và FPGA phụ thuộc vào tính chất ứng dụng, yêu cầu hiệu năng, hạn chế công suất và ngân sách. GPU phổ biến và hiệu quả chi phí cho nhiều tác vụ HPC. FPGA là giải pháp tùy biến và tiết kiệm điện cho các ứng dụng đòi hỏi tăng tốc phần cứng và xử lý thời gian thực.

https://www.techspot.com/news/103228-gpus-vs-fpgas-what-difference.html

NeevCloud tham gia cuộc đua đám mây AI ở Ấn Độ với 40.000 GPU

- NeevCloud, một startup do Narendra Sen thành lập, đang xây dựng cơ sở hạ tầng đám mây AI với 40.000 GPU cho khách hàng Ấn Độ vào năm 2026.
- Công ty sẽ sớm ra mắt nền tảng suy luận AI cung cấp các mô hình nguồn mở như Llama 3, Mistral và DBRX. Phiên bản beta sẽ ra mắt trong tháng này.
- NeevCloud đã đặt hàng 8.000 GPU NVIDIA từ HPE, dự kiến nhận vào nửa cuối năm nay. Công ty cũng có kế hoạch triển khai GPU của AMD và Groq.
- Tổng chi phí cho 40.000 GPU ước tính khoảng 1,5 tỷ USD. NeevCloud hợp tác với các đối tác trung tâm dữ liệu để hỗ trợ mua và triển khai GPU theo mô hình chia sẻ doanh thu.
- NeevCloud sẽ cạnh tranh trực tiếp với Yotta, E2E Network, Krutrim và Tata Communications trong lĩnh vực cơ sở hạ tầng AI.
- Sen cũng điều hành Rackbank Datacenters ở Indore, sử dụng công nghệ làm mát chìm lỏng Varuna cho phần cứng điện toán hiệu năng cao.

📌 NeevCloud đặt mục tiêu triển khai 40.000 GPU vào năm 2026 với chi phí ước tính 1,5 tỷ USD, cạnh tranh với các đối thủ như Yotta trong thị trường đám mây AI đang phát triển nhanh tại Ấn Độ. Công ty sẽ hợp tác với các đối tác trung tâm dữ liệu và sớm ra mắt nền tảng suy luận AI với các mô hình nguồn mở.

https://analyticsindiamag.com/another-indian-startup-entering-ai-cloud-space-40000-gpus/

Liệu Nvidia có đang trở thành chuẩn thực tế (de factor) mainframe của thời đại AI?

- Doanh thu của Nvidia tăng gấp đôi trong 3 quý gần đây nhờ vào sự bùng nổ của AI. Công ty đã đặt cược vào HPC và AI từ 15 năm trước.

- Nvidia không chỉ dẫn đầu về phần cứng AI mà còn xây dựng cả một hệ sinh thái phần mềm khép kín với CUDA, các thư viện, công cụ phát triển, microservice. Điều này tạo rào cản cao cho các nhà phát triển muốn chuyển sang nền tảng khác.

- CUDA ra đời năm 2006, trở thành chuẩn mực cho lập trình song song trên GPU. Năm 2012, mạng CNN AlexNet sử dụng CUDA đạt kết quả vượt trội, đưa CUDA lên tầm cao mới.

- Sự ra đời của mô hình Transformer năm 2017 giúp AI tạo sinh trở nên khả thi. Nvidia đã sẵn sàng đón đầu xu hướng này với siêu máy tính DGX.

- Ngoài CUDA, Nvidia còn cung cấp nhiều tầng phần mềm khác như RAPIDS, NeMo, NIMs, tích hợp trong gói Nvidia AI Enterprise. Mô hình kinh doanh này có nhiều nét tương đồng với mainframe ngày xưa.

- Các đối thủ như AMD, Intel, Apple, Google đang tìm cách cạnh tranh nhưng vẫn thua kém Nvidia một khoảng cách đáng kể về mặt hệ sinh thái. Tuy nhiên, họ vẫn có cơ hội khi thị trường AI đa dạng hóa.

📌 Nvidia đang thống trị thị trường cả về phần cứng lẫn phần mềm AI với hệ sinh thái khép kín tương tự như mainframe. Mặc dù có nhiều đối thủ mạnh, Nvidia vẫn tạo được rào cản cao nhờ sự chín muồi của nền tảng CUDA và các tầng phần mềm. Tuy nhiên, khi thị trường AI đa dạng hóa, các đối thủ vẫn có cơ hội cạnh tranh ở những phân khúc nhỏ hơn.

https://siliconangle.com/2024/06/05/nvidia-becoming-de-facto-ai-mainframe/

Intel Lunar Lake NPU mang sức mạnh 48 TOPS, đốt nóng cuộc đua chip AI

- Intel công bố chi tiết về bộ xử lý Lunar Lake thế hệ tiếp theo, cho phép hiệu suất AI trên PC với:
   + Công suất hệ thống giảm 40% và khả năng tính toán AI tăng hơn 3 lần so với thế hệ trước.
   + NPU với tốc độ lên đến 48 nghìn tỷ phép tính mỗi giây (TOPS).
   + Thiết kế GPU mới với các lõi Xe2 GPU và mảng Xe Matrix Extension, bộ tăng tốc AI thứ hai với tốc độ lên đến 67 TOPS.
- Lunar Lake sẽ xuất hiện trên các PC AI từ hơn 20 thương hiệu, bao gồm cả Microsoft, trong suốt năm 2024.
- Lunar Lake cạnh tranh với Snapdragon X Elite của Qualcomm, dòng AI 300 của AMD, M4 của Apple và ngày càng nhiều chip được thiết kế để làm cho AI tạo sinh hoạt động trên PC.
- Bộ kit chuẩn gồm 8 bộ tăng tốc AI Gaudi 2 và bo mạch nền phổ thông sẽ có giá 65.000 USD cho các nhà cung cấp hệ thống. Gaudi 2 đang được giao hàng.
- Bộ kit gồm 8 bộ tăng tốc AI Gaudi 3 và bo mạch nền phổ thông sẽ có giá 125.000 USD, dự kiến ra mắt trong quý 2/2024.
- Bộ xử lý Intel Xeon 6 P-core (mã Sierra Forest) đã có sẵn từ ngày 3/6, phù hợp cho AI, điện toán hiệu năng cao và ứng dụng cloud-native.
- Bộ xử lý Xeon 6 E-core (mã Granite Rapids) có mật độ lõi cao hơn, hiệu suất trên mỗi watt tốt hơn và chi phí năng lượng thấp hơn, dự kiến giao hàng trong quý 3/2024.

📌 Intel đang đẩy mạnh cuộc đua phát triển chip AI với bộ xử lý Lunar Lake 48 TOPS, cạnh tranh trực tiếp với Qualcomm, AMD, Apple. Hãng cũng công bố giá cho bộ kit Gaudi 2 và 3, đồng thời ra mắt dòng Xeon 6 mới với phiên bản P-core và E-core, hứa hẹn mang lại hiệu năng vượt trội cho các ứng dụng AI và điện toán đám mây trong tương lai gần.

https://www.techrepublic.com/article/intel-lunar-lake-npu/

Chi phí đào tạo các mô hình AI ngày càng tăng vọt

- Đồ họa bong bóng cho thấy chi phí đào tạo các mô hình AI tăng theo thời gian, dựa trên phân tích từ Báo cáo Chỉ số Trí tuệ Nhân tạo 2024 của Đại học Stanford.
- Việc đào tạo các mô hình AI tiên tiến như ChatGPT của OpenAI và Gemini Ultra của Google đòi hỏi hàng triệu USD, với chi phí leo thang nhanh chóng.
- Các yếu tố chính được phân tích bao gồm thời gian đào tạo mô hình, tỷ lệ sử dụng phần cứng và giá trị của phần cứng đào tạo.
- Năm 2017, chi phí đào tạo mô hình Transformer là 930 USD. Đến năm 2023, GPT-4 của OpenAI có chi phí ước tính là 78.4 triệu USD.
- Mô hình Gemini Ultra của Google còn tốn kém hơn, lên tới 191 triệu USD. Tính đến đầu năm 2024, mô hình này vượt trội hơn GPT-4 trên một số chỉ số, đặc biệt là trên bài kiểm tra MMLU.
- Các công ty AI đang tìm ra các giải pháp mới để đào tạo mô hình ngôn ngữ nhằm chống lại chi phí ngày càng tăng, như tạo ra các mô hình nhỏ hơn được thiết kế để thực hiện các tác vụ cụ thể hoặc thử nghiệm tạo dữ liệu tổng hợp của riêng họ.
- Tuy nhiên, các mô hình AI sử dụng dữ liệu tổng hợp đã cho thấy sản sinh ra vô nghĩa khi được hỏi với một số lời nhắc nhất định, gây ra "sụp đổ mô hình".

📌 Chi phí đào tạo các mô hình AI tiên tiến đã tăng vọt, từ 930 USD cho Transformer năm 2017 lên tới 191 triệu USD cho Gemini Ultra của Google năm 2024. Các công ty đang tìm cách giảm chi phí bằng các phương pháp như tạo mô hình nhỏ hơn hoặc sử dụng dữ liệu tổng hợp, nhưng chưa có bước đột phá rõ ràng.

https://www.visualcapitalist.com/training-costs-of-ai-models-over-time/

Đẩy nhanh AI: Sự trỗi dậy của chip AI, GPU không đồng nghĩa với sự kết thúc của CPU

- Chip GPU của Nvidia chiếm hơn 80% thị trường chip AI. Chip Hopper ra mắt năm 2022 đã vượt trội trong mọi hạng mục từ phân loại hình ảnh đến nhận dạng giọng nói trên bài kiểm tra MLPerf. Chip Blackwell mới hứa hẹn nhanh hơn Hopper vài lần nhờ sức mạnh xử lý và khả năng giao tiếp giữa các chip tốt hơn.

- Sự phát triển của phần cứng đang cố gắng bắt kịp và hỗ trợ cuộc cách mạng AI. Nhiều tiến bộ trong AI 10 năm qua đến từ nguyên tắc đơn giản là càng lớn càng tốt. Các mô hình ngôn ngữ lớn như GPT-4 của OpenAI được huấn luyện trên bộ dữ liệu ngày càng lớn, đòi hỏi sức mạnh tính toán khổng lồ, gấp 100 lần so với mô hình tiền nhiệm.

- Các công ty như Meta xây dựng trung tâm dữ liệu dựa trên GPU của Nvidia. Google, IBM và nhiều công ty khác thiết kế chip AI riêng. Các nhà nghiên cứu đang thử nghiệm nhiều thiết kế chip, bao gồm cả tối ưu hóa cho thiết bị nhỏ. Khi AI vượt ra ngoài trung tâm điện toán đám mây và đi vào thiết bị di động, GPU không còn đủ.

- Sự chuyển đổi từ CPU sang GPU đã thúc đẩy cuộc cách mạng deep learning. GPU xử lý nhiều lệnh song song nhanh hơn CPU tuần tự. Để huấn luyện mô hình GPT-3 với 175 tỷ tham số, các nhà nghiên cứu OpenAI phải chạy 1.024 GPU liên tục trong 1 tháng với chi phí hàng triệu USD. Tổng cộng, các GPU đó đã thực hiện 10^23 phép tính, nhanh hơn hàng trăm đến hàng nghìn lần so với CPU.

- Ngoài GPU, các loại chip AI khác bao gồm FPGA (lập trình được), TPU (đơn vị xử lý tensor của Google), chip AI di động. Chúng sử dụng các thủ thuật như tính toán song song, bộ nhớ truy cập nhanh, định dạng số rút gọn để tăng tốc. FPGA linh hoạt như hộp Lego, có thể lập trình mạch theo bất kỳ thiết kế nào. Chip AI di động giúp xử lý các tác vụ AI trên điện thoại mà không cần gửi dữ liệu lên đám mây.

- Tiêu thụ điện năng là mối quan tâm lớn. Huấn luyện GPT-3 ước tính tiêu tốn 1.300 MWh, bằng lượng điện hộ gia đình Anh dùng trong 1 năm. Ngay cả sau khi huấn luyện, sử dụng ứng dụng AI cũng tốn rất nhiều năng lượng. Mặc dù tiến bộ trong thiết kế chip có thể cải thiện hiệu quả, chi phí năng lượng của AI tiếp tục tăng hàng năm khi mô hình ngày càng lớn.

- Sự trỗi dậy của chip AI không đồng nghĩa với sự kết thúc của CPU. Ngược lại, ranh giới giữa các loại chip cơ bản đang mờ dần. CPU hiện đại tính toán song song tốt hơn trước, GPU đa năng hơn. Siêu máy tính mạnh nhất thế giới Frontier dựa trên sự kết hợp của CPU và GPU.

- Tương lai chip AI khó đoán, có thể bao gồm chip quang học dùng ánh sáng thay electron hay chip lượng tử. Giúp công chúng hiểu về phần cứng AI sẽ giúp họ nhận ra AI không phải phép thuật toàn năng. Tất cả chỉ là dây và electron, không thể thống trị thế giới. Các chuyên gia hy vọng phần cứng sẽ tiếp tục cải tiến, qua đó thúc đẩy các ứng dụng AI trong khoa học.

📌 Chip GPU và các loại chip chuyên biệt khác đang đẩy nhanh sự phát triển của AI với khả năng tính toán song song khổng lồ, đáp ứng nhu cầu ngày càng tăng. Tuy nhiên, việc huấn luyện các mô hình AI lớn như GPT-3, GPT-4 đòi hỏi nguồn tài nguyên tính toán và điện năng khổng lồ, với chi phí lên đến hàng triệu USD. Công nghệ chip AI đang phát triển nhanh chóng với nhiều hướng tiềm năng như chip quang học, lượng tử. Tương lai khó đoán định, nhưng việc giúp công chúng hiểu rõ hơn về phần cứng AI sẽ xóa bỏ quan niệm sai lầm cho rằng AI là phép thuật toàn năng. 

https://www.nature.com/articles/d41586-024-01544-0

 

#NATURE

Jensen Huang của Nvidia công bố lộ trình GPU tăng tốc và tập trung vào GenAI tại Computex 2024

- Jensen Huang, CEO của Nvidia, đã phát biểu khai mạc tại Computex 2024, tập trung vào cách mạng GenAI và lộ trình GPU tăng tốc của Nvidia.
- Huang công bố lộ trình sản phẩm của Nvidia đến năm 2027 với sự ra mắt của nền tảng Rubin, sự phát triển tiếp theo sau Blackwell. Nhà thiên văn học người Mỹ Vera Rubin sẽ là người bảo trợ cho kiến trúc GPU thế hệ tiếp theo của Nvidia.
- Trong khi những thay đổi lớn về kiến trúc có thể tiếp tục diễn ra 2 năm một lần, Nvidia hiện đang chuyển sang thực hiện các cải tiến sản phẩm GPU quan trọng hàng năm.
- Lộ trình bao gồm: Blackwell, Blackwell Ultra, Rubin và Rubin Ultra.
- Nvidia đang đẩy mạnh phần mềm và dịch vụ với nền tảng CUDA và NIM (Nvidia Inference Microservices), hiện đã có sẵn. NIM xây dựng trên CUDA và gói gọn tất cả các thành phần phần mềm cần thiết để xây dựng và kích hoạt các ứng dụng AI trên các lĩnh vực cụ thể vào các container được xây dựng sẵn.
- Nvidia gần đây đã hợp tác với các công ty phần cứng doanh nghiệp lớn như Dell Technologies, Lenovo, HPE và những công ty khác để mở rộng tầm với của các công cụ phần mềm của họ.
- Có nhiều đồn đoán rằng Nvidia có ý định tham gia thị trường AI PC với một SoC được cung cấp bởi Arm, có thể được xây dựng cùng với Mediatek. Nếu điều này xảy ra, nó có thể có tác động lớn đến thị trường đang trở nên đông đúc cho các nhà cung cấp chip PC.
- Huang kết thúc bài phát biểu với một cuộc thảo luận hướng tới tương lai về robotics được cung cấp bởi AI và vai trò quan trọng mà ông tin rằng chúng có thể đóng nhờ nền tảng Omniverse của Nvidia.

📌 Tại Computex 2024, Jensen Huang đã công bố lộ trình GPU tăng tốc của Nvidia đến năm 2027, bao gồm Blackwell, Blackwell Ultra, Rubin và Rubin Ultra. Nvidia cũng đang đẩy mạnh phần mềm và dịch vụ với CUDA và NIM, đồng thời hợp tác với các công ty phần cứng doanh nghiệp lớn. Huang cũng đề cập đến khả năng Nvidia tham gia thị trường AI PC và tầm nhìn về robotics được cung cấp bởi AI với nền tảng Omniverse.

https://www.techspot.com/news/103227-nvidia-jensen-huang-kicks-off-computex-2024-spotlight.html

Nvidia công bố nền tảng AI thế hệ tiếp theo Rubin cho năm 2026, với kế hoạch nâng cấp hàng năm

- Nvidia dự kiến nâng cấp bộ tăng tốc AI hàng năm, công bố chip Blackwell Ultra cho năm 2025 và nền tảng thế hệ tiếp theo Rubin cho 2026.
- Công ty cũng giới thiệu các công cụ và mô hình phần mềm mới trước thềm triển lãm Computex ở Đài Loan. 
- Nvidia coi sự trỗi dậy của AI tạo sinh là một cuộc cách mạng công nghiệp mới và kỳ vọng đóng vai trò lớn khi công nghệ chuyển sang máy tính cá nhân.
- Huang kỳ vọng nhiều công ty và cơ quan chính phủ sẽ áp dụng AI, từ các nhà đóng tàu đến các nhà phát triển dược phẩm. Ông nhấn mạnh rằng những ai không có khả năng AI sẽ bị bỏ lại phía sau.
- Nền tảng Rubin sắp tới sẽ sử dụng HBM4, thế hệ tiếp theo của bộ nhớ băng thông cao, vốn đang là nút thắt cổ chai trong sản xuất bộ tăng tốc AI.
- Nvidia đang cung cấp các công cụ và mô hình AI được huấn luyện sẵn để giúp các nhà phát triển phần mềm mang lại nhiều tính năng mới cho PC.
- Nvidia đang phát hành một thiết kế mới cho máy chủ được xây dựng trên chip của họ, gọi là chương trình MGX, giúp các công ty như HPE và Dell đưa sản phẩm ra thị trường nhanh hơn.
- Các sản phẩm đã công bố trước đó như Spectrum X cho mạng và NIM (Nvidia Inference Microservices) hiện đã có sẵn rộng rãi và được áp dụng rộng rãi.
- Huang cũng quảng bá việc sử dụng "digital twins" trong thế giới ảo mà Nvidia gọi là Ominverse, cho thấy quy mô có thể thông qua một digital twin của Trái đất, gọi là Earth 2.

📌 Nvidia đang đẩy mạnh kế hoạch nâng cấp nền tảng AI hàng năm với chip Blackwell Ultra 2025 và Rubin 2026, đồng thời mở rộng sang thị trường PC và cung cấp các công cụ, mô hình AI mới. Công ty kỳ vọng AI tạo sinh sẽ là cuộc cách mạng công nghiệp tiếp theo và những ai không áp dụng sẽ tụt hậu. Các sản phẩm mới như MGX, Spectrum X, NIM đang được triển khai rộng rãi, hứa hẹn giúp tiết kiệm 98% chi phí và 97% năng lượng so với công nghệ truyền thống.

https://www.bloomberg.com/news/articles/2024-06-02/jensen-huang-computex-keynote-nvidia-reveals-new-ai-software-and-services

AMD ra mắt chip Ryzen AI thế hệ mới, hiệu năng AI tạo sinh vượt trội

- AMD công bố dòng chip xử lý laptop thế hệ mới cho các tác vụ AI tạo sinh tại Computex 2024: Ryzen AI 300 Series, đổi tên từ dòng Ryzen 9 cao cấp nhất.
- Quy ước đặt tên mới vẫn giữ hậu tố HX, nhưng không còn chỉ mức tiêu thụ điện năng mà đại diện cho chip Ryzen AI 300 tốt nhất, nhanh nhất.
- Ryzen AI 300 Series được xây dựng trên các kiến trúc mới nhất của AMD: XDNA2 cho NPU, RDNA 3.5 cho iGPU (lên đến 16 đơn vị tính toán) và Zen 5 cho CPU.
- Hai chip đầu tiên là Ryzen AI 9 HX 370 và Ryzen AI 9 365, đều có NPU 50 TOPS, trong đó bản HX là cao cấp hơn.
- Ryzen AI 9 HX 370: 12 nhân/24 luồng, xung nhịp tối đa 5.1GHz, 36MB cache, đồ họa Radeon 890M.
- Ryzen AI 9 365: 10 nhân/12 luồng, xung nhịp tối đa 5.0GHz, 34MB cache, đồ họa Radeon 880M.
- Ryzen AI 9 300 Series có vẻ sở hữu TOPS cao nhất so với các chip NPU khác trên thị trường: Snapdragon X của Qualcomm (45 TOPS), M4 của Apple (38 TOPS), Ryzen 8040 thế hệ trước của AMD (16 TOPS), Intel Meteor Lake Ultra 7 165H (khoảng 10 TOPS).
- NPU XDNA2 của AMD có khả năng tính toán gấp 5 lần và hiệu quả năng lượng gấp đôi so với thế hệ trước nhờ kiến trúc "khối" FP16 độc đáo, có thể xử lý cả tác vụ AI 8-bit (INT8) và 16-bit (FP16) mà không cần định lượng, giúp xử lý nhanh và chính xác.
- Từ tháng 7/2024, Ryzen AI 300 sẽ có mặt trên một số laptop Copilot Plus như Asus Vivobook S 15, HP OmniBook, cùng nhiều mẫu laptop AI khác từ MSI, Asus, Lenovo.

📌 Ryzen AI 300 Series đánh dấu bước tiến mới của AMD trong cuộc đua chip AI, với kiến trúc NPU tiên tiến cho khả năng xử lý tác vụ AI tạo sinh vượt trội, lên đến 50 TOPS, gấp 5 lần thế hệ trước. Dòng chip mới sẽ xuất hiện trên nhiều mẫu laptop cao cấp từ tháng 7, hứa hẹn mang đến trải nghiệm AI tạo sinh mạnh mẽ cho người dùng.

https://www.theverge.com/2024/6/2/24168951/amd-ryzen-ai-9-300-series-hx-laptop-processors

Tại sao cơ sở hạ tầng AI quan trọng cần được coi là tài sản công cộng thiết yếu?

- Cơ sở hạ tầng AI quan trọng bao gồm các thành phần chính như mô hình ngôn ngữ lớn (ví dụ GPT-3 của OpenAI), tập dữ liệu khổng lồ để huấn luyện các mô hình này và phần cứng máy tính chuyên dụng để triển khai chúng. 
- Chi phí để phát triển các mô hình ngôn ngữ lớn hiện đại có thể lên tới hàng trăm triệu USD. Chỉ một số ít các công ty công nghệ lớn như Google, Meta, Microsoft mới có đủ nguồn lực tài chính và kỹ thuật để xây dựng chúng.
- Sự tập trung quyền kiểm soát cơ sở hạ tầng AI vào tay một vài công ty có thể gây ra nhiều hệ lụy tiêu cực. Nó tạo ra rào cản gia nhập rất lớn cho các công ty mới và làm giảm động lực cạnh tranh, đổi mới. Điều này cuối cùng có thể dẫn tới sự thống trị thị trường và ảnh hưởng xã hội quá lớn của các công ty công nghệ.  
- Để giải quyết vấn đề trên, cơ sở hạ tầng AI thiết yếu cần được coi là một dạng tài sản công cộng, tương tự như các loại cơ sở hạ tầng vật lý truyền thống như đường cao tốc, cầu cống, lưới điện... 
- Chính phủ cần đóng vai trò dẫn dắt trong việc đầu tư phát triển một nền tảng cơ sở hạ tầng AI mở, có thể truy cập và sử dụng rộng rãi bởi các tổ chức nghiên cứu, trường đại học, startup và công ty nhỏ.
- Bên cạnh đó, các tổ chức phi lợi nhuận, viện nghiên cứu hàng đầu cũng nên tích cực tham gia vào nỗ lực này vì mục tiêu phục vụ lợi ích chung của xã hội, thay vì các động cơ thương mại như các công ty tư nhân.
- Một cơ sở hạ tầng AI mở và phổ biến sẽ giúp thúc đẩy đổi mới, tạo ra một sân chơi bình đẳng hơn cho các doanh nghiệp nhỏ và vừa, qua đó làm tăng cạnh tranh và đa dạng hóa thị trường công nghệ.

📌 Cơ sở hạ tầng AI đóng vai trò nền tảng cho sự phát triển của ngành công nghiệp trí tuệ nhân tạo. Tuy nhiên, chi phí phát triển cực lớn tới hàng trăm triệu USD khiến chỉ các công ty công nghệ hàng đầu mới có thể xây dựng chúng, dẫn tới nguy cơ tập trung quyền lực và thống trị thị trường. Vì vậy, chính phủ và các tổ chức phi lợi nhuận cần chủ động đầu tư xây dựng một cơ sở hạ tầng AI mở, có thể truy cập rộng rãi như một loại tài sản công cộng thiết yếu. Điều này sẽ thúc đẩy đổi mới, cạnh tranh bình đẳng và đa dạng hóa thị trường AI.

https://seekingalpha.com/article/4696897-critical-ai-infrastructure-case

Chip AI sẽ thay thế GPU, ngay cả Nvidia cũng phải chuyển hướng

- Chip AI có kiến trúc tối ưu cho các phép tính AI, mang lại hiệu năng cao hơn và tiết kiệm năng lượng hơn so với GPU truyền thống.

- Các ông lớn công nghệ như Google, Amazon, Microsoft đều đang phát triển chip AI riêng.

- Nvidia, công ty dẫn đầu thị trường GPU, cũng đã nhận ra xu hướng này và đang đầu tư mạnh vào phát triển chip AI.

- Nvidia đã ra mắt dòng chip Grace dành riêng cho AI, hứa hẹn hiệu năng gấp 10 lần so với GPU.

- Thị trường chip AI dự báo đạt 73,49 tỷ USD vào năm 2025, tăng trưởng kép hàng năm 40,1% giai đoạn 2020-2025.

- Các hãng sản xuất chip truyền thống như Intel, AMD cũng đang đẩy mạnh phát triển chip AI để cạnh tranh.

- Tuy nhiên, Nvidia vẫn đang thống trị thị trường với 80% thị phần GPU trong AI.

- Việc chuyển sang chip AI đòi hỏi các công ty phải thay đổi kiến trúc phần cứng, phần mềm, đào tạo lại nhân sự, đầu tư lớn.

- Dù vậy, chip AI được dự báo sẽ dần thay thế GPU và trở thành chuẩn mực mới cho tính toán AI trong tương lai gần.

 

📌 Chip AI đang bùng nổ và dần thay thế GPU truyền thống trong huấn luyện AI nhờ hiệu năng vượt trội và tiết kiệm năng lượng. Thị trường chip AI tăng trưởng mạnh 40,1%/năm, dự báo đạt 73,49 tỷ USD năm 2025. Ngay cả Nvidia cũng đang đầu tư mạnh vào chip AI, ra mắt dòng Grace hiệu năng gấp 10 lần GPU, để giữ vững vị thế trong cuộc đua công nghệ này.

Các gã khổng lồ công nghệ hợp tác phát triển tiêu chuẩn kết nối mới để đối đầu với Nvidia

- Các công ty công nghệ lớn như Google, Intel, Microsoft, Meta, AMD, Hewlett Packard Enterprise, Cisco và Broadcom đã thành lập nhóm UALink Promoter Group để phát triển tiêu chuẩn kết nối mới cho chip tăng tốc AI trong trung tâm dữ liệu.
- Nhóm UALink nhằm tạo ra một tiêu chuẩn mở thay thế cho công nghệ NVLink độc quyền của Nvidia, giúp kết nối nhiều máy chủ và chip tăng tốc AI trong các ứng dụng AI hiện đại như ChatGPT.
- NVLink của Nvidia hiện đang chiếm ưu thế trong việc kết nối các chip tăng tốc AI, cho phép truyền dữ liệu nhanh hơn và giao tiếp hiệu quả hơn giữa các chip, giúp chúng hoạt động cùng nhau trong các nhiệm vụ phức tạp như huấn luyện mô hình AI lớn.
- Việc kiểm soát tiêu chuẩn kết nối là rất quan trọng vì nó quyết định phần cứng mà các công ty công nghệ sẽ sử dụng. Nhóm UALink muốn thiết lập một tiêu chuẩn mở để nhiều công ty có thể đóng góp và phát triển phần cứng AI, thay vì bị khóa vào hệ sinh thái độc quyền của Nvidia.
- Tiêu chuẩn UALink 1.0 được thiết kế để kết nối lên đến 1.024 GPU trong một "pod" tính toán, bao gồm một hoặc nhiều giá máy chủ, dựa trên các công nghệ như Infinity Architecture của AMD.
- UALink 1.0 dự kiến sẽ cải thiện tốc độ và giảm độ trễ truyền dữ liệu so với các tiêu chuẩn kết nối hiện có.
- Nhóm UALink dự định thành lập UALink Consortium vào cuối năm 2024 để quản lý việc phát triển liên tục của tiêu chuẩn UALink. Các công ty thành viên sẽ có quyền truy cập vào UALink 1.0 khi tham gia, với phiên bản băng thông cao hơn, UALink 1.1, dự kiến ra mắt vào quý 4 năm 2024.
- Các sản phẩm đầu tiên sử dụng UALink dự kiến sẽ có mặt trong vòng hai năm tới, điều này có thể cho Nvidia đủ thời gian để mở rộng sự khóa chặt độc quyền của mình khi thị trường trung tâm dữ liệu AI phát triển.

📌 Các công ty công nghệ lớn đã hợp tác để phát triển tiêu chuẩn kết nối UALink nhằm cạnh tranh với NVLink của Nvidia. Tiêu chuẩn UALink 1.0 sẽ kết nối lên đến 1.024 GPU, cải thiện tốc độ và giảm độ trễ truyền dữ liệu, với các sản phẩm đầu tiên dự kiến ra mắt trong hai năm tới.

https://arstechnica.com/information-technology/2024/05/tech-giants-form-ai-group-to-counter-nvidia-with-new-interconnect-standard/

Infineon đang chế tạo nguồn điện 12 kW cho các trung tâm dữ liệu AI đói năng lượng

- Infineon Technologies công bố thế hệ mới các bộ nguồn máy chủ (PSU), hứa hẹn khả năng cung cấp điện chưa từng có cho các trung tâm dữ liệu tập trung vào máy chủ đám mây và thuật toán AI. 

- PSU máy chủ mới của Infineon có thể cung cấp tới 12 kW, tích hợp 3 vật liệu bán dẫn khác nhau vào một module duy nhất gồm silicon (Si), silicon carbide (SiC) và gallium nitride (GaN).

- Các mẫu đầu tiên sẽ có công suất 8 kW, dự kiến ra mắt quý 1/2025. Chưa rõ thời điểm phát hành mẫu 12 kW.

- PSU 12 kW sẽ đạt mức hiệu suất 97.5%, trong khi PSU 8 kW có thể hỗ trợ "giá đỡ AI" với công suất 300 kW trở lên.  

- Các trung tâm dữ liệu đang tăng trưởng nhanh nhu cầu năng lượng do sự phổ biến của chatbot và dịch vụ AI. 

- PSU mới sẽ giúp giảm tiêu thụ điện nhờ tăng hiệu suất, đồng thời cắt giảm khí thải nhà kính và chi phí vận hành.

- Dự báo đến năm 2030, các trung tâm dữ liệu có thể chiếm 7% tổng mức tiêu thụ điện toàn cầu.

- GPU máy chủ hiện đại yêu cầu tới 1 kW cho mỗi chip và có thể đạt 2 kW "hoặc hơn" vào cuối thập kỷ này.

 

📌 Infineon đang phát triển PSU 12 kW cho các trung tâm dữ liệu AI, tích hợp Si, SiC và GaN để tăng hiệu suất và độ tin cậy. Mẫu 8 kW dự kiến ra mắt đầu 2025, giúp giảm tiêu thụ điện và chi phí vận hành, trong bối cảnh nhu cầu năng lượng của trung tâm dữ liệu tăng nhanh do AI.

https://www.techspot.com/news/103184-infineon-cooking-up-12-kw-power-supplies-energy.html

GPU AI Moore Threads MTT S4000 của Trung Quốc dùng để huấn luyện mô hình ngôn ngữ lớn 3 tỷ tham số, cạnh tranh được với Nvidia

- Moore Threads tuyên bố GPU AI S4000 mới nhất của họ nhanh hơn đáng kể so với thế hệ trước.
- Cụm Tính toán Thông minh Kua'e Qianka mới sử dụng GPU S4000 xếp thứ 3 về tốc độ trong bài kiểm tra AI, vượt trội hơn một số cụm GPU AI Nvidia.
- Quá trình huấn luyện mô hình ngôn ngữ lớn MT-infini-3B trên cụm Kua'e Qianka mất 13,2 ngày, chạy hoàn hảo không gián đoạn.
- Tuy nhiên, bảng so sánh thiếu chi tiết, không rõ GPU Nvidia nào được dùng (A100, H100 hay H200) và tác vụ huấn luyện có thể khác nhau.
- Dù vậy, việc huấn luyện LLM trên GPU Moore Threads là bước tiến quan trọng trong lộ trình GPU nội địa của Trung Quốc.
- Hiệu năng thô của S4000 vượt trội hơn nhiều so với GPU AI S3000 và S2000 trước đó của Moore Threads, cũng như vượt qua các bộ tăng tốc AI thế hệ Turing của Nvidia.
- Mặc dù chưa sánh được với GPU AI A100 của Nvidia, nhưng S4000 cho thấy Moore Threads đã có thể xây dựng GPU AI cạnh tranh được với đối thủ phương Tây.
- Đây là thành tựu ấn tượng với một nhà sản xuất GPU mới thành lập chưa đầy 5 năm như Moore Threads.
- Nếu Moore Threads tiếp tục cải thiện hiệu năng qua các thế hệ, họ có thể có bộ tăng tốc GPU AI ngang ngửa với đối thủ phương Tây trong vài năm tới.

📌 GPU AI S4000 mới nhất của Moore Threads cho thấy bước tiến vượt bậc của Trung Quốc trong việc bắt kịp hiệu năng AI của phương Tây. Mặc dù chưa vượt qua được A100 của Nvidia, nhưng khả năng huấn luyện LLM 3 tỷ tham số trong 13,2 ngày của cụm Kua'e Qianka sử dụng S4000 là một cột mốc quan trọng, hứa hẹn Moore Threads sẽ sớm cạnh tranh trực tiếp với các đối thủ như Nvidia, AMD, Intel trong tương lai gần.

https://www.tomshardware.com/pc-components/gpus/china-made-moore-threads-ai-gpus-used-for-three-billion-parameter-llm-training-mtt-s4000-appears-competitive-against-unspecified-nvidia-solutions

Nvidia ra mắt siêu chip AI Blackwell với giá lên đến 70.000 USD, hệ thống máy chủ có thể lên đến 3 triệu USD

- Nvidia Blackwell GPUs cho ứng dụng AI sẽ đắt hơn so với các bộ xử lý dựa trên Hopper của công ty, theo các nhà phân tích từ HSBC.
- Một siêu chip GB200 (CPU+GPU) có thể có giá lên đến 70.000 USD.
- Nvidia có thể sẽ bán các máy chủ dựa trên GPU Blackwell thay vì bán chip riêng lẻ, với các máy chủ B200 NVL72 dự kiến có giá lên đến 3 triệu USD mỗi chiếc.
- HSBC ước tính giá bán trung bình (ASP) của GPU B100 là từ 30.000 đến 35.000 USD, tương đương với giá của H100.
- Siêu chip GB200, kết hợp một CPU Grace với hai GPU B200, sẽ có giá từ 60.000 đến 70.000 USD.
- Hệ thống máy chủ Nvidia GB200 NVL36 với 36 siêu chip GB200 (18 CPU Grace và 36 GPU B200) có thể được bán với giá trung bình 1,8 triệu USD.
- Hệ thống máy chủ Nvidia GB200 NVL72 với 72 siêu chip GB200 (36 CPU và 72 GPU) có thể có giá khoảng 3 triệu USD.
- CEO Nvidia, Jensen Huang, đã tiết lộ các chip trung tâm dữ liệu Blackwell tại GTC 2024, nhấn mạnh rằng mục tiêu là bán các giá đỡ máy chủ hoàn chỉnh.
- Hệ thống NVL72 tích hợp qua các kết nối băng thông cao để hoạt động như một GPU khổng lồ, cung cấp 13.824 GB VRAM tổng cộng, rất quan trọng trong việc huấn luyện các mô hình ngôn ngữ lớn (LLM).
- Bán các hệ thống hoàn chỉnh thay vì GPU/siêu chip riêng lẻ cho phép Nvidia hấp thụ một phần lợi nhuận từ các nhà tích hợp hệ thống, tăng doanh thu và lợi nhuận.
- Đối thủ của Nvidia như AMD và Intel đang tiến triển chậm với các bộ xử lý AI của họ, cho phép Nvidia bán các bộ xử lý AI của mình với giá cao.
- H200 đã có giá lên đến 40.000 USD cho từng GPU riêng lẻ, trong khi GB200 sẽ tăng gấp bốn lần số lượng GPU, cộng thêm CPU và PCB lớn cho siêu chip.
- Tính toán thô cho một siêu chip GB200 là 5 petaflops FP16 (10 petaflops với sparsity), so với 1/2 petaflops (dense/sparse) trên H200.
- Giá thực tế của phần cứng trung tâm dữ liệu luôn phụ thuộc vào các hợp đồng cá nhân, dựa trên khối lượng phần cứng đặt hàng và các cuộc đàm phán khác.
- Các khách hàng lớn như Amazon và Microsoft có thể nhận được giảm giá lớn, trong khi các khách hàng nhỏ hơn có thể phải trả giá cao hơn so với báo cáo của HSBC.

📌 Nvidia dự kiến sẽ ra mắt siêu chip AI Blackwell với giá lên đến 70.000 USD và hệ thống máy chủ có thể lên đến 3 triệu USD. Các siêu chip này hứa hẹn mang lại doanh thu hàng tỷ USD cho Nvidia, với khả năng tính toán mạnh mẽ và tích hợp cao, đặc biệt quan trọng trong việc huấn luyện các mô hình ngôn ngữ lớn.

https://www.tomshardware.com/pc-components/gpus/nvidias-next-gen-blackwell-ai-gpus-to-cost-up-to-dollar70000-fully-equipped-servers-range-up-to-dollar3000000-report

Siêu máy tính AI Aurora của Intel phá vỡ rào cản Exascale, đứng thứ 2 sau Frontier

- Aurora, siêu máy tính được tạo ra từ sự hợp tác giữa Intel, HPE và Phòng thí nghiệm Quốc gia Argonne của Bộ Năng lượng Hoa Kỳ, đã phá vỡ rào cản Exascale.
- Nó trở thành cỗ máy thứ hai sau Frontier đạt mốc danh giá này và là siêu máy tính AI nhanh nhất hành tinh.
- Tuy nhiên, Aurora vẫn chưa thể truất ngôi Frontier, siêu máy tính nhanh nhất thế giới do AMD cung cấp.
- Aurora có 21.248 bộ xử lý Intel Xeon CPU Max và 63.744 bộ tăng tốc Intel Data Center GPU Max.
- Trong các bài kiểm tra mới nhất, Aurora đạt hiệu suất 1,012 exaflops chỉ với 9.234 node hoạt động trên tổng số 10.624.
- Trong bài kiểm tra HPL-MxP, Aurora đạt hiệu suất AI 10,6 exaflops chỉ với 89% hệ thống tổng thể hoạt động.
- HPL-MxP sử dụng FP32 và FP16, đại diện tốt hơn cho khả năng AI của máy, trong khi Linpack sử dụng độ chính xác FP64.
- Việc Argonne không thể chạy các bài kiểm tra trên toàn bộ phần cứng Aurora là do nhiều lỗi hệ thống, bao gồm sự cố làm mát, lỗi vận hành và mạng không ổn định.
- Ngay cả khi các kỹ sư khắc phục những vấn đề đó và điều chỉnh hệ thống hoàn hảo, Aurora vẫn khó có thể vượt qua Frontier.
- Hệ thống do AMD cung cấp hiện được đánh giá có hiệu suất 1,206 exaflops, nhanh hơn khoảng 19% so với Aurora.

📌 Mặc dù Aurora đã trở thành siêu máy tính AI nhanh nhất thế giới với hiệu suất 10,6 exaflops trong bài kiểm tra HPL-MxP, nó vẫn đứng thứ hai sau Frontier trong bảng xếp hạng tổng thể. Hệ thống gặp nhiều sự cố và chưa thể chạy các bài kiểm tra trên toàn bộ phần cứng. Ngay cả khi được tối ưu hóa, Aurora vẫn khó có thể vượt qua hiệu suất 1,206 exaflops của Frontier.

https://www.techspot.com/news/102976-intel-powered-aurora-now-fastest-ai-supercomputer-world.html

Liên minh MediaTek - Nvidia tham vọng thống lĩnh thị trường PC với chip AI mới

- MediaTek và Nvidia đang hợp tác phát triển một chip AI mới cho thị trường PC, dự kiến hoàn thiện vào cuối năm 2024 và bắt đầu xuất xưởng năm 2025.
- Chip sẽ được sản xuất bởi TSMC trên quy trình N3, giá thành có thể lên tới 300 USD.
- Nvidia có lịch sử lâu dài với kiến trúc Arm, từng phát triển dòng chip Tegra kết hợp lõi Arm Cortex và GPU của Nvidia, được Nintendo sử dụng trên máy chơi game Switch.
- Năm 2024 được dự báo là năm bùng nổ của PC AI với sự tham gia của AMD, Intel, Microsoft. Nvidia muốn giành thị phần đáng kể trong thị trường PC AI mới này.
- Năm 2024 cũng đánh dấu sự hết hạn của thỏa thuận độc quyền giữa Qualcomm và Microsoft về CPU cho PC chạy Windows on Arm, mở đường cho nhiều đối thủ mới gia nhập.
- Qualcomm, đối thủ trực tiếp của MediaTek, cũng đã giới thiệu chip Snapdragon X Elite hỗ trợ AI cho PC.
- Thị trường smartphone đang bão hòa trong khi doanh số PC dự kiến sẽ phục hồi trong 12 tháng tới.
- Chip MediaTek-Nvidia nhiều khả năng sẽ có mức tiêu thụ điện năng thấp dưới 60W, 8-16 lõi CPU Arm và GPU đủ mạnh để chơi game 1080p.

📌 Sự hợp tác giữa MediaTek và Nvidia hứa hẹn sẽ mang lại làn gió mới cho thị trường PC với chip AI mạnh mẽ tích hợp CPU Arm và GPU Nvidia. Dự kiến ra mắt vào năm 2025, chip này sẽ cạnh tranh trực tiếp với các đối thủ như AMD, Intel, Qualcomm trong cuộc đua AI và mang đến cho người dùng nhiều lựa chọn hơn với mức giá hợp lý.

https://www.pcgamer.com/hardware/processors/mediatek-and-nvidia-are-gearing-up-to-tackle-the-ai-pc-market-hand-in-hand-with-an-all-new-chip/

Siêu máy tính JEDI của châu Âu đứng đầu danh sách Green500 về hiệu quả năng lượng

- JEDI, module tiền thân đầu tiên của siêu máy tính exascale JUPITER thuộc liên doanh EuroHPC, đã đứng đầu danh sách Green500 về các siêu máy tính tiết kiệm năng lượng nhất trên toàn thế giới.
- Các trung tâm dữ liệu tiêu thụ một lượng lớn năng lượng, và nhu cầu tính toán sẽ chỉ tăng lên khi việc đào tạo và chạy AI ngày càng tiêu tốn nhiều tài nguyên quý giá hơn. 
- Theo CEO của Arm, Rene Haas, AI có thể chiếm lượng tiêu thụ điện tương đương với Ấn Độ vào năm 2030.
- Vì vậy, điều cấp thiết là tất cả các dự án siêu máy tính được công bố trong vài năm qua phải chịu trách nhiệm về lượng năng lượng chúng cần để vận hành.
- Hầu hết các hệ thống dẫn đầu trên Green500 đều dựa chủ yếu vào GPU của Nvidia.
- JEDI dựa trên Nvidia GH200 Grace Hopper Superchip, kết hợp cả kiến trúc GPU và CPU.
- Nó cũng sử dụng hệ thống làm mát bằng nước nóng trực tiếp, một phần của kiến trúc Eviden BullSequana XH3000, tiêu thụ ít năng lượng hơn đáng kể so với làm mát bằng không khí thông thường.
- Khi hoàn thành, hệ thống JUPITER sẽ có 24.000 chip Nvidia Grace Hopper, 125 giá đỡ BullSequana XH3000 và vượt ngưỡng một exaflop, tương đương với khả năng tính toán một quintillion (số 1 theo sau bởi 18 số 0) phép tính dấu phẩy động mỗi giây.
- Đặc biệt đối với các phép tính 8-bit, phổ biến nhất để đào tạo AI, sức mạnh tính toán sẽ tăng lên đạt hơn 70 exaflops.

📌 Siêu máy tính JEDI của liên doanh EuroHPC đã đứng đầu danh sách Green500 về hiệu quả năng lượng. Khi hoàn thành vào đầu năm 2025, hệ thống JUPITER với 24.000 chip Nvidia Grace Hopper sẽ vượt ngưỡng 1 exaflop và trở thành hệ thống AI mạnh nhất thế giới với sức mạnh tính toán hơn 70 exaflops cho các phép tính 8-bit.

 

https://thenextweb.com/news/eu-jedi-supercomputer-most-energy-efficient-hpc-system-world

Nvidia công bố siêu máy tính Grace Hopper mạnh nhất thế giới: 200 exaflops cho AI

- Nvidia công bố 9 siêu máy tính trên toàn cầu sử dụng nền tảng Grace Hopper GH200, bao gồm một CPU Grace 72 nhân và một GPU H100 cho các tác vụ AI và HPC.
- Tổng cộng, các siêu máy tính này đạt hiệu năng tính toán "AI" đáng kinh ngạc là 200 ExaFLOPS, tuy nhiên hiệu năng tính toán FP64 cần thiết cho mô phỏng khoa học thấp hơn đáng kể.
- Các hệ thống mới được triển khai tại nhiều quốc gia như Pháp, Ba Lan, Thụy Sĩ, Đức, Mỹ và Nhật Bản.
- Nổi bật là siêu máy tính EXA1-HE ở Pháp, được phát triển bởi CEA và Eviden, có 477 node tính toán dựa trên bộ xử lý Grace Hopper của Nvidia.
- Một hệ thống quan trọng khác là dự án Isambard-AI tại Đại học Bristol, Anh, được trang bị 168 Nvidia GH200 Superchip ban đầu và dự kiến tăng hiệu năng gấp 32 lần khi bổ sung thêm 5.280 chip vào mùa hè này.
- Khi hoàn thiện, Isambard 3 sẽ có hơn 55.000 nhân hiệu năng cao Arm Neoverse V2, hứa hẹn mang lại hiệu năng FP64 đáng nể.
- Các siêu máy tính đáng chú ý khác bao gồm Helios tại Ba Lan, Alps tại Thụy Sĩ, Jupiter tại Đức, DeltaAI tại Mỹ và Miyabi tại Nhật Bản.
- Điểm then chốt của thông báo là nền tảng Grace Hopper của Nvidia được trang bị CPU và GPU của chính hãng đang ngày càng được ứng dụng rộng rãi trong giới khoa học.

📌 Nvidia đang thâm nhập mạnh mẽ vào lĩnh vực siêu máy tính với nền tảng Grace Hopper GH200, triển khai tại 9 hệ thống đạt tổng cộng 200 ExaFLOPS cho AI trên toàn cầu. Các siêu máy tính như EXA1-HE, Isambard-AI với hơn 55.000 nhân Arm Neoverse V2 hứa hẹn mang lại hiệu năng vượt trội. Bước tiến này cho thấy tầm quan trọng của mảng HPC đối với Nvidia.

SoftBank đặt cược lớn vào chip AI: Arm sẽ ra mắt sản phẩm đầu tiên vào năm 2025

- Arm, công ty con của SoftBank Group, sẽ thành lập một bộ phận chip AI, với mục tiêu chế tạo nguyên mẫu vào mùa xuân 2025 và sản xuất hàng loạt vào mùa thu cùng năm.
- Arm hiện chiếm hơn 90% thị phần kiến trúc cho bộ xử lý dùng trong điện thoại thông minh.
- Chi phí phát triển ban đầu, ước tính hàng trăm tỷ yên, sẽ do Arm và SoftBank gánh vác. Khi hệ thống sản xuất hàng loạt được thiết lập, mảng kinh doanh chip AI có thể được tách ra và đặt dưới SoftBank.
- SoftBank đang đàm phán với TSMC và các đối tác khác về sản xuất, tìm cách đảm bảo năng lực sản xuất.
- CEO Masayoshi Son kỳ vọng mang đến sự đổi mới trong nhiều ngành công nghiệp bằng cách kết hợp công nghệ AI, bán dẫn và robot mới nhất.
- Thị trường chip AI dự kiến sẽ vượt 100 tỷ USD vào năm 2029 và trên 200 tỷ USD vào năm 2032.
- SoftBank dự kiến xây dựng các trung tâm dữ liệu được trang bị chip nội bộ tại Mỹ, châu Âu, châu Á và Trung Đông sớm nhất là vào năm 2026, đồng thời mở rộng sang lĩnh vực sản xuất điện.
- Tập đoàn cũng tìm kiếm các thương vụ mua bán và sáp nhập, với tổng đầu tư dự kiến lên tới 10 nghìn tỷ yên.

📌 SoftBank đang đặt cược lớn vào chip AI với khoản đầu tư 10 nghìn tỷ yên, nhằm biến mình thành một tập đoàn AI khổng lồ. Arm sẽ phát triển chip AI, dự kiến ra mắt sản phẩm đầu tiên vào năm 2025, trong khi SoftBank mở rộng sang các lĩnh vực trung tâm dữ liệu, robot và sản xuất điện. Thị trường chip AI được dự báo vượt 200 tỷ USD vào năm 2032.

https://asia.nikkei.com/Business/Technology/SoftBank-s-Arm-plans-to-launch-AI-chips-in-2025

Apple gia nhập cuộc chiến chip AI, đẩy cuộc đua lên tầm cao mới

- Apple đã chính thức gia nhập cuộc chiến chip AI với việc ra mắt chip M2 Ultra, được tích hợp trong máy Mac Studio mới.
- Chip M2 Ultra của Apple sử dụng kiến trúc "chiplet", cho phép kết nối nhiều chip nhỏ hơn để tạo thành một chip lớn hơn, mạnh mẽ hơn.
- Các đối thủ của Apple trong cuộc đua chip AI bao gồm Nvidia, Google, Microsoft và Amazon, với Nvidia hiện đang dẫn đầu thị trường.
- Nvidia đang phát triển siêu máy tính AI mạnh nhất thế giới, DGX GH200, sử dụng chip Grace Hopper "superchip".
- Google cũng đang phát triển chip AI riêng, trong khi Microsoft hợp tác với OpenAI và sử dụng chip Nvidia để cung cấp năng lực AI.
- Amazon cũng đang phát triển chip Inferentia riêng để cạnh tranh trong lĩnh vực điện toán đám mây AI.
- Cuộc đua phát triển chip AI đang diễn ra vô cùng khốc liệt, với các ông lớn công nghệ đầu tư hàng tỷ USD để giành lợi thế.
- Thị trường chip AI được dự báo sẽ đạt 194 tỷ USD vào năm 2030, tăng mạnh từ mức 21 tỷ USD năm 2022.
- Sự bùng nổ của AI đòi hỏi những chip mạnh mẽ hơn để xử lý khối lượng dữ liệu và tính toán khổng lồ.
- Cuộc chiến chip AI không chỉ là cuộc đua công nghệ mà còn là cuộc chiến giành ưu thế trên thị trường công nghệ toàn cầu.

📌 Apple đã chính thức gia nhập cuộc chiến chip AI với chip M2 Ultra, đẩy cuộc đua công nghệ giữa các ông lớn như Nvidia, Google, Microsoft và Amazon lên một tầm cao mới. Thị trường chip AI dự kiến đạt 194 tỷ USD vào năm 2030, cho thấy tầm quan trọng của cuộc đua không chỉ về mặt công nghệ mà còn cả trong việc giành ưu thế trên thị trường toàn cầu.

Citations:
[1] https://finance.yahoo.com/news/with-apple-entering-the-fight-the-ai-chip-wars-have-gone-nuclear-150546931.html

Apple chuẩn bị trung tâm dữ liệu tập trung AI với máy chủ chạy chip nội bộ

- Apple sẽ cung cấp một số tính năng trí tuệ nhân tạo sắp tới thông qua các trung tâm dữ liệu được trang bị bộ xử lý nội bộ của riêng họ.
- Các tính năng AI đơn giản hơn sẽ được xử lý trực tiếp trên iPhone, iPad và Mac. 
- Apple sẽ không phụ thuộc vào các bộ xử lý tập trung vào AI từ Nvidia hay các nhà sản xuất chip khác. Thay vào đó, họ sẽ bắt đầu với M2 Ultra, bộ xử lý Mac cao cấp hiện tại của mình.
- Chip Nvidia "Blackwell" B200 mới tập trung vào AI có giá từ 30.000 đến 40.000 USD mỗi chip.
- Apple muốn giữ chức năng AI cục bộ càng nhiều càng tốt vì nó riêng tư hơn và thường nhanh hơn. Nhưng khi một tác vụ vượt quá khả năng của điện thoại hoặc máy tính để bàn, nó có thể chuyển sang máy chủ từ xa.
- Bộ xử lý Apple M4 mới sẽ ra mắt trên iPad Pro 2024, nhưng dự kiến sẽ có trên Mac vào cuối năm nay. M4 có Neural Engine nhanh nhất từ trước đến nay của Apple, có khả năng xử lý tới 38 nghìn tỷ phép tính mỗi giây, nhanh hơn bộ xử lý neural của bất kỳ PC AI nào.

📌 Apple đang chuẩn bị mạnh mẽ cho AI với trung tâm dữ liệu chạy chip nội bộ M2 Ultra, trong khi các tính năng đơn giản hơn sẽ xử lý trên thiết bị. Chip M4 mới với Neural Engine mạnh nhất từ trước đến nay sẽ giúp đưa AI lên iPhone, iPad, Mac trong năm nay.

Citations:
[1] https://www.cultofmac.com/856004/apple-ai-data-centers-servers-in-house-chips/

Nvidia sẽ ra mắt GPU AI R100 vào cuối năm 2025 với kiến trúc đa chip Vera Rubin

- Nvidia dự kiến ra mắt dòng GPU AI thế hệ tiếp theo mang tên R100 vào cuối năm 2025.
- R100 sẽ sử dụng kiến trúc đa chip mới có tên Vera Rubin, được sản xuất trên tiến trình 3nm của TSMC.
- Vera Rubin sẽ tận dụng công nghệ đóng gói chip tiên tiến CoWoS-L (Chip-on-Wafer-on-Substrate with Liner) của TSMC.
- Kiến trúc đa chip cho phép tích hợp nhiều GPU die trên cùng một package, giúp tăng hiệu suất và khả năng mở rộng.
- R100 sẽ kế thừa kiến trúc Hopper (GH100) hiện tại của Nvidia, nhưng với nhiều cải tiến về hiệu suất và tính năng.
- Nvidia đang hợp tác chặt chẽ với TSMC để phát triển và sản xuất chip R100 trên quy trình 3nm tiên tiến.
- Việc sử dụng tiến trình 3nm sẽ giúp tăng mật độ transistor, cải thiện hiệu suất và tiết kiệm năng lượng cho R100.
- Công nghệ CoWoS-L cho phép đóng gói nhiều chip trên cùng một tấm nền (substrate), giúp tăng băng thông và giảm độ trễ giữa các chip.
- R100 dự kiến sẽ mang lại hiệu suất vượt trội so với thế hệ GPU AI hiện tại của Nvidia, đáp ứng nhu cầu ngày càng tăng trong lĩnh vực AI và học sâu.
- Nvidia đang đầu tư mạnh mẽ vào nghiên cứu và phát triển các giải pháp GPU AI tiên tiến để duy trì vị thế dẫn đầu trong ngành công nghiệp.

📌 Nvidia đang chuẩn bị ra mắt GPU AI thế hệ tiếp theo R100 vào cuối năm 2025, sử dụng kiến trúc đa chip Vera Rubin trên tiến trình 3nm và công nghệ đóng gói CoWoS-L của TSMC, hứa hẹn mang lại hiệu suất vượt trội và khả năng mở rộng đáng kể cho các ứng dụng AI và học sâu.

Citations:
[1] https://www.tomshardware.com/pc-components/gpus/nvidias-unannounced-r100-ai-gpus-reportedly-coming-in-late-2025-vera-rubin-multi-chip-designs-using-3nm-and-cowos-l

TSMC dự báo AI sẽ chiếm hơn 20% doanh thu vào năm 2028

- Vào đầu năm 2023, ChatGPT đã khởi đầu một làn sóng toàn cầu về AI tạo sinh, làm tăng nhu cầu đối với phần mềm và phần cứng liên quan.
- Nvidia, một trong những công ty đi đầu trong lĩnh vực này, đã chứng kiến giá trị thị trường của mình tăng vọt.
- Chuỗi cung ứng, bao gồm cả các nhà cung cấp phía trên và phía dưới, đã thể hiện sự kiên cường tương đối trước những thách thức của ngành.
- TSMC, nhà sản xuất chip hàng đầu thế giới, dự báo rằng AI sẽ đóng góp hơn 20% vào doanh thu của họ vào năm 2028.
- Sự bùng nổ của AI tạo sinh không chỉ thúc đẩy nhu cầu về phần cứng mà còn cả phần mềm, mở rộng cơ hội cho các công ty công nghệ và sản xuất.
- TSMC đã đầu tư mạnh mẽ vào việc phát triển và sản xuất các mạch tích hợp (IC) chuyên biệt cho AI, nhằm đáp ứng nhu cầu ngày càng tăng.
- Các nhà phân tích dự báo rằng sự tăng trưởng này sẽ tiếp tục mạnh mẽ trong những năm tới, với AI ngày càng trở thành một phần không thể thiếu trong nhiều lĩnh vực công nghệ.

📌 TSMC dự báo AI sẽ chiếm hơn 20% doanh thu vào năm 2028, nhờ vào sự bùng nổ của AI tạo sinh kể từ đầu năm 2023. Nvidia và chuỗi cung ứng toàn cầu cũng ghi nhận sự tăng trưởng đáng kể, phản ánh nhu cầu mạnh mẽ cho phần mềm và phần cứng liên quan đến AI.

Citations:
[1] https://www.digitimes.com/news/a20240506PD208/tsmc-ai-ic-manufacturing-revenue-2028.html

Apple "chơi lớn" với chip M4: Khai phá sức mạnh AI trên iPad và MacBook

- Apple giới thiệu chip M4 thế hệ mới, tập trung vào cải thiện hiệu suất cho các tác vụ liên quan đến AI.
- Chip M4 sẽ xuất hiện trên các mẫu iPad Pro OLED mới và MacBook trong năm nay.
- Tại sự kiện ra mắt, Apple nhấn mạnh mạnh vào khả năng AI của chip M4.
- Neural engine mới giúp tăng tốc độ xử lý cho các tác vụ học máy lên đến 40%.
- Chip M4 được sản xuất trên quy trình 3nm tiên tiến, mang lại hiệu suất cao và tiết kiệm năng lượng.
- iPad Pro mới sẽ tận dụng sức mạnh AI của M4 để cải thiện trải nghiệm người dùng trên iPadOS.
- Các tính năng như nhận dạng chữ viết tay, xử lý ngôn ngữ tự nhiên, và tăng cường thực tế ảo sẽ được hưởng lợi từ chip M4.
- Trên MacBook, chip M4 giúp tăng tốc độ xử lý cho các ứng dụng đòi hỏi AI như chỉnh sửa video và hình ảnh.
- Apple kỳ vọng chip M4 sẽ thúc đẩy sự phát triển của các ứng dụng và trò chơi dựa trên AI trên nền tảng của họ.
- Việc ra mắt chip M4 cho thấy tham vọng của Apple trong việc dẫn đầu cuộc đua phát triển AI trên thiết bị di động và máy tính.

📌 Apple ra mắt chip M4 với khả năng AI vượt trội, xuất hiện trên iPad Pro OLED và MacBook mới. Neural engine cải tiến tăng tốc độ xử lý học máy lên 40%, thúc đẩy trải nghiệm người dùng và ứng dụng AI trên iPadOS và macOS. Bước tiến này thể hiện tham vọng dẫn đầu của Apple trong cuộc đua phát triển AI.

Citations:
[1] https://www.theverge.com/2024/5/7/24148451/apple-m4-chip-ai-ipad-macbook

GPU Trung Quốc Lingjiu GP201 vượt mặt đồ họa tích hợp AMD 10 năm tuổi, sẵn sàng sản xuất hàng loạt

- Lingjiu GP201, GPU đầu tiên của Trung Quốc, đã đạt hiệu năng vượt trội hơn 30% so với đồ họa tích hợp AMD Radeon HD 8400 ra mắt cách đây 10 năm.
- GPU này sử dụng kiến trúc đồ họa tùy chỉnh với 256 lõi CUDA, xung nhịp 1.5 GHz, băng thông bộ nhớ 128 GB/s và hiệu suất 768 GFLOPS.
- Lingjiu GP201 đã sẵn sàng cho sản xuất hàng loạt và sẽ được tích hợp vào các sản phẩm máy tính để bàn và laptop trong nước.
- Thành công này đánh dấu bước tiến quan trọng của Trung Quốc trong nỗ lực giảm sự phụ thuộc vào công nghệ bán dẫn nước ngoài và thúc đẩy ngành công nghiệp chip nội địa.
- Mặc dù hiệu năng của Lingjiu GP201 vẫn còn khoảng cách đáng kể so với các GPU hiện đại của Nvidia và AMD, nhưng nó cho thấy tiềm năng của Trung Quốc trong việc phát triển công nghệ GPU độc lập.
- Các chuyên gia dự đoán rằng trong 5-10 năm tới, Trung Quốc có thể sản xuất GPU có hiệu năng tương đương với các sản phẩm tầm trung của Nvidia và AMD.
- Sự ra đời của Lingjiu GP201 sẽ tạo áp lực cạnh tranh lên thị trường GPU toàn cầu và có thể buộc các nhà sản xuất lớn phải điều chỉnh chiến lược kinh doanh của họ.

📌 Lingjiu GP201, GPU nội địa đầu tiên của Trung Quốc, đã vượt qua hiệu năng của đồ họa tích hợp AMD 10 năm tuổi và sẵn sàng cho sản xuất hàng loạt. Thành công này đánh dấu bước tiến quan trọng của Trung Quốc trong việc phát triển ngành công nghiệp bán dẫn độc lập, tạo áp lực cạnh tranh mới trên thị trường GPU toàn cầu.

Citations:
[1] https://www.tomshardware.com/pc-components/gpus/chinese-made-gpu-beats-performance-of-10-year-old-integrated-amd-graphics-lingjiu-gp201-hits-mass-production

tại sao GPU của NVIDIA vẫn chưa có mặt tại thị trường Ấn Độ và dự kiến sẽ có sau cuộc bầu cử

- NVIDIA dự kiến sẽ nhập khẩu GPU vào thị trường Ấn Độ sau cuộc bầu cử Lok Sabha.
- Yotta, một công ty AI của Ấn Độ, đã nhận được lô hàng đầu tiên gồm 4.000 GPU từ ASUS, nhưng không có sự hiện diện của NVIDIA.
- Yotta sử dụng máy chủ ESC N8-E11 của ASUS với 8 GPU NVIDIA HGX H100 để nâng cấp nền tảng Shakti Cloud, hỗ trợ phát triển và triển khai mô hình AI.
- Yotta dự định tăng số lượng GPU lên 32.768 đơn vị vào cuối năm 2025 và đã thông báo kế hoạch nhập khẩu 24.000 GPU trong đó có NVIDIA H100s và L40S.
- Yotta là đối tác Elite trong Mạng lưới Đối tác NVIDIA và được ưu tiên cao trong việc phân bổ GPU.
- Sunil Gupta của Yotta cho biết công ty có thể xây dựng đồng thời 5 mô hình GPT-4 với cơ sở hạ tầng hiện có.
- Yotta cũng là Đối tác Đám mây duy nhất của Mạng lưới Đối tác NVIDIA tại Ấn Độ và sẽ nhận GPU Blackwell mới nhất vào tháng 10.
- Các công ty khác tại Ấn Độ như Sarvam AI và SML gặp khó khăn trong việc tiếp cận GPU NVIDIA cao cấp như H100.
- Ola Krutrim, một unicorn AI của Ấn Độ, đang sử dụng cụm Intel Gaudi 2 để đào tạo mô hình cơ sở.
- Zoho đang tìm kiếm các lựa chọn thay thế cho NVIDIA và đã đầu tư gần 10 triệu USD để mua GPU từ ba nhà cung cấp chính là Intel, AMD và NVIDIA.
- Chính phủ Ấn Độ đã phê duyệt chương trình AI trị giá 10.371.92 tỷ INR (126,5 triệu USD), bao gồm triển khai 10.000 GPU thông qua các quan hệ đối tác công-tư.
- NVIDIA đã hứa hẹn sẽ cung cấp hàng chục nghìn GPU cho Ấn Độ và đã hợp tác với Reliance, Tata và chính phủ để thiết lập một cụm 25.000 GPU dành cho các startup.

📌 NVIDIA dự kiến sẽ đưa GPU vào thị trường Ấn Độ sau cuộc bầu cử Lok Sabha, với Yotta là đối tác Elite và dự kiến tăng quy mô lên 32.768 GPU vào cuối năm 2025. Các công ty khác như Sarvam AI và SML gặp khó khăn trong việc tiếp cận GPU NVIDIA, trong khi Ola Krutrim và Zoho đang tìm kiếm các lựa chọn thay thế. Chính phủ Ấn Độ đã phê duyệt chương trình AI trị giá khoảng 126,5 triệu USD, bao gồm triển khai 10.000 GPU thông qua các quan hệ đối tác công-tư.

https://analyticsindiamag.com/why-nvidia-gpus-are-still-not-available-in-india

Yotta Data Services của Ấn Độ có thể xây dựng đồng thời 5 mô hình GPT-4 với cơ sở hạ tầng hiện có, sử dụng 16.000 GPU đã đặt hàng từ NVIDIA

- Sunil Gupta, giám đốc công ty trung tâm dữ liệu Yotta Data Services của tập đoàn Hiranandani, cho biết Ấn Độ có thể xây dựng đồng thời 5 mô hình GPT-4 với cơ sở hạ tầng hiện có của họ.
- Yotta Data Services đã đặt hàng 16.000 GPU từ NVIDIA, cho phép xử lý tải của 5 khách hàng cùng lúc, mỗi khách hàng muốn tạo ra một GPT-4.
- Công ty đã nhận được 4.000 GPU đầu tiên, với kế hoạch mở rộng lên 32.768 đơn vị vào cuối năm 2025, trong khuôn khổ hợp tác trị giá gần 1 tỷ USD với NVIDIA.
- Các chip tiên tiến từ NVIDIA sẽ cung cấp sức mạnh cho nền tảng đám mây Shakti sắp tới của Yotta, đưa nó trở thành siêu máy tính nhanh thứ 10 trên toàn cầu.
- Yotta Data Services cũng hợp tác với Deloitte India để cung cấp cho khách hàng quyền truy cập vào cơ sở hạ tầng GPU của NVIDIA nhằm phát triển các ứng dụng AI tạo sinh một cách hiệu quả.
- Gần đây, Yotta Data Services đã hợp tác với BLC Holdings của Nepal để xây dựng trung tâm dữ liệu siêu đám mây đầu tiên của Nepal, có tên "K1", tại Ramkot gần Kathmandu.
- Cơ sở K1 trị giá hàng triệu USD sẽ cung cấp công suất tải CNTT tới 4MW, trải rộng trên 3 mẫu Anh và diện tích 60.000 feet vuông, cung cấp các dịch vụ đám mây, CNTT và an ninh mạng.

📌 Yotta Data Services của Ấn Độ đang đầu tư mạnh vào cơ sở hạ tầng GPU tiên tiến, với 16.000 GPU đã đặt hàng từ NVIDIA, cho phép xây dựng đồng thời 5 mô hình GPT-4. Hợp tác với NVIDIA và Deloitte India giúp Yotta cung cấp nền tảng đám mây Shakti mạnh mẽ, hỗ trợ phát triển ứng dụng AI. Dự án trung tâm dữ liệu siêu đám mây K1 tại Nepal là một bước tiến quan trọng khác của công ty.

Citations:
[1] https://analyticsindiamag.com/india-can-build-five-gpt-4-models-simultaneously-on-yotta-infrastructure/

CoreWeave huy động 1.1 tỷ USD, cho thấy thị trường đám mây thay thế đang bùng nổ

- CoreWeave, nhà cung cấp hạ tầng GPU khởi đầu như một hoạt động khai thác tiền điện tử, vừa huy động được 1.1 tỷ USD từ các nhà đầu tư như Coatue, Fidelity và Altimeter Capital.
- Vòng gọi vốn này đưa định giá của CoreWeave lên 19 tỷ USD, tổng số tiền huy động được là 5 tỷ USD chỉ trong chưa đầy 10 năm hoạt động. 
- Không chỉ CoreWeave, Lambda Labs cũng huy động được 500 triệu USD, Voltage Park đầu tư 500 triệu USD vào các trung tâm dữ liệu dựa trên GPU, Together AI nhận được 106 triệu USD do Salesforce dẫn đầu.
- Theo Gartner, các công ty như CoreWeave tham gia vào thị trường "GPU như một dịch vụ" chuyên biệt, cung cấp một lựa chọn thay thế cho các nhà cung cấp siêu lớn trong bối cảnh nhu cầu GPU cao.
- Forrester cho rằng các nhà cung cấp đám mây thay thế như CoreWeave thành công một phần vì họ không phải đối mặt với "gánh nặng" cơ sở hạ tầng như các nhà cung cấp lâu đời.
- Tuy nhiên, Forrester cũng nghi ngờ về tính bền vững của sự tăng trưởng này.

📌 CoreWeave huy động được 1.1 tỷ USD, nâng tổng vốn lên 5 tỷ USD và định giá lên 19 tỷ USD, cho thấy sự bùng nổ của thị trường đám mây thay thế hay  "GPU như một dịch vụ" chuyên biệt, cung cấp một lựa chọn thay thế cho các nhà cung cấp siêu lớn trong bối cảnh nhu cầu GPU cao. Các công ty như Lambda Labs, Voltage Park, Together AI cũng ghi nhận các khoản đầu tư lớn. Tuy nhiên, tính bền vững của xu hướng này vẫn còn nhiều nghi vấn.

Citations:
[1] https://techcrunch.com/2024/05/05/coreweaves-1-1b-raise-shows-the-market-for-alternative-clouds-is-booming/

Cách xây dựng máy chủ AI hiệu suất cao, giá rẻ, bảo mật dữ liệu

- Trong thời đại số ngày nay, quyền riêng tư dữ liệu là mối quan tâm hàng đầu. Xây dựng máy chủ AI cục bộ hiệu suất cao là giải pháp tuyệt vời, cho phép tùy chỉnh theo ngân sách và giữ an toàn, bảo mật dữ liệu, phản hồi, mô hình AI bằng phần mềm nguồn mở.

- NetworkChuck, kỹ sư mạng và người đam mê công nghệ, đã hướng dẫn chi tiết cách anh ấy xây dựng máy chủ AI chạy cục bộ, xử lý mô hình ngôn ngữ lớn cho các dự án AI giá rẻ, riêng tư và an toàn, không cần trả phí hàng tháng cho các nhà cung cấp AI đám mây như ChatGPT của OpenAI, Claude 3 của Anthropic...

- Cấu hình phần cứng mạnh mẽ bao gồm: CPU AMD Ryzen 9 7950X xử lý vượt trội các mô hình AI phức tạp và bộ dữ liệu lớn; 128GB RAM DDR5 cho tốc độ xử lý nhanh, đa nhiệm mượt mà; 2 GPU NVIDIA RTX 4090 tăng tốc các tác vụ AI.

- Máy chủ AI cục bộ còn là công cụ giáo dục giá trị, cung cấp nền tảng khám phá, hiểu các khái niệm AI phức tạp, cho phép sinh viên, nhà nghiên cứu tương tác thực tế với công nghệ tiên tiến. Khả năng tùy chỉnh tài nguyên AI theo mục tiêu học tập và tiêu chuẩn đạo đức cụ thể khiến nó trở thành giải pháp lý tưởng cho các cơ sở giáo dục.

📌 Xây dựng máy chủ AI cục bộ hiệu suất cao là cách tuyệt vời để tận dụng sức mạnh của trí tuệ nhân tạo, đồng thời duy trì quyền riêng tư dữ liệu. Với phần cứng mạnh mẽ như CPU AMD Ryzen 9 7950X, 128GB RAM DDR5, 2 GPU NVIDIA RTX 4090 và phần mềm nguồn mở, bạn có thể xây dựng hệ thống AI tùy chỉnh, an toàn với chi phí hợp lý, phục vụ cho nghiên cứu, học tập về AI tiên tiến.

Citations:
[1] https://www.geeky-gadgets.com/building-an-ai-server/

làm thế nào để kiếm tiền tỷ từ việc cho thuê GPU, không phải bán chúng

- Các công ty lớn như Microsoft Azure, Meta Platforms, Amazon Web Services, và Google Cloud đã nhận được số lượng lớn GPU H100 từ Nvidia, với mục đích cho thuê chúng để đào tạo mô hình AI.
- CoreWeave và Lambda, hai công ty nhỏ hơn, đang thu hút sự chú ý vì họ đã nhận được đầu tư mạo hiểm lớn và đang chuẩn bị cho các đợt IPO sắp tới.
- Nvidia đánh giá cao khả năng thu nhập từ việc cho thuê GPU, với dự đoán thu nhập cho thuê lên đến 2,5 tỷ USD trong vòng bốn năm, dựa trên giá 4 USD mỗi giờ GPU.
- CoreWeave đã nhận được tổng cộng 4,46 tỷ USD từ các vòng tài chính và cho vay, và dự kiến thu nhập 15,68 tỷ USD từ việc cho thuê GPU trong bốn năm.
- Lambda, mặc dù nhỏ hơn, cũng đã thu hút được tổng cộng 932,2 triệu USD từ các nguồn tài trợ và đang mở rộng hoạt động kinh doanh GPU cloud của mình.
- Cả hai công ty đều cung cấp GPU với chi phí thấp hơn so với các đám mây lớn như AWS, nhưng điều này có thể không bền vững nếu nhu cầu về GPU giảm xuống.
- Việc cho thuê GPU được đánh giá là có lợi nhuận cao hơn so với việc bán chúng, đặc biệt khi nhu cầu về tài nguyên tính toán cho AI và mô hình ngôn ngữ lớn ngày càng tăng.

📌 CoreWeave và Lambda đang tận dụng cơ hội từ thị trường cho thuê GPU, với dự đoán thu nhập lên đến 15,68 tỷ USD và 932,2 triệu USD từ các nguồn tài trợ. Nvidia cũng nhận thấy tiềm năng lớn từ việc cho thuê GPU, với ước tính thu nhập 2,5 tỷ USD trong bốn năm. Các công ty này đều hướng đến việc cung cấp tài nguyên tính toán cho AI với chi phí thấp hơn so với các nhà cung cấp lớn.

Citations:
[1] https://www.nextplatform.com/2024/05/02/how-to-make-more-money-renting-a-gpu-than-nvidia-makes-selling-it/

Confluent tung giải pháp plug-and-play đẩy nhanh AI streaming thời gian thực

- Confluent hiện cung cấp khả năng suy luận mô hình AI cho một số khách hàng xây dựng ứng dụng AI thời gian thực với Flink. Công ty có kế hoạch mở rộng quyền truy cập và ra mắt thêm các tính năng để việc chạy ứng dụng AI với dữ liệu streaming trở nên dễ dàng, rẻ và nhanh hơn.

- Confluent giới thiệu Freight Clusters, một loại cụm serverless mới cho khách hàng, tận dụng sao chép rẻ hơn nhưng chậm hơn trên các trung tâm dữ liệu, giúp giảm tới 90% chi phí. 

- Tại sự kiện Kafka Summit ở Bengaluru, Ấn Độ, hơn 30% người tham dự đến từ khu vực này. Jay Kreps, CEO và đồng sáng lập Confluent, chia sẻ tầm nhìn về việc tạo ra các sản phẩm dữ liệu phổ quát hỗ trợ cả mặt vận hành và phân tích của dữ liệu.

- Confluent giới thiệu khả năng suy luận mô hình AI trong giải pháp cloud-native cho Apache Flink, đơn giản hóa các ứng dụng AI và machine learning thời gian thực. Trước đây, các nhóm sử dụng Flink phải viết mã và dùng nhiều công cụ để kết nối mô hình và pipeline xử lý dữ liệu.

- Hiện tại, Confluent cung cấp quyền truy cập suy luận mô hình AI cho một số khách hàng xây dựng ứng dụng AI thời gian thực với Flink. Công ty dự kiến mở rộng quyền truy cập và ra mắt thêm tính năng để đơn giản hóa quá trình này.

📌 Confluent ra mắt giải pháp plug-and-play cho AI streaming thời gian thực, giúp triển khai ứng dụng AI dễ dàng và rẻ hơn tới 90% với dữ liệu streaming. Công ty cũng giới thiệu Freight Clusters serverless và tầm nhìn về sản phẩm dữ liệu phổ quát tại Kafka Summit thu hút đông đảo người tham dự.

Citations:
[1] https://venturebeat.com/data-infrastructure/confluent-launches-plug-and-play-offering-to-accelerate-realtime-streaming-ai/

Groq với kiến trúc LPU cách mạng hóa việc tăng tốc AI và giảm thiểu độ trễ

- Groq phát triển kiến trúc LPU (Logic Processing Unit), một bộ tăng tốc đại số tuyến tính đa năng, rất phù hợp cho các ứng dụng AI/ML.

- Mục tiêu của Groq là tạo ra tương tác giữa AI và con người ở mức độ trễ thấp. Thời gian phản hồi nhanh là yếu tố then chốt để giữ sự tương tác của con người.

- Kiến trúc LPU của Groq theo mô hình pipeline, khác biệt hoàn toàn so với kiến trúc hub-and-spoke của CPU/GPU truyền thống. Điều này giúp giảm thiểu độ trễ, tăng hiệu năng trên mỗi đơn vị chi phí và công suất.

- Groq Cloud cung cấp quyền truy cập vào các mô hình AI mã nguồn mở được triển khai trên phần cứng của Groq thông qua API, tương tự như OpenAI hay Anthropic.

- Kiến trúc của Groq tiêu thụ ít nhất 10 lần ít năng lượng hơn so với GPU, do tránh được việc truy xuất dữ liệu liên tục từ bộ nhớ bên ngoài.

- Groq không lo ngại về việc NVIDIA công bố nền tảng Blackwell mới. Họ tin rằng kiến trúc mới của mình sẽ vượt trội hơn nhiều so với GPU truyền thống trong tương lai.

- Groq tập trung phát triển trình biên dịch tối ưu cho phần cứng của mình, giúp đơn giản hóa việc lập trình và tận dụng tối đa hiệu năng phần cứng.

📌 Groq đang dẫn đầu cuộc cách mạng về kiến trúc xử lý cho AI với LPU theo mô hình pipeline. Kiến trúc này hứa hẹn mang lại hiệu năng cao hơn ít nhất 10 lần, độ trễ thấp hơn và tiêu thụ ít năng lượng hơn đáng kể so với GPU truyền thống. Groq không lo ngại về việc NVIDIA công bố nền tảng Blackwell mới. Họ tin rằng kiến trúc mới của mình sẽ vượt trội hơn nhiều so với GPU truyền thống trong tương lai.

Citations:
[1] https://www.forbes.com/video/53852912-e4a4-462d-8a3c-b60427d49b82/how-groq-is-building-a-faster-ai-interface/

Nvidia cho rằng GPU của họ tốt hơn NPU cho AI trên thiết bị

- Nvidia cho rằng GPU rời của họ tốt hơn NPU cho các ứng dụng AI tạo sinh cục bộ, có thể xem NPU từ các công ty khác là mối đe dọa.
- Kể từ khi ra mắt CPU Meteor Lake vào cuối năm ngoái, Intel đã cố gắng đẩy mạnh laptop tích hợp NPU như một lớp "PC AI" mới để thực hiện các hoạt động AI tạo sinh mà không cần dựa vào các trung tâm dữ liệu đám mây khổng lồ.
- Microsoft và Qualcomm dự định đưa nhiều PC AI hơn ra thị trường vào cuối năm nay, và Apple dự kiến sẽ tham gia vào năm 2024 với các bộ xử lý M4 và A18 bionic sắp tới.
- Microsoft đang cố gắng quảng bá các dịch vụ của mình như một yêu cầu thiết yếu cho tất cả PC AI, bao gồm trợ lý ảo Copilot và phím Copilot mới.
- Nvidia cho rằng card đồ họa RTX của họ, đã có mặt trên thị trường từ năm 2018, phù hợp hơn nhiều cho các tác vụ AI, ngụ ý rằng NPU là không cần thiết và hàng triệu "PC AI" đã được lưu hành.
- Nvidia tuyên bố GPU RTX có thể đạt 100-1.300 TOPS, vượt xa yêu cầu 40 TOPS của Microsoft cho PC AI thế hệ tiếp theo.
- Nvidia cho rằng chip như card đồ họa RTX 30 và 40 hiện tại là công cụ tuyệt vời cho sáng tạo nội dung, năng suất, chatbot và các ứng dụng khác liên quan đến nhiều mô hình ngôn ngữ lớn.
- Nvidia đã ra mắt bản cập nhật lớn cho ChatRTX, chatbot này hoạt động cục bộ trên bất kỳ PC nào được trang bị GPU RTX 30 hoặc 40 và tối thiểu 8 GB VRAM, có khả năng trả lời các truy vấn bằng nhiều ngôn ngữ bằng cách quét qua tài liệu hoặc danh sách phát YouTube do người dùng cung cấp.

📌 Nvidia khẳng định GPU RTX của họ vượt trội hơn NPU cho AI trên thiết bị, có thể đạt 100-1.300 TOPS và là công cụ tuyệt vời cho các tác vụ AI. Tuy nhiên, các đối thủ cạnh tranh như Microsoft, Intel, Qualcomm và Apple sẽ không dễ dàng đầu hàng, và cuộc cạnh tranh trên thị trường NPU sẽ ngày càng khốc liệt hơn.

cập nhật đột phá của Nvidia ChatRTX: Tìm kiếm ảnh và nhận dạng giọng nói AI

- Nvidia ChatRTX đã phát hành bản cập nhật 0.3 vào ngày hôm nay, mang đến nhiều tính năng mới được giới thiệu lần đầu tại hội nghị GTC của Nvidia vào tháng Ba.
- Các tính năng mới bao gồm khả năng tìm kiếm ảnh, nhận dạng giọng nói AI và tương thích với nhiều LLM hơn, như Gemma từ Google và ChatGLM3-6B, một lựa chọn nguồn mở mới.
- ChatRTX cung cấp trải nghiệm tương tự như ChatGPT nhưng được cài đặt trực tiếp trên máy tính cá nhân, cho phép tận dụng dữ liệu cá nhân mà không lo ngại dữ liệu bị đánh cắp.
- Một ví dụ về ứng dụng thực tế của chương trình là việc một người đam mê đã lắp đặt thẻ RTX vào NAS để sử dụng khả năng tổng hợp dữ liệu của ChatRTX trên toàn bộ mạng dữ liệu của họ.
- Công nghệ tìm kiếm ảnh của ChatRTX đã được cải tiến đáng kể, sử dụng công nghệ từ công cụ CLIP của OpenAI, cho phép tìm kiếm hình ảnh mà không cần phải gắn nhãn metadata phức tạp như trước.
- Hỗ trợ mới cho Whisper, hệ thống nhận dạng giọng nói AI, cho phép ChatRTX hiểu được lời nói.
- Dự kiến, chương trình sẽ tiếp tục phát triển thêm nhiều chức năng trước khi phát hành chính thức phiên bản 1.0, bao gồm cả khả năng quét liên kết YouTube đã bị gỡ bỏ gần đây sau các bản cập nhật khẩn cấp 0.2.x để vá lỗ hổng bảo mật.

📌 Bản cập nhật 0.3 của Nvidia ChatRTX mang đến các tính năng mới như tìm kiếm ảnh nâng cao, nhận dạng giọng nói AI và tương thích với nhiều LLM hơn, bao gồm Gemma và ChatGLM3-6B. Cải tiến này mở rộng khả năng của ChatRTX, cho phép người dùng tương tác với dữ liệu một cách an toàn và hiệu quả hơn.

Citations:
[1] https://www.tomshardware.com/tech-industry/artificial-intelligence/nvidias-chatrtx-receives-major-update-better-photo-search-ai-speech-recognition-and-more-llm-options

Giá GPU Nvidia H100 trên thị trường chợ đen ở Trung Quốc giảm mạnh dù bị cấm bởi lệnh trừng phạt của Mỹ nhưng vẫn có sẵn.

- Giá của bộ xử lý Nvidia H100 dành cho ứng dụng AI và HPC, cũng như máy chủ sử dụng GPU này, đã thiết lập kỷ lục vào năm ngoái do nguồn cung hạn chế.
- Tuy nhiên, khi nguồn cung cải thiện và nhu cầu giảm xuống khi thị trường chuẩn bị cho sự ra mắt của GPU H200 và máy chủ mới, giá của H100 đã bắt đầu giảm.
- Mặc dù có lệnh cấm từ chính phủ Mỹ đối với việc bán GPU A100/A800 và H100/H800, những GPU này vẫn được bán trên thị trường chợ đen ở Trung Quốc thông qua các kênh ngầm như đại lý mua hàng và công ty ma nhập khẩu các bộ xử lý và máy chủ từ nơi khác vào đại lục.
- Đặc biệt, việc mua GPU H100 tại thị trường điện tử Huaqiangbei ở phía bắc Thâm Quyến được cho là khá dễ dàng, mặc dù giá cả cao hơn nhiều so với giá chính thức của Nvidia.
- Vào một thời điểm, máy chủ dựa trên H100 được báo giá hơn 3 triệu nhân dân tệ (hơn 420.000 đô la Mỹ), cao hơn khoảng 50% so với giá chính thức của Nvidia là 280.000 đến 300.000 đô la Mỹ.
- Sự gia tăng giá này đã cho phép các trung gian thu lợi nhuận lớn, ngay cả sau khi tính đến các chi phí bổ sung như logistics và thuế quan.
- Mặc dù Nvidia H200 sắp ra mắt được kỳ vọng là sản phẩm mạnh mẽ hơn nhiều so với H100, nhưng H100 vẫn là một phần cứng hữu ích, đặc biệt là cho các tác vụ suy luận học sâu.
- Nvidia có khả năng sẽ tiếp tục bán sản phẩm dựa trên Hopper thế hệ đầu tiên của mình trong một thời gian.
- TSMC hiện có nhiều công suất CoWoS hơn và có thể sản xuất đủ số lượng bộ xử lý H100 và H200 để đáp ứng nhu cầu dự kiến.
- Mặc dù vậy, cả H100 và H200 mới hơn không được phép xuất khẩu sang Trung Quốc. Sau các báo cáo về sự sẵn có của H100 tại Trung Quốc, Nvidia đã tái khẳng định sự tuân thủ các quy định xuất khẩu của Mỹ, nhấn mạnh rằng việc bán và phân phối sản phẩm của họ...

📌 Giá của GPU Nvidia H100 trên thị trường chợ đen ở Trung Quốc đã giảm mạnh do cải thiện nguồn cung và giảm nhu cầu, mặc dù vẫn bị cấm xuất khẩu bởi Mỹ. H100 vẫn được bán qua các kênh ngầm cao hơn khoảng 50% so với giá chính thức của Nvidia và được dự đoán sẽ tiếp tục có mặt trên thị trường do nhu cầu với các tác vụ AI.

Citations:
[1] https://www.tomshardware.com/tech-industry/artificial-intelligence/nvidia-h100-gpu-black-market-prices-drop-in-china-banned-by-us-sanctions-but-still-available

Mỹ giải thích lý do không "kìm chân" Trung Quốc qua việc cấp phép chip Intel cho laptop Huawei

- Ngày 29 tháng 4 năm 2024, Ngoại trưởng Mỹ Antony Blinken đã phát biểu trên NPR, khẳng định rằng các hạn chế thương mại của Hoa Kỳ đối với Trung Quốc và các công ty công nghệ Trung Quốc không nhằm "kiềm chế hay ngăn cản" sự phát triển của Trung Quốc.
- Phát biểu này được đưa ra sau thông tin Huawei ra mắt laptop mới sử dụng chip Meteor Lake của Intel, cho thấy Mỹ chỉ tập trung vào công nghệ nhạy cảm có thể đe dọa an ninh quốc gia.
- Blinken nhấn mạnh rằng Mỹ không tập trung vào việc cắt đứt thương mại hay kiềm chế Trung Quốc, mà chỉ ngăn chặn những công nghệ cực kỳ nhạy cảm.
- Huawei đã phục hồi mạnh mẽ sau khi bị Mỹ đặt các biện pháp trừng phạt nghiêm ngặt vào năm 2020, với doanh số tăng 11% tại Trung Quốc vào năm 2023.
- Các nhà lập pháp Mỹ, như Dân biểu Michael McCaul (R-TX), đã kêu gọi hạn chế sản xuất chip của Trung Quốc để gây tổn hại cho đất nước này trên phạm vi rộng hơn, bao gồm cả việc ngăn chặn Trung Quốc tiếp cận với giao thức chip nguồn mở RISC-V.
- Huawei được phép yêu cầu Intel sản xuất chip cho họ nhưng là các thế hệ cũ hơn, ví dụ như chip thế hệ thứ 12.

📌 Ngoại trưởng Mỹ Antony Blinken khẳng định các biện pháp trừng phạt đối với Trung Quốc không nhằm ngăn cản sự phát triển của nước này, mà chỉ nhằm vào công nghệ nhạy cảm. Huawei đã tăng trưởng 11% tại Trung Quốc vào năm 2023, cho thấy sự phục hồi mạnh mẽ dù chịu nhiều hạn chế từ Mỹ.

Citations:
[1] https://www.tomshardware.com/tech-industry/us-justifies-huaweis-intel-powered-laptops-saying-chip-bans-arent-meant-to-hobble-chinas-growth

Điều tra của Mỹ về RISC-V Trung Quốc đe dọa kế hoạch chip AI và bán dẫn của Samsung

- Samsung Electronics đang tích cực quảng bá kiến trúc tập lệnh nguồn mở RISC-V như một công nghệ quan trọng để phát triển chip AI thế hệ tiếp theo.
- Tuy nhiên, cuộc điều tra đang diễn ra của Bộ Thương mại Mỹ (DOC) về các rủi ro an ninh quốc gia tiềm ẩn do sự tham gia tích cực của Trung Quốc vào RISC-V có thể cản trở các kế hoạch phát triển hệ sinh thái RISC-V của Samsung.
- DOC đang tiến hành điều tra về các rủi ro an ninh quốc gia có thể xảy ra liên quan đến sự hiện diện đáng kể của Trung Quốc trong lĩnh vực RISC-V, đồng thời đánh giá các biện pháp đối phó có thể trong khi nhấn mạnh sự cần thiết phải tránh gây tổn hại cho các công ty Mỹ tham gia phát triển RISC-V.
- Các nhà phân tích ngành công nghiệp nhấn mạnh sự cần thiết DOC phải cân nhắc kỹ lưỡng hàm ý của bất kỳ quyết định nào liên quan đến RISC-V, do sự tham gia của nhiều công ty Mỹ trong quá trình phát triển nó.
- Để kết hợp RISC-V vào thiết kế IC, gần đây Samsung đã thành lập một tổ chức R&D thiết kế chip AI có tên "Advanced Processor Lab (APL)" tại Thung lũng Silicon nhằm đẩy nhanh việc phát triển các chip AI độc quyền của Samsung sử dụng kiến trúc nguồn mở RISC-V.
- Với việc Mỹ bắt đầu điều tra công nghệ RISC-V, ngành công nghiệp Hàn Quốc lo ngại rằng việc thiết kế IC RISC-V của Samsung có thể gặp trở ngại ngay khi nó mới bắt đầu. Nếu các công ty công nghệ lớn của Mỹ rút lui khỏi việc phát triển RISC-V dưới áp lực từ chính phủ Mỹ, sẽ rất khó cho các công ty Trung Quốc và Hàn Quốc độc lập sản xuất CPU có thể cạnh tranh với các sản phẩm của Arm.
- Từ góc nhìn dài hạn hơn, nếu chính phủ Mỹ thực thi các hạn chế về việc áp dụng RISC-V, điều này cũng có thể ảnh hưởng tiêu cực đến hoạt động kinh doanh giải pháp bán dẫn của Samsung, đặc biệt là tầm quan trọng của thị trường Trung Quốc trong nỗ lực mở rộng thị phần giải pháp bán dẫn của công ty.

📌 Cuộc điều tra của Mỹ về vai trò của Trung Quốc trong RISC-V đang đe dọa nghiêm trọng tham vọng phát triển chip AI và mở rộng kinh doanh giải pháp bán dẫn của Samsung. Nếu các công ty công nghệ lớn của Mỹ rút lui khỏi RISC-V dưới áp lực từ chính phủ, Samsung sẽ khó độc lập sản xuất CPU cạnh tranh được với Arm, đồng thời ảnh hưởng tiêu cực tới hoạt động kinh doanh giải pháp bán dẫn của hãng tại thị trường quan trọng Trung Quốc.

Citations:
[1] https://www.digitimes.com/news/a20240429PD201/us-china-risc-v-samsung-ai-chip-foundry-expansion.html

Maruwa: Từ gốm cổ truyền Nhật Bản đến ngôi sao sáng của thời đại AI

- Công ty sản xuất gốm Maruwa của Nhật Bản đang đóng vai trò quan trọng trong việc làm mát các trung tâm dữ liệu giữa làn sóng bùng nổ của AI.
- Cổ phiếu của Maruwa đã tăng gấp đôi trong năm qua, theo báo cáo của Financial Times.
- Lịch sử 200 năm trong ngành gốm đã giúp Maruwa có lợi thế cạnh tranh.
- Sự bùng nổ của AI đang thúc đẩy việc xây dựng trung tâm dữ liệu, tiêu thụ lượng lớn năng lượng.
- Dự kiến đến năm 2030, các trung tâm dữ liệu sẽ tiêu thụ 35 gigawatt điện hàng năm, tăng từ 17 gigawatt vào năm 2022, theo McKinsey & Company.
- Khoảng 40% năng lượng được sử dụng để làm mát máy chủ, theo ước tính của McKinsey.
- Maruwa, với kinh nghiệm sản xuất gốm cho bo mạch và bán dẫn, đã chứng kiến cổ phiếu của mình tăng gấp đôi trong năm qua.
- Công ty cho biết sức mạnh của họ nằm ở việc xây dựng vật liệu có khả năng tản nhiệt tốt.
- "Nhu cầu về tản nhiệt đang tăng nhanh chóng do truyền thông tốc độ cao tại các trung tâm dữ liệu, và công ty chúng tôi có lợi thế cạnh tranh mạnh mẽ trong lĩnh vực này," người phát ngôn của Maruwa chia sẻ với Business Insider.
- Maruwa dự đoán rằng truyền thông tốc độ cao thế hệ tiếp theo, bao gồm cả liên quan đến AI tạo sinh, sẽ là động lực chính thúc đẩy sự tăng trưởng kinh doanh của họ trong những năm tới.
- Lợi thế cạnh tranh của Maruwa bắt nguồn từ lịch sử lâu dài của họ, với nguồn gốc từ đầu thế kỷ 19 và ban đầu sản xuất đồ ăn cho ẩm thực Nhật Bản trước khi chuyển sang linh kiện điện tử vào những năm 1960.

📌 Maruwa, công ty gốm có lịch sử 200 năm, đang nắm bắt cơ hội từ cuộc cách mạng AI bằng việc cung cấp giải pháp làm mát cho trung tâm dữ liệu. Với sự tăng trưởng mạnh mẽ của cổ phiếu và dự đoán tiêu thụ điện năng lên đến 35 gigawatt vào năm 2030, Maruwa đang chứng tỏ khả năng tản nhiệt vượt trội, hứa hẹn trở thành động lực chính cho sự phát triển kinh doanh trong tương lai.

Citations:
[1] https://www.businessinsider.com/centuries-old-japanese-ceramics-maker-maruwa-ai-revolution-2024-4

Huawei thúc đẩy sản xuất bộ nhớ HBM cho phát triển AI tại Trung Quốc để vượt qua lệnh trừng phạt Mỹ

- Huawei đang hậu thuẫn việc sản xuất bộ nhớ băng thông cao (HBM) tại một nhà sản xuất DRAM Trung Quốc để thoát khỏi các lệnh trừng phạt của phương Tây.
- HBM đóng vai trò quan trọng đối với các bộ xử lý AI và HPC vì hiệu suất thường bị giới hạn bởi băng thông bộ nhớ.
- Liên minh do Huawei dẫn đầu được chính phủ Trung Quốc hậu thuẫn và bao gồm nhiều công ty bán dẫn Trung Quốc khác như Fujian Jinhua Integrated Circuit.
- Liên minh hiện đang phát triển bộ nhớ HBM2, thế hệ cũ hơn so với các nhà sản xuất hàng đầu thị trường.
- Huawei đặt mục tiêu hoàn thành việc phát triển và bắt đầu sản xuất hàng loạt bộ nhớ HBM2 vào năm 2026.
- ChangXin Memory Technologies (CXMT) cũng đang nỗ lực phát triển HBM.
- Huawei cần HBM cho các bộ xử lý Ascend dành cho ứng dụng AI, nhưng tính sẵn có của HBM là một nút thắt cổ chai.
- Nỗ lực của Huawei và các công ty HBM khác phải đối mặt với những trở ngại đáng kể, đặc biệt là các quy định quốc tế hạn chế bán thiết bị chế tạo chip tiên tiến cho Trung Quốc.

📌 Huawei đang dẫn đầu liên minh gồm nhiều công ty bán dẫn Trung Quốc để sản xuất bộ nhớ HBM2 vào năm 2026, nhằm vượt qua lệnh trừng phạt của Mỹ và thúc đẩy phát triển AI. Tuy nhiên, họ phải đối mặt với nhiều trở ngại do các quy định quốc tế hạn chế bán thiết bị sản xuất chip tiên tiến cho Trung Quốc.

Citations:
[1] https://www.tomshardware.com/pc-components/dram/huawei-backs-development-of-hbm-memory-in-china-new-consortium-aims-to-sidestep-us-sanctions

CEO NVIDIA Jensen Huang trao tận tay siêu máy tính DGX H200 đầu tiên cho OpenAI

- NVIDIA đã giao hệ thống siêu máy tính DGX H200 đầu tiên cho OpenAI, đánh dấu một cột mốc quan trọng trong quan hệ đối tác giữa hai công ty.
- DGX H200 là hệ thống máy tính mạnh nhất thế giới dành cho AI tạo sinh, với 32 GPU H100 và tốc độ xử lý lên tới 1 exaflop.
- CEO NVIDIA Jensen Huang đã đích thân giao hệ thống này cho OpenAI, thể hiện tầm quan trọng của mối quan hệ hợp tác giữa hai bên.
- OpenAI đã sử dụng các hệ thống DGX của NVIDIA để huấn luyện các mô hình AI đột phá như ChatGPT và GPT-4.
- Hệ thống DGX H200 mới sẽ giúp OpenAI đẩy nhanh quá trình phát triển và mở rộng quy mô các mô hình AI tạo sinh trong tương lai.
- NVIDIA cũng đang hợp tác với các công ty và tổ chức khác như Microsoft, Google và Trung tâm Siêu máy tính Texas để thúc đẩy sự phát triển của AI tạo sinh.
- Việc giao hệ thống DGX H200 cho OpenAI cho thấy NVIDIA đang đi đầu trong cuộc đua phát triển phần cứng và hạ tầng cho AI tạo sinh.

📌CEO NVIDIA  Jensen Huang trao tận tay hệ thống siêu máy tính DGX H200 mạnh nhất thế giới cho OpenAI, thể hiện mối quan hệ đối tác chặt chẽ giữa hai công ty trong lĩnh vực AI tạo sinh. Hệ thống này sẽ giúp OpenAI đẩy nhanh quá trình phát triển các mô hình AI đột phá như ChatGPT và GPT-4, đồng thời khẳng định vị thế dẫn đầu của NVIDIA trong cuộc đua cung cấp hạ tầng cho AI tạo sinh.

Citations:
[1] https://venturebeat.com/ai/nvidia-ceo-jensen-huang-personally-delivers-first-dgx-h200-to-openai/

Siêu máy tính mới thúc đẩy cuộc cách mạng AI

- Sự bùng nổ của AI tạo sinh hiện nay được thúc đẩy bởi sự gia tăng đáng kinh ngạc về khả năng của các vi mạch. Ngày nay, một mạng lưới các máy chủ có thể thực hiện các phép tính trên các tập dữ liệu cực lớn.
- Bài viết thảo luận về những đổi mới đáng kinh ngạc giúp Nvidia trở thành người chơi hàng đầu trong lĩnh vực công nghệ trên nhiều mặt trận.
- Để phát triển lĩnh vực AI tạo sinh, cần có các trung tâm dữ liệu rất lớn. Một máy chủ AI điển hình được xây dựng xung quanh một bộ xử lý trung tâm, chip nhớ và bộ xử lý được thiết kế để tính toán nhanh.
- Có nhiều đổi mới dẫn đến tốc độ nhanh hơn và khả năng tính toán mạnh hơn. Các máy chủ có thể làm việc cùng nhau để thực hiện phân tích chung trên các tập dữ liệu cực lớn.
- Những phát triển đáng chú ý trong lĩnh vực này là các card tăng tốc Nvidia và gần đây là AMD (GPU), bao gồm các bộ xử lý cực nhanh. Chúng cung cấp sức mạnh tính toán cần thiết để tính toán các mô hình AI mới nhất.
- Định luật Moore cho rằng số lượng bóng bán dẫn trên một vi mạch (cung cấp sức mạnh tính toán) sẽ tăng gấp đôi sau mỗi 2 năm. Vì vậy, dự kiến sẽ có những tiến bộ hơn nữa về tốc độ tính toán, cho phép các mô hình phức tạp hơn.

📌 Sự gia tăng đáng kinh ngạc về tốc độ tính toán, được thúc đẩy bởi các vi mạch máy chủ nhanh, đang là động lực chính cho sự bùng nổ AI tạo sinh hiện nay. Nvidia đang dẫn đầu xu hướng này với các GPU cực nhanh. 

Citations:
[1] https://think.ing.com/articles/ai-a-revolution-driven-by-new-supercomputers/

 

#hay  (hình vẽ)

Trung Quốc đã mua được chip AI Nvidia bị hạn chế của Mỹ từ Super Micro, Dell và Gigabyte

- Phân tích của Reuters cho thấy 11 nhà bán lẻ Trung Quốc đã mua được chip AI Nvidia bị Mỹ hạn chế xuất khẩu.

- Các chip này được tích hợp trong máy chủ của Super Micro Computer, Dell Technologies và Gigabyte Technology.

- Nvidia cho biết các giao dịch này chỉ chiếm một phần nhỏ trong tổng số sản phẩm bán ra toàn cầu.

- Các nhà sản xuất máy chủ khẳng định tuân thủ quy định xuất khẩu của Mỹ về GPU.

- Giá trị giao dịch từ 71.500 - 1,86 triệu nhân dân tệ (khoảng 10.000 - 259.000 USD).

- Chưa rõ các nhà bán lẻ Trung Quốc mua từ nguồn hàng tồn kho cũ hay sau khi lệnh cấm xuất khẩu có hiệu lực.

 

📌 Mặc dù Mỹ hạn chế xuất khẩu nhưng Trung Quốc vẫn mua được chip AI Nvidia qua các nhà bán lẻ, tích hợp trong máy chủ của các hãng lớn với giá trị lên tới 259.000 USD.

 

Citations:

[1] https://www.scmp.com/tech/tech-war/article/3260021/tech-war-china-acquired-us-restricted-nvidia-ai-chips-super-micro-dell-and-gigabyte-technology

Giải mã Language Processing Unit (LPU) và vai trò của nó trong phần cứng AI

- Language Processing Unit (LPU) là một bước tiến đột phá trong công nghệ bộ xử lý, được thiết kế đặc biệt để tối ưu hóa các tác vụ liên quan đến xử lý ngôn ngữ tự nhiên (NLP).
- Khác với CPU và GPU đa năng, LPU được điều chỉnh phù hợp cho nhu cầu xử lý tuần tự vốn có trong việc hiểu và tạo ra ngôn ngữ của con người.
- Sự chuyên biệt hóa này mang lại những cải tiến đáng kể về hiệu quả và hiệu suất cho các ứng dụng dựa trên ngôn ngữ.
- LPU là phần cứng chuyên dụng được thiết kế để xuất sắc trong các tác vụ xử lý ngôn ngữ. Nó tích hợp các thiết kế kiến trúc tiên tiến ưu tiên xử lý dữ liệu tuần tự, điều này rất quan trọng để hiểu và tạo ra ngôn ngữ chính xác.
- LPU ngày càng phù hợp trong thế giới kỹ thuật số ngày nay, nơi các tác vụ tập trung vào ngôn ngữ, từ dịch thời gian thực đến tạo nội dung tự động, đang phổ biến.
- Các tính năng đặc biệt của LPU bao gồm: Chuyên biệt hóa tác vụ, tối ưu hóa cho xử lý ngôn ngữ.
- Vai trò của phần cứng chuyên dụng như LPU ngày càng trở nên quan trọng. Với sự tiến bộ của các mô hình AI, đặc biệt là những mô hình liên quan đến AI tạo sinh và hội thoại, nhu cầu về các đơn vị xử lý chuyên biệt và hiệu quả như LPU dự kiến sẽ tăng lên.
- Phần cứng chuyên dụng này cuối cùng có thể dẫn đến việc áp dụng rộng rãi khi các ngành công nghiệp nhận ra lợi ích về hiệu quả và chi phí của các giải pháp bộ xử lý được điều chỉnh riêng.

📌 LPU đánh dấu một bước tiến đáng kể trong công nghệ bộ xử lý, đặc biệt phục vụ cho lĩnh vực xử lý ngôn ngữ tự nhiên đang phát triển mạnh mẽ. Với thiết kế chuyên biệt và hiệu suất tối ưu, LPU hứa hẹn một tương lai nơi các tác vụ ngôn ngữ được xử lý với hiệu quả và tốc độ chưa từng có. 

Citations:
[1] https://www.marktechpost.com/2024/04/22/what-is-the-language-processing-unit-lpu-its-role-in-ai-hardware/

Đầu tư tư nhân đang dẫn đầu cuộc đua xây dựng cơ sở hạ tầng cho AI

- Các công ty đầu tư tư nhân như Blackstone, Carlyle Group và KKR đang âm thầm đầu tư hàng chục tỷ đô la vào các dự án năng lượng và trung tâm dữ liệu để đáp ứng nhu cầu cơ sở hạ tầng cho AI.
- Họ kỳ vọng sẽ thu được lợi nhuận lớn khi nhu cầu từ AI tăng vọt trong tương lai.
- Blackstone là một trong những công ty tiên phong, mua lại nhà cung cấp trung tâm dữ liệu QTS với giá khoảng 10 tỷ đô la vào năm 2021. CEO Stephen Schwarzman tiết lộ công ty đã đầu tư 50 tỷ đô la vào trung tâm dữ liệu.
- Trung tâm dữ liệu, nơi các nhà phát triển sử dụng để huấn luyện các mô hình ngôn ngữ lớn đằng sau AI, tiêu thụ một lượng năng lượng khổng lồ. Dự kiến đến năm 2030, chúng có thể chiếm tới 15% tổng nhu cầu điện toàn cầu.
- Carlyle Group đã đầu tư 2 tỷ đô la vào một dự án năng lượng mặt trời gần Phoenix, một trung tâm sản xuất chip, nhằm thu hút thêm các nhà máy từ các nhà cung cấp chip AI hàng đầu như TSMC.
- Pooja Goyal, người đứng đầu mảng năng lượng tái tạo của Carlyle, chia sẻ rằng họ đã không tính đến nhu cầu kéo từ AI đang diễn ra ngay lúc này khi đầu tư vào các dự án năng lượng.

📌 Các công ty đầu tư tư nhân đang đi đầu trong cuộc đua xây dựng cơ sở hạ tầng cho AI với khoản đầu tư hàng chục tỷ đô la vào trung tâm dữ liệu và dự án năng lượng. Họ kỳ vọng sẽ thu lợi nhuận lớn khi nhu cầu từ AI tăng vọt, dự kiến chiếm tới 15% tổng nhu cầu điện toàn cầu vào năm 2030.

Citations:
[1] https://fortune.com/2024/04/19/ai-infrastructure-energy-data-centers-private-equity-blackstone-carlyle-kkr/

AMD và Intel dẫn đầu cuộc cách mạng AI trong các trung tâm dữ liệu, nêu bật những bước đột phá GPU tiên tiến

- Tại Data Center World 2024, các giám đốc điều hành từ AMD và Intel nhấn mạnh vai trò then chốt của AI và GPU tiên tiến trong việc cách mạng hóa hoạt động trung tâm dữ liệu.
- Họ đề cập đến những tiến bộ mới nhất về AI và GPU, cải thiện hiệu quả năng lượng, tự động hóa dựa trên AI và chuyển đổi cơ sở hạ tầng trung tâm dữ liệu để đáp ứng nhu cầu ngày càng tăng của AI.
- Jennifer Majernik Huffstetler từ Intel nhấn mạnh tiềm năng chuyển đổi của AI phụ thuộc vào sự kết hợp của bộ xử lý mạnh mẽ, phần cứng và phần mềm tiết kiệm năng lượng, và các mô hình GenAI được tùy chỉnh cho các ứng dụng cụ thể.
- Bà nhấn mạnh rằng phần lớn dữ liệu vẫn tiếp tục được xử lý tại chỗ và ủng hộ việc phát triển các mô hình nhỏ hơn, dành riêng cho từng lĩnh vực để giải quyết các nhu cầu cụ thể của doanh nghiệp.
- Huffstetler cũng nhấn mạnh tầm quan trọng của các giải pháp làm mát sáng tạo, như làm mát bằng chất lỏng, để giảm tiêu thụ năng lượng lên đến 40%.
- Laura Smith từ AMD thừa nhận rằng các trung tâm dữ liệu hiện tại chưa sẵn sàng cho việc tích hợp AI do những hạn chế cấu trúc vốn có. Bà kêu gọi nâng cấp để đáp ứng các tiến bộ của AI.
- Các nhà phân tích nhấn mạnh vị thế chiến lược của AMD trong bối cảnh điện toán đang phát triển, nêu bật những lợi thế đáng kể của họ trên thị trường CPU máy chủ và thành công trong việc giành thị phần trên thị trường bộ tăng tốc thương mại với dòng Mi300.
- Họ cũng chỉ ra tiềm năng chưa được khai thác của các hiệp lực doanh thu từ việc mua lại Xilinx, ngụ ý mức tăng dài hạn hơn 10 tỷ USD.

📌 AMD và Intel đang dẫn đầu cuộc cách mạng AI trong các trung tâm dữ liệu với những bước đột phá về GPU tiên tiến, cải thiện hiệu quả năng lượng lên đến 40%, tự động hóa dựa trên AI và chuyển đổi cơ sở hạ tầng. Các nhà phân tích nhấn mạnh vị thế chiến lược của AMD với lợi thế đáng kể trên thị trường CPU máy chủ, thành công trong việc giành thị phần bộ tăng tốc thương mại và tiềm năng tăng trưởng doanh thu hơn 10 tỷ USD từ thương vụ mua lại Xilinx.

Citations:
[1] https://www.benzinga.com/news/24/04/38320280/amd-and-intel-lead-the-ai-revolution-in-data-centers-highlighting-advanced-gpu-breakthroughs

Microsoft sẵn sàng "bùng nổ" với kế hoạch mở rộng trung tâm dữ liệu khổng lồ để thúc đẩy cơn sốt AI

- Microsoft đang lên kế hoạch mở rộng đáng kể công suất trung tâm dữ liệu của mình để đáp ứng nhu cầu ngày càng tăng về trí tuệ nhân tạo (AI).
- Theo tài liệu nội bộ mà Insider có được, Microsoft dự định tăng gấp đôi công suất Azure trong nửa cuối của năm tài chính hiện tại và tăng gấp ba trong nửa đầu của năm tài chính tiếp theo.
- Cơ sở hạ tầng trung tâm dữ liệu của Microsoft đang chịu áp lực ngày càng tăng do nhu cầu về mô hình nền tảng và AI tạo sinh.
- Microsoft đã tăng gấp đôi số lượng bộ tăng tốc đã cài đặt trong năm qua để đáp ứng nhu cầu cao về AI.
- Công ty đang tích cực làm việc để đảm bảo một số lượng lớn GPU nhằm tăng cường khả năng xử lý tải công việc AI.
- Mặc dù chưa có thông báo chính thức, các phát triển gần đây cho thấy Microsoft có ý định mở rộng dấu ấn trung tâm dữ liệu của mình.
- Một quảng cáo tuyển dụng được đăng tải vào đầu năm nay đã hé lộ ý định của Microsoft mở rộng sự hiện diện tại khu vực Châu Á-Thái Bình Dương.
- Báo cáo mới nhất của Synergy Research Group chỉ ra rằng hơn một nửa (51%) tổng công suất trung tâm dữ liệu hiện đang đặt tại Hoa Kỳ.
- Châu Á-Thái Bình Dương chiếm 26% tổng công suất, trong đó Trung Quốc chiếm khoảng 62% trong số đó.
- Châu Âu đứng sau, chiếm 17% tổng công suất.
- Synergy Research Group dự báo công suất trung tâm dữ liệu sẽ tăng gấp đôi trong 4 năm tới, với AI tạo sinh là động lực chính thúc đẩy sự tăng trưởng này.

📌 Microsoft đang mở rộng mạnh mẽ công suất trung tâm dữ liệu để đáp ứng nhu cầu về AI, với kế hoạch tăng gấp đôi và gấp ba công suất Azure. Công ty cũng đang tăng cường khả năng xử lý AI bằng cách đảm bảo số lượng lớn GPU và mở rộng sự hiện diện tại Châu Á-Thái Bình Dương. Báo cáo mới nhất của Synergy Research Group chỉ ra rằng hơn một nửa (51%) tổng công suất trung tâm dữ liệu hiện đang đặt tại Hoa Kỳ. Châu Á-Thái Bình Dương chiếm 26% tổng công suất, trong đó Trung Quốc chiếm khoảng 62% trong số đó. Châu Âu đứng sau, chiếm 17% tổng công suất. dự báo công suất trung tâm dữ liệu sẽ tăng gấp đôi trong 4 năm tới, với AI tạo sinh là động lực chính thúc đẩy sự tăng trưởng này.

Citations:
[1] https://www.techradar.com/pro/microsoft-has-huge-plans-to-expand-its-data-center-output-to-fuel-ai-boom

 

#hay

Ấn Độ bứt phá: Từ nhập khẩu đến tự sản xuất máy chủ AI

- Ấn Độ đã chuyển từ nhập khẩu và lắp ráp máy chủ sang sản xuất máy chủ trong nước nhờ chương trình khuyến khích sản xuất liên kết (PLI) cho phần cứng CNTT.
- Mega Networks là công ty đầu tiên tại Ấn Độ sản xuất thành công máy chủ sử dụng bộ vi xử lý Intel Xeon Scalable thế hệ thứ 4, dành cho HPC, trung tâm dữ liệu và AI tạo sinh, với việc được cấp PLI vào ngày 18 tháng 11 năm 2023 và ra mắt sản phẩm vào ngày 31 tháng 12 năm 2023.
- Tính đến tháng 2 năm 2023, không có công ty đa quốc gia hay OEM địa phương nào khác tại Ấn Độ có thể sản xuất máy chủ trên nền tảng công nghệ mới nhất này.
- Altos Computing, một công ty con của Acer, cũng đang tích cực sản xuất máy chủ tại Ấn Độ, với 50% linh kiện và máy chủ được phát triển trong nước.
- Sự phát triển của hệ sinh thái sản xuất máy chủ tại Ấn Độ dự kiến sẽ tiếp tục tăng trưởng, với kỳ vọng tỷ lệ phần trăm máy chủ sản xuất trong nước sẽ còn cao hơn nữa.
- Sự bùng nổ của AI tạo sinh đã thúc đẩy nhu cầu về máy chủ mạnh mẽ, có khả năng mở rộng và hiệu quả tại Ấn Độ, đặc biệt là từ những người dùng trước đây không sử dụng máy chủ.
- Cơ sở hạ tầng vật lý hiện tại của Ấn Độ cũng rất vững chắc và hỗ trợ cho sự phát triển này.

📌 Ấn Độ đã chuyển từ nhập khẩu sang tự sản xuất máy chủ AI, với Mega Networks và Altos Computing là những công ty tiên phong. Mega Networks đã sản xuất thành công máy chủ với bộ vi xử lý Intel Xeon Scalable thế hệ thứ 4, và Altos Computing đang phát triển 50% máy chủ và linh kiện trong nước, hứa hẹn sự tăng trưởng mạnh mẽ trong tương lai.

Citations:
[1] https://analyticsindiamag.com/india-is-making-its-own-ai-servers/

GPU Nvidia A100 "nâng cao" xuất hiện ở Trung Quốc với 7.936 nhân CUDA, 96GB HBM2

- Nhiều người bán ở Trung Quốc đang bán GPU Nvidia A100 7936SP trên eBay với mức giá từ 18.000 đến 19.800 USD cho phiên bản 96GB.

- Không rõ liệu các bộ tăng tốc này có phải là mẫu kỹ thuật thoát ra từ phòng thí nghiệm của Nvidia, hay là các mẫu tùy chỉnh mà nhà sản xuất chip phát triển cho một khách hàng cụ thể.

- Mặc dù có thể chịu các lệnh trừng phạt xuất khẩu mới nhất của Mỹ, điều đó không ảnh hưởng đến các card đã có sẵn ở Trung Quốc.

- A100 7936SP chia sẻ cùng die Ampere GA100 với A100 thông thường, nhưng có 124 SM (Streaming Multiprocessor) được kích hoạt trên tổng số 128 SM có thể trên silicon GA100.

- A100 7936SP có nhiều nhân CUDA hơn 15% so với A100 tiêu chuẩn, đại diện cho một cải tiến đáng kể.

- Nvidia có thể đã thử nghiệm một phiên bản nâng cao chưa từng xuất hiện trên thị trường, hoặc các công ty đã bí mật sửa đổi A100 để làm cho nó nhanh hơn trong bối cảnh các lệnh trừng phạt của Mỹ đối với Trung Quốc.

 

📌 Các GPU Nvidia A100 "nâng cao" với 7.936 nhân CUDA và 96GB bộ nhớ HBM2 đã xuất hiện trên thị trường hàng đã qua sử dụng của Trung Quốc, vượt trội hơn 15% so với phiên bản tiêu chuẩn. Giá bán dao động từ 18.000 - 19.800 USD. Sự xuất hiện của chúng gây tò mò về nguồn gốc và khả năng Nvidia đã thử nghiệm phiên bản này trước khi các lệnh trừng phạt với Trung Quốc được áp dụng.

 

Citations:

[1] 'Enhanced' Nvidia A100 GPUs appear in China's second-hand market — new cards surpass sanctioned counterparts with 7,936 CUDA cores and 96GB HBM2 memory https://www.tomshardware.com/pc-components/gpus/enhanced-nvidia-a100-gpus-appear-in-chinas-second-hand-market-new-cards-surpass-sanctioned-counterparts-with-7936-cuda-cores-and-96gb-hbm2-memory

 

Công ty khởi nghiệp Rivos gọi vốn 250 triệu USD để phát triển chip AI RISC-V

- Công ty khởi nghiệp Rivos đã huy động được 250 triệu USD trong vòng gọi vốn Series B do quỹ đầu tư mạo hiểm Celesta Capital dẫn đầu.

- Số tiền này sẽ được Rivos sử dụng để phát triển các chip AI dựa trên kiến trúc RISC-V, một kiến trúc chip nguồn mở đang ngày càng phổ biến.

- Rivos đang cạnh tranh với các ông lớn trong ngành như Nvidia, AMD và Intel trong cuộc đua phát triển chip chuyên dụng cho AI.

- Chip AI của Rivos sẽ được sản xuất trên quy trình 3nm tiên tiến của TSMC, dự kiến ra mắt vào năm 2025.

- Rivos cho biết chip của họ sẽ có hiệu năng cao hơn 10 lần so với các chip AI hiện có trên thị trường, đồng thời tiêu thụ ít năng lượng hơn.

- Công ty đang hợp tác với nhiều đối tác trong ngành để phát triển phần mềm và công cụ hỗ trợ cho nền tảng chip RISC-V của mình.

- Rivos được thành lập vào năm 2021, có trụ sở tại Thung lũng Silicon, hiện có khoảng 200 nhân viên.

- Trước đó, Rivos đã huy động được 50 triệu USD trong vòng gọi vốn Series A vào năm 2022.

 

📌 Rivos, một công ty khởi nghiệp có trụ sở tại Thung lũng Silicon, đã huy động thành công 250 triệu USD để phát triển chip AI dựa trên kiến trúc nguồn mở RISC-V. Với việc sản xuất trên quy trình 3nm của TSMC, chip AI của Rivos hứa hẹn sẽ có hiệu năng vượt trội gấp 10 lần so với các sản phẩm hiện có, đồng thời tiết kiệm năng lượng hơn, tạo ra sự cạnh tranh mạnh mẽ với các ông lớn như Nvidia, AMD và Intel trong cuộc đua chip AI.

 

Citations:

[1] Startup Rivos raises $250 million to develop RISC-V AI chips https://www.reuters.com/technology/startup-rivos-raises-250-million-develop-risc-v-ai-chips-2024-04-16/

 

Ampere sắp tung CPU 256 nhân, liệu có đủ sức cạnh tranh GPU trong suy luận AI?

- Ampere Computing đang chuẩn bị ra mắt CPU AmpereOne-3 với 256 nhân, hứa hẹn mang lại hiệu năng suy luận AI gấp 3-4 lần so với thế hệ trước.

- Tuy nhiên, Nvidia cũng đang thu hẹp khoảng cách với GPU Blackwell B100 mới, cung cấp khả năng xử lý FP4 và hiệu năng suy luận gấp 5 lần.

- Trước đây, CPU Altra 80 nhân của Ampere Computing cho thấy hiệu năng suy luận trên đồng đô la ngang ngửa với GPU T4 của Nvidia, trừ hệ thống nhận dạng giọng nói tự động OpenAI Whisper.

- Khi GPT-4 ra mắt, việc suy luận yêu cầu 8-16 GPU để đạt thời gian phản hồi dưới 200 mili giây, hiện nay con số này là khoảng 32 GPU.

- Intel và IBM cũng đang bổ sung các đơn vị tính toán ma trận vào các bộ xử lý Xeon 5 (trước đây là Xeon SP) và Power10 tương ứng.

- Mặc dù xu hướng sử dụng GPU cho suy luận AI đang gia tăng, CPU vẫn đóng vai trò quan trọng trong các trung tâm dữ liệu doanh nghiệp chạy các mô hình AI quy mô vừa phải với hàng chục đến hàng trăm tỷ tham số.

 

📌 Ampere Computing đang chuẩn bị tung ra CPU 256 nhân AmpereOne-3, hứa hẹn cạnh tranh mạnh mẽ với GPU trong lĩnh vực suy luận AI. Tuy nhiên, Nvidia cũng đang thu hẹp khoảng cách với GPU Blackwell B100 mới, cung cấp hiệu năng suy luận gấp 5 lần. Mặc dù xu hướng sử dụng GPU ngày càng tăng, CPU vẫn giữ vai trò quan trọng trong các trung tâm dữ liệu doanh nghiệp với các mô hình AI quy mô vừa phải.

 

Citations:

[1] Ampere Readies 256-Core CPU Beast, Awaits The AI Inference Wave https://www.nextplatform.com/2024/04/16/ampere-readies-256-core-cpu-beast-awaits-the-ai-inference-wave/

 

Tại sao dường như mọi công ty AI đều đang tự sản xuất chip riêng?

- Các công ty công nghệ lớn đang đua nhau phát triển chip tùy chỉnh để tăng cường hiệu quả và cắt giảm chi phí cho trí tuệ nhân tạo (AI).

- Meta ra mắt thế hệ chip máy tính tùy chỉnh mới nhất để nâng cao khả năng AI và giảm sự phụ thuộc vào các nhà cung cấp bên ngoài như Nvidia.

- Intel cũng tiết lộ một "bộ tăng tốc" AI cải tiến, trong khi Google cũng đang chuyển sang phát triển chip AI nội bộ.

- Các chuyên gia cho rằng chip AI có thể thúc đẩy các ứng dụng thương mại, giảm chi phí đào tạo mô hình AI cho từng khách hàng, từng tác vụ.

- Chip tùy chỉnh cũng có thể giảm chi phí tích hợp AI sinh thái vào doanh nghiệp.

- Chip tùy chỉnh của Meta hỗ trợ các thuật toán xếp hạng và đề xuất quảng cáo trên Facebook và Instagram, cải thiện cá nhân hóa, giảm độ trễ phản hồi.

- Các nhà sản xuất PC như Apple cũng bắt đầu sử dụng chip chuyên dụng cho AI trong sản phẩm của họ.

 

📌 Các công ty công nghệ lớn như Meta, Intel, Google đang đua nhau phát triển chip AI tùy chỉnh để tăng hiệu năng, giảm chi phí, nâng cao quyền riêng tư và kiểm soát dữ liệu. Chip AI hứa hẹn thúc đẩy các ứng dụng thương mại, cải thiện trải nghiệm người dùng và giảm rào cản trong việc đào tạo mô hình AI chuyên biệt.

 

Citations:

[1] Why It Seems Like Every AI Company is Making Their Own Chip https://www.pymnts.com/artificial-intelligence-2/2024/why-it-seems-like-every-ai-company-is-making-their-own-chip/

 

Mỹ thiếu mảnh ghép then chốt trong bức tranh chip AI bất chấp khoản đầu tư 65 tỷ USD của TSMC

- TSMC công bố kế hoạch đầu tư 65 tỷ USD để xây dựng nhà máy sản xuất chip AI tại Arizona, Mỹ.

- Tuy nhiên, Mỹ vẫn thiếu các yếu tố quan trọng khác trong chuỗi cung ứng chip AI như thiết kế chip và phần mềm.

- Các công ty Mỹ như Nvidia, AMD đang dẫn đầu về thiết kế chip AI, nhưng phụ thuộc vào TSMC để sản xuất.

- Trung Quốc đang đẩy mạnh phát triển chip AI nội địa với sự hỗ trợ của chính phủ và có thể vượt Mỹ trong tương lai gần.

- Mỹ cần đầu tư nhiều hơn vào nghiên cứu, phát triển phần cứng và phần mềm AI để giữ vị thế dẫn đầu.

- Luật CHIPS của Mỹ nhằm thúc đẩy sản xuất chip trong nước, nhưng chưa đủ để bắt kịp Trung Quốc.

- Cuộc đua chip AI giữa Mỹ và Trung Quốc đang diễn ra gay cấn, kết quả sẽ định hình bức tranh công nghệ toàn cầu trong thập kỷ tới.

 

📌 Mỹ đang tụt lại phía sau Trung Quốc trong cuộc đua chip AI bất chấp khoản đầu tư 65 tỷ USD của TSMC. Mỹ cần nỗ lực hơn nữa trong nghiên cứu, thiết kế chip và phát triển phần mềm AI để giữ vị thế dẫn đầu trước sự bứt phá của Trung Quốc.

 

Citations:

[1] US missing pieces of AI chip puzzle despite TSMC's $65bn bet https://www.ft.com/content/10eadba6-f58d-4f88-8ac9-b5180550b7fc

 

Nvidia H100 khan hiếm dần được giải tỏa, thời gian giao hàng giảm mạnh từ 4 tháng xuống còn 8-12 tuần

- Theo Digitimes, Tổng giám đốc Dell Đài Loan Terence Liao cho biết thời gian giao hàng của GPU AI Nvidia H100 đã giảm từ 3-4 tháng xuống còn 2-3 tháng (8-12 tuần) trong vài tháng qua.

- Các ODM máy chủ tiết lộ nguồn cung cuối cùng cũng dễ thở hơn so với năm 2023 khi gần như không thể có được GPU H100 của Nvidia. 

- Mặc dù thời gian giao hàng giảm, Liao cho biết nhu cầu về phần cứng AI vẫn cực kỳ cao. Cụ thể, việc mua máy chủ AI đang thay thế cho việc mua máy chủ đa năng trong các doanh nghiệp, mặc dù máy chủ AI cực kỳ đắt đỏ.

- Thời gian giao hàng 2-3 tháng là thời gian ngắn nhất từng thấy đối với GPU H100 của Nvidia. Chỉ 6 tháng trước, thời gian chờ đợi lên tới 11 tháng.

- Kể từ đầu năm 2024, thời gian giao hàng đã giảm đáng kể. Đầu năm giảm xuống còn 3-4 tháng, và hiện tại đã giảm thêm 1 tháng nữa. Nếu tốc độ này tiếp tục, thời gian chờ đợi có thể biến mất hoàn toàn vào cuối năm nay hoặc sớm hơn.

- Hành vi này có thể là kết quả của việc một số công ty dư thừa GPU H100 và bán lại một phần nguồn cung để bù đắp chi phí bảo trì cao của hàng tồn kho không sử dụng. 

- AWS cũng đã tạo điều kiện thuê GPU Nvidia H100 qua đám mây, giúp giảm bớt một phần nhu cầu H100.

- Các công ty lớn như OpenAI đang phát triển LLM của riêng mình vẫn đang gặp khó khăn về nguồn cung. Họ cần hàng chục nghìn và hàng trăm nghìn GPU để đào tạo LLM nhanh chóng và hiệu quả.

- Tin tốt là điều này sẽ không còn là vấn đề lâu. Nếu thời gian giao hàng tiếp tục rút ngắn theo cấp số nhân như 4 tháng qua, các khách hàng lớn nhất của Nvidia sẽ sớm được đáp ứng.

 

📌 Thời gian giao hàng GPU Nvidia H100 đã giảm mạnh từ 3-4 tháng xuống 2-3 tháng trong vài tháng qua. Mặc dù nguồn cung đã cải thiện, nhu cầu phần cứng AI vẫn cực kỳ cao, buộc các công ty ưu tiên mua máy chủ AI đắt đỏ. Nếu xu hướng này tiếp diễn, thời gian chờ đợi có thể biến mất hoàn toàn vào cuối năm nay, giúp các khách hàng lớn nhất của Nvidia như OpenAI không còn gặp khó khăn về nguồn cung GPU.

 

Citations:

[1] Nvidia's H100 AI GPU shortages ease as lead times drop from up to four months to 8-12 weeks https://www.tomshardware.com/pc-components/gpus/nvidias-h100-ai-gpu-shortages-ease-as-lead-times-drop-from-up-to-four-months-to-8-12-weeks

 

Cuộc đua giành ưu thế về AI ở Trung Đông qua các trung tâm dữ liệu

- Tại một công viên công nghiệp ở ngoại ô Dubai, một tòa nhà không có dấu hiệu nhận biết đang là nơi diễn ra cuộc cạnh tranh gay gắt về AI giữa các quốc gia vùng Vịnh.

- Cơ sở này có diện tích 23,648 feet vuông, không có cửa sổ, nhiệt độ mát mẻ và vô cùng sạch sẽ. Ngay lối vào, khách phải đi qua tấm thảm dính màu xanh để ngăn cát xâm nhập và làm hỏng thiết bị trị giá hàng triệu đô la bên trong.

- Tòa nhà được xây dựng trong 18 tháng và đi vào hoạt động từ tháng 9. Đây là cơ sở thứ tư của Equinix Inc. tại UAE. Công ty phát triển trung tâm dữ liệu có trụ sở tại California này cũng đang cân nhắc mở rộng sang Ả Rập Xê Út.

- Các quốc gia vùng Vịnh đang chạy đua xây dựng các trung tâm dữ liệu hiện đại bậc nhất thế giới để giành lợi thế trong cuộc đua phát triển AI.

- UAE và Ả Rập Xê Út là hai quốc gia đi đầu trong cuộc cạnh tranh này với việc thu hút các công ty công nghệ lớn đầu tư vào cơ sở hạ tầng trung tâm dữ liệu.

 

📌 Cuộc đua giành ưu thế về AI đang diễn ra quyết liệt ở Trung Đông, đặc biệt giữa UAE và Ả Rập Xê Út, thông qua việc xây dựng các trung tâm dữ liệu hiện đại với sự tham gia của các công ty công nghệ lớn như Equinix Inc. Cơ sở mới nhất rộng 23.648 feet vuông tại Dubai cho thấy tham vọng dẫn đầu của UAE trong lĩnh vực này.

 

Citations:

[1] Race for AI Supremacy in Middle East Is Measured in Data Centers https://www.bloomberg.com/news/articles/2024-04-11/race-for-ai-supremacy-in-middle-east-is-measured-in-data-centers

 

Intel: CPU vẫn đủ khả năng xử lý nhiều mô hình AI có số lượng tham số dưới 30 tỷ

- Christoph Schell, giám đốc thương mại Intel, cho rằng CPU vẫn có thể xử lý tốt các mô hình AI có số lượng tham số dưới 30 tỷ.
- Sử dụng CPU cho AI giúp tiết kiệm đáng kể chi phí và năng lượng so với GPU hay chip AI chuyên dụng như Nvidia H100 (giá lên tới 40.000 USD).
- Intel đã huấn luyện mô hình AI cho BCG trên CPU vì dữ liệu 50 năm của BCG chỉ tương đương dưới 20 tỷ tham số.
- Đối tác tích hợp hệ thống của Intel tại Ấn Độ cho biết ngưỡng tham số phù hợp cho các mô hình AI ở nước này là từ 7-14 tỷ. Một mô hình ngôn ngữ lớn cho tiếng Hindi có thể cần hơn 30 tỷ tham số.
- Nhiều dữ liệu được lưu trữ tại trung tâm dữ liệu doanh nghiệp và máy tính cá nhân. Việc huấn luyện và suy luận AI trên những dữ liệu này hoàn toàn có thể thực hiện trên CPU.
- Ví dụ như tóm tắt cuộc gọi hội nghị ngay khi kết thúc trên Zoom có thể được xử lý bởi AI chạy trên CPU.

📌 CPU vẫn đóng vai trò quan trọng trong nhiều ứng dụng AI có số lượng tham số dưới 30 tỷ, giúp tiết kiệm chi phí và năng lượng đáng kể so với GPU hay chip AI chuyên dụng. Nhiều dữ liệu doanh nghiệp và cá nhân có thể được xử lý bởi mô hình AI chạy trên CPU.

Citations:
[1] https://timesofindia.indiatimes.com/technology/tech-news/why-cpus-are-sufficient-for-many-ai-models/articleshow/109201642.cms

Chip AI thế hệ mới của Meta tăng tốc huấn luyện mô hình gấp 3 lần

- Meta giới thiệu thế hệ chip AI mới MTIA với hiệu năng vượt trội, giúp đào tạo các mô hình xếp hạng và đề xuất nhanh hơn.
- Chip MTIA mới có 256MB bộ nhớ tích hợp với xung nhịp 1.3GHz, so với 128MB và 800GHz của phiên bản v1.
- Kết quả thử nghiệm sớm cho thấy chip mới hoạt động nhanh hơn 3 lần so với thế hệ trước trên 4 mô hình được Meta đánh giá.
- MTIA là một phần quan trọng trong kế hoạch dài hạn của Meta nhằm xây dựng cơ sở hạ tầng cho việc sử dụng AI trong các dịch vụ của mình.
- Meta muốn thiết kế chip phù hợp với cơ sở hạ tầng công nghệ hiện tại và các tiến bộ tương lai trong GPU.
- Mục tiêu cuối cùng của MTIA là mở rộng khả năng để bắt đầu huấn luyện các mô hình AI tạo sinh như mô hình ngôn ngữ Llama.
- Nhu cầu về chip mạnh mẽ để chạy các mô hình AI đang tăng cao, thúc đẩy các công ty phát triển chip riêng.
- Google, Microsoft và Amazon cũng đã giới thiệu các chip AI mới để đáp ứng nhu cầu tính toán ngày càng tăng.
- Nvidia hiện đang thống trị thị trường chip AI với mức định giá lên tới 2 nghìn tỷ đô la.

📌 Meta đang đẩy mạnh phát triển chip AI tùy chỉnh như MTIA nhằm tăng tốc huấn luyện mô hình lên 3 lần, với mục tiêu mở rộng sang các mô hình AI tạo sinh. Cuộc đua phát triển chip AI đang nóng lên giữa các ông lớn công nghệ nhằm đáp ứng nhu cầu tính toán ngày càng cao cho các ứng dụng trí tuệ nhân tạo.

https://www.theverge.com/2024/4/10/24125924/meta-mtia-ai-chips-algorithm-training

Intel tuyên bố chip AI mới vượt trội hơn Nvidia, quyết tâm trở thành nhà sản xuất hệ thống AI số 2 thế giới

- Intel ra mắt chip AI Gaudi 3, có hiệu năng và hiệu quả cao hơn trong huấn luyện các mô hình AI tạo sinh so với các sản phẩm cạnh tranh, kể cả chip H100 đắt tiền của Nvidia.
- Gaudi 3 có sức mạnh tính toán AI, băng thông mạng và bộ nhớ vượt trội so với thế hệ trước, giúp mở rộng quy mô huấn luyện và suy luận trên các mô hình ngôn ngữ lớn (LLM) và mô hình AI đa phương thức.
- Chip mới của Intel được dự đoán nhanh hơn 50% khi huấn luyện các LLM hàng đầu so với chip H100 của Nvidia, và nhanh hơn 30% khi suy luận so với chip H200.
- Gaudi 3 cải thiện dung lượng bộ nhớ, giúp giảm số lượng chip cần thiết để xử lý dữ liệu từ các mô hình AI lớn hơn, nâng cao hiệu quả chi phí cho các trung tâm dữ liệu.
- Intel nhận được 8.5 tỷ USD tài trợ trực tiếp từ Đạo luật CHIPS và Khoa học, nằm trong kế hoạch 100 tỷ USD mở rộng sản xuất chip tại Mỹ trong 5 năm tới.
- CEO Pat Gelsinger khẳng định Intel cam kết trở thành nhà sản xuất hệ thống AI số 2 thế giới vào cuối thập kỷ này.
- Gaudi 3 sẽ có sẵn cho các nhà sản xuất thiết bị trong quý 2 năm nay và dự kiến sẽ được sử dụng rộng rãi hơn vào cuối năm.
- Intel tự tin khẳng định Gaudi 3 vượt trội hơn hẳn chip H100 của Nvidia về hiệu năng và tổng chi phí sở hữu (TCO).

📌 Intel giới thiệu chip AI Gaudi 3 mới với hiệu năng vượt trội, dự đoán nhanh hơn 50% so với chip H100 của Nvidia khi huấn luyện các mô hình ngôn ngữ lớn. Công ty cam kết trở thành nhà sản xuất hệ thống AI số 2 thế giới vào cuối thập kỷ, nhận được 8,5 tỷ USD tài trợ từ chính phủ Mỹ để mở rộng sản xuất chip. Intel tự tin khẳng định Gaudi 3 vượt trội hơn đối thủ Nvidia về mọi mặt.

https://qz.com/intel-ai-hardware-gaudi-3-accelerator-nvidia-1851391888

Google tung chip AI và CPU mới, thách thức Nvidia, Microsoft và Amazon

- Google ra mắt chip AI mới TPU v5p, có thể huấn luyện các mô hình ngôn ngữ lớn nhanh gấp 3 lần so với thế hệ trước TPU v4.
- TPU v5p là đối thủ cạnh tranh với chip AI phổ biến của Nvidia. Google cũng đang sử dụng chip mới nhất của Nvidia, Blackwell, trong siêu máy tính AI Hypercomputer.
- Google Cloud CEO Thomas Kurian giới thiệu CPU Google Axion dựa trên kiến trúc Arm, cạnh tranh với CPU của Microsoft và Amazon.
- Google Axion có hiệu năng cao hơn 30% so với các chip Arm phổ biến nhất hiện nay trên cloud và tiết kiệm năng lượng hơn 60%.
- Khách hàng sử dụng Arm ở bất kỳ đâu đều có thể dễ dàng chuyển sang Axion mà không cần thay đổi kiến trúc hoặc viết lại ứng dụng.
- Việc Google phát triển phần cứng AI mới đưa công ty lên vị trí tiên phong trong cuộc chuyển đổi nền tảng AI.

📌 Google giới thiệu chip AI TPU v5p mới, huấn luyện mô hình ngôn ngữ lớn nhanh gấp 3 lần thế hệ trước, cùng CPU Arm Google Axion hiệu năng vượt trội 30-60%, đánh dấu cột mốc quan trọng trong cuộc đua AI với Nvidia, Microsoft và Amazon.

https://qz.com/google-ai-chip-nvidia-axion-arm-microsoft-1851397201

Google tung chip Axion mới, đẩy mạnh nỗ lực sản xuất phần cứng AI nội bộ

- Google ra mắt chip Axion mới, tiếp tục nỗ lực hơn 1 thập kỷ phát triển tài nguyên điện toán mới, bắt đầu từ các chip chuyên dụng cho AI.
- Chip Axion có thể xử lý nhiều tác vụ từ tìm kiếm, quảng cáo YouTube đến phân tích dữ liệu lớn, giúp Google giảm phụ thuộc vào các nhà cung cấp bên ngoài.
- Google hợp tác chặt chẽ với Broadcom từ 2016 để sản xuất phần cứng theo yêu cầu. Doanh thu của Broadcom tăng vọt sau khi Google tăng sản xuất TPU gần đây.
- Chi tiêu vốn của Alphabet tăng gần 50% lên 11 tỷ USD trong quý 4/2022 so với cùng kỳ năm trước, chủ yếu cho cơ sở hạ tầng kỹ thuật như chip AI.
- Google cho thuê chip tùy chỉnh cho khách hàng đám mây thay vì bán trực tiếp. Chip Axion sẽ có sẵn cho khách hàng bên ngoài vào cuối năm nay.
- Vào tháng 11/2022, Google nối thành công hơn 50.000 TPU để xây dựng hệ thống AI lớn nhất từ trước đến nay.
- Nỗ lực sản xuất chip nội bộ của Google bắt đầu từ đột phá công nghệ nhận dạng giọng nói năm 2013.
- Chip Axion mới cải thiện hiệu suất lên đến 30% so với các chip tương tự nhanh nhất hiện có trên đám mây.

📌 Google đang đẩy mạnh đầu tư vào sản xuất chip nội bộ như Axion và TPU để giảm phụ thuộc vào các đối tác lâu năm như Intel, Nvidia. Chip Axion mới cải thiện hiệu suất lên đến 30% so với các chip tương tự nhanh nhất hiện có trên đám mây. Điều này hứa hẹn giúp Google tiết kiệm chi phí và tăng khả năng cạnh tranh trong cuộc đua AI, dù vẫn phải đối mặt với sự ganh đua gay gắt từ Amazon và Microsoft.

Citations:
[1] https://www.wsj.com/tech/google-expands-in-house-chip-efforts-in-costly-ai-battle-3121c852

 

#WSJ

Năng lượng tính toán - Loại "dầu: mới - Nguồn tài nguyên quý giá nhất trong kỷ nguyên AI tạo sinh

- Năng lượng tính toán được coi là "dầu mỏ mới" và sẽ trở thành hàng hóa quý giá nhất trong tương lai do nhu cầu của AI tạo sinh.
- OpenAI và Microsoft lên kế hoạch xây dựng trung tâm dữ liệu Stargate trị giá 100 tỷ đô la, dự kiến hoàn thành vào năm 2028 với công suất lên tới 5 gigawatt.
- Sam Altman, CEO của OpenAI, đầu tư 375 triệu đô la vào Helion Energy để phát triển năng lượng nhiệt hạch. Microsoft cũng đồng ý mua điện từ nhà máy điện nhiệt hạch đầu tiên của Helion.
- Altman cũng đầu tư vào Oklo, một startup phát triển ứng dụng thương mại cho phản ứng phân hạch hạt nhân quy mô nhỏ.
- Các mô hình AI như GPT-5 và Sora của OpenAI đòi hỏi năng lượng tính toán khổng lồ, thúc đẩy nhu cầu phát triển tài nguyên năng lượng và trung tâm dữ liệu riêng.
- Amazon đầu tư gần 150 tỷ đô la vào trung tâm dữ liệu trong 15 năm tới để đáp ứng nhu cầu ứng dụng AI.
- Elon Musk cho rằng năng lượng tính toán AI tăng gấp 10 lần sau mỗi 6 tháng và hầu hết các trung tâm dữ liệu đang chuyển đổi từ tính toán thông thường sang tính toán AI.
- Altman đang tìm cách thành lập một liên doanh sản xuất chip AI và tìm kiếm sự chấp thuận từ chính phủ Mỹ. OpenAI cũng đang tìm các lựa chọn thay thế cho GPU của NVIDIA.

📌 Năng lượng tính toán đóng vai trò then chốt trong kỷ nguyên AI tạo sinh. OpenAI và Microsoft đang đầu tư 100 tỷ đô la vào trung tâm dữ liệu Stargate với công suất lên tới 5 gigawatt. Sam Altman cũng đầu tư vào các công ty năng lượng như Helion và Oklo để đáp ứng nhu cầu năng lượng khổng lồ của các mô hình AI mới. Bên cạnh đó, Altman còn tìm cách thành lập liên doanh sản xuất chip AI để giảm sự phụ thuộc vào NVIDIA.

https://analyticsindiamag.com/compute-is-the-new-oil/

AMD tung ra chip Versal thế hệ 2, mang AI tới biên mạng nhanh hơn bao giờ hết

- AMD giới thiệu dòng chip Versal AI Edge Gen 2 và Versal Prime Gen 2, đánh dấu bước tiến trong tăng tốc AI cho hệ thống nhúng.
- Các thiết bị Gen 2 mới có công suất TOPs trên mỗi watt cao gấp 3 lần và khả năng tính toán vô hướng cao gấp 10 lần so với thế hệ đầu tiên.
- Subaru Corporation là một trong những khách hàng đầu tiên tuyên bố kế hoạch triển khai chip Versal AI Edge Gen 2 cho hệ thống hỗ trợ lái xe tiên tiến EyeSight thế hệ tiếp theo.
- Versal AI Edge Gen 2 tích hợp các bộ xử lý phù hợp cho các giai đoạn tiền xử lý, suy luận AI và hậu xử lý, mang đến giải pháp toàn diện trên một chip duy nhất.
- Versal Prime Gen 2 phục vụ các hệ thống nhúng truyền thống không dựa trên AI, kết hợp logic lập trình với CPU Arm hiệu suất cao, phù hợp cho các ứng dụng như streaming video UHD, PC công nghiệp và máy tính bay.
- AMD cung cấp các công cụ như Vivado Design Suite và Vitis Unified Software Platform để đẩy nhanh quá trình phát triển và rút ngắn thời gian đưa sản phẩm ra thị trường.
- Tài liệu truy cập sớm và bộ đánh giá cho các thiết bị Versal Gen 2 đã có sẵn, với mẫu silicon dự kiến trong nửa đầu năm 2025 và silicon sản xuất vào cuối năm 2025.

📌 AMD đã giới thiệu chip Versal thế hệ 2 với hiệu suất vượt trội, tiêu thụ điện năng thấp và khả năng mở rộng linh hoạt. Subaru đã chọn chip Versal AI Edge Gen 2 cho hệ thống hỗ trợ lái xe tiên tiến EyeSight, thể hiện sự tin tưởng vào khả năng mang lại hiệu suất AI, độ trễ cực thấp và an toàn chức năng của chip này.

https://venturebeat.com/ai/amd-launches-second-generation-versal-chips-to-make-ai-faster-at-the-edge/

Hàn Quốc đầu tư 7 tỷ USD vào AI để giữ vững vị thế về chip

• Tổng thống Hàn Quốc Yoon Suk Yeol tuyên bố đầu tư 9.4 nghìn tỷ won (6.94 tỷ USD) vào trí tuệ nhân tạo đến năm 2027.
• Mục tiêu nhằm duy trì vị thế dẫn đầu toàn cầu về chip bán dẫn tiên tiến.
• Thành lập quỹ riêng trị giá 1.4 nghìn tỷ won để thúc đẩy các công ty chip AI.
• Hàn Quốc nỗ lực bắt kịp các nước như Mỹ, Trung Quốc, Nhật Bản trong việc hỗ trợ chính sách mạnh mẽ để tăng cường chuỗi cung ứng chip bán dẫn.
• Chip bán dẫn là nền tảng then chốt của nền kinh tế xuất khẩu Hàn Quốc. Xuất khẩu chip đạt 11.7 tỷ USD vào tháng 3/2024, mức cao nhất trong 21 tháng.
• Hàn Quốc sẽ mở rộng đáng kể nghiên cứu và phát triển chip AI như NPU và chip bộ nhớ băng thông cao thế hệ tiếp theo.
• Thúc đẩy phát triển AGI thế hệ tiếp theo và công nghệ an toàn vượt ra ngoài các mô hình hiện có.
• Mục tiêu đến năm 2030, Hàn Quốc trở thành 1 trong 3 nước hàng đầu về công nghệ AI và chiếm 10% thị phần chip hệ thống toàn cầu.
• Tổng thống Yoon nhấn mạnh tác động của trận động đất gần đây ở Đài Loan đối với các công ty Hàn Quốc là hạn chế, nhưng yêu cầu chuẩn bị kỹ lưỡng trước các bất ổn.

📌 Hàn Quốc đầu tư mạnh 9,4 nghìn tỷ won (7 tỷ USD) vào AI đến 2027, thành lập quỹ 1,4 nghìn tỷ won cho chip AI, nhằm giữ vững vị thế dẫn đầu về chip bán dẫn, đặt mục tiêu top 3 công nghệ AI và 10% thị phần chip hệ thống toàn cầu năm 2030.

https://www.aol.com/news/south-korea-invest-7-billion-053358078.html

Triển vọng ngành bán dẫn 2024: Kỷ nguyên của chip AI tạo sinh

- Doanh số chip AI tạo sinh dự kiến đạt 50 tỷ USD vào năm 2024, chiếm 8.5% tổng doanh số ngành bán dẫn. Tuy nhiên, số lượng chip AI tạo sinh chỉ chiếm dưới 0.1% tổng số chip bán ra do giá thành cao (40,000 USD/chip).
- Chip AI tạo sinh bao gồm GPU, CPU, HBM3 đặc biệt được đóng gói tiên tiến 2.5D cùng các chip kết nối. Nhu cầu chip AI tạo sinh chủ yếu đến từ các công ty phần mềm doanh nghiệp.
- AI tạo sinh đang cải tiến toàn bộ chuỗi giá trị bán dẫn: lập lịch và dự báo sản xuất, thúc đẩy R&D, phát hiện khuyết tật, tối ưu sản xuất, tiếp thị mục tiêu. Tuy nhiên, chi phí xây dựng mô hình AI tạo sinh tùy chỉnh cao và cần xác thực của con người.
- Nhà máy bán dẫn đang ứng dụng AI tạo sinh để phân tích dữ liệu lớn, tối ưu quy trình, giảm tác động môi trường.
- Mỹ và Châu Âu cần phát triển năng lực back-end (lắp ráp và kiểm tra chip) song song với đầu tư front-end (sản xuất chip) để tránh phức tạp chuỗi cung ứng.
- Ngành bán dẫn đối mặt với mối đe dọa an ninh mạng đặc thù do sở hữu tài sản trí tuệ có giá trị cao. Các cuộc tấn công tinh vi ngụy trang thành ransomware tạo ra thách thức bất đối xứng.
- Tại Thái Lan, nhập khẩu mạch tích hợp tăng 2% và bán dẫn tăng 23% trong năm 2023. Thái Lan đang thu hút đầu tư từ Mỹ vào sản xuất chip để thúc đẩy tham vọng trở thành trung tâm hạ tầng và xe điện. Dự kiến sẽ có nhà máy sản xuất wafer (linh kiện chip) đầu tư tại Thái Lan.

📌 Ngành bán dẫn toàn cầu đang chứng kiến sự bùng nổ của chip AI tạo sinh với doanh số ước tính 50 tỷ USD vào năm 2024. AI tạo sinh không chỉ được ứng dụng trong xử lý mà còn cải tiến toàn bộ chuỗi giá trị bán dẫn. Tuy nhiên, ngành này cũng đối mặt với thách thức an ninh mạng đặc thù. Tại Thái Lan, nhập khẩu chip tăng mạnh trong năm 2023 và nước này đang nỗ lực thu hút đầu tư từ Mỹ để phát triển ngành bán dẫn.

 

https://www2.deloitte.com/th/en/pages/about-deloitte/articles/2024-semiconductor-outlook-en.html

AMD tuyên bố chip xử lý của họ xử lý các mô hình ngôn ngữ lớn (LLM) nhanh hơn 79% so với chip của Intel

- AMD tuyên bố chip xử lý của họ xử lý các mô hình ngôn ngữ lớn (LLM) nhanh hơn 79% so với chip của Intel sau khi thực hiện một số bài kiểm tra.
- Chip Ryzen mobile 7040 Phoenix và Ryzen mobile 8040 series của AMD hoạt động tốt hơn chip Core Ultra Meteor Lake của Intel, đôi khi lên đến 79%.
- AMD chứng minh ý nghĩa của điều này với người tiêu dùng bằng cách trình diễn hai máy tính xách tay có giá tương đương, nhưng một chiếc sử dụng chip Intel và chiếc kia sử dụng chip AMD có hiệu năng tốt hơn.
- Để chip hoạt động tốt nhất, các công ty và nhà phát triển cần tạo ra và sử dụng các dịch vụ hỗ trợ chip.
- Phần mềm chuyên biệt có thể tương tác tốt hơn với phần cứng và xử lý LLM hiệu quả hơn.
- Microsoft thông báo DirectML sẽ hỗ trợ NPU chỉ dành cho chip Intel, cho phép các nhà phát triển tương tác tốt hơn với NPU của Intel trong khi AMD bị bỏ lại phía sau.
- Công nghệ xử lý AI còn mới và các công ty công nghệ khác đang phát triển các giải pháp của riêng họ để cạnh tranh với Nvidia, một tên tuổi lớn khác trong lĩnh vực xử lý AI.
- AMD cần duy trì sức nóng nếu muốn dẫn đầu Intel và các đối thủ cạnh tranh mới.

📌 AMD tuyên bố chip xử lý LLM nhanh hơn Intel 79% nhờ chip Ryzen mobile 7040 và 8040. Tuy nhiên, phần mềm chuyên biệt là yếu tố then chốt để tối ưu hóa hiệu năng. Cuộc đua phần cứng AI đang nóng lên với sự tham gia của nhiều công ty công nghệ, buộc AMD phải luôn dẫn đầu để giữ vị trí.

https://www.xda-developers.com/amd-chips-process-llms-79-faster-intel/

Microsoft nâng cấp Azure AI Search, đột phá y tế với Nvidia DGX Cloud

- Microsoft nâng cấp Azure AI Search, tăng dung lượng lưu trữ và vector lên 11 lần, tổng dung lượng tăng 6 lần, cải thiện gấp đôi thông lượng indexing và truy vấn.
- Hệ thống RAG của Azure AI Search giờ tương thích với ChatGPT, GPT và API Assistant của OpenAI. Microsoft sẽ là nguồn năng lượng mỗi khi ai đó chạy truy vấn hoặc thêm tệp vào các sản phẩm AI này.
- Microsoft tích hợp chip Nvidia GB200 Grace Blackwell Superchip và mạng Nvidia Quantum-X800 InfiniBand vào Azure, cùng với dòng máy ảo Azure NC H100 v5 VM.
- Sự hợp tác mở rộng giữa Microsoft Azure và Nvidia DGX Cloud cùng bộ microservice Nvidia Clara mang lại khả năng đẩy nhanh đổi mới trong nghiên cứu lâm sàng, khám phá thuốc và chăm sóc bệnh nhân.
- API Nvidia Omniverse Cloud sẽ có mặt trên Microsoft Azure, mở rộng tầm với của nền tảng Omniverse.
- Copilot cho Microsoft 365 sẽ sớm có phím vật lý trên PC Windows 11, kết hợp sức mạnh của các mô hình ngôn ngữ lớn với dữ liệu doanh nghiệp để cung cấp trí tuệ thời gian thực theo ngữ cảnh.
- Tích hợp sâu hơn giữa Nvidia DGX Cloud với Microsoft Fabric giúp các runtime, LLM và machine learning được tối ưu hóa của Nvidia hoạt động liền mạch với Microsoft Fabric.

📌 Microsoft đã nâng cấp đáng kể Azure AI Search với dung lượng lưu trữ tăng 11 lần, hỗ trợ các ứng dụng RAG lớn của OpenAI. Việc tích hợp sâu hơn với Nvidia DGX Cloud và chip GB200 mới nhất mang lại nhiều đột phá trong y tế, khoa học sự sống. Copilot sẽ có phím vật lý riêng trên Windows 11, cung cấp trí tuệ thời gian thực theo ngữ cảnh.

Citations:
[1] https://venturebeat.com/ai/microsoft-boosts-azure-ai-search-with-more-storage-and-support-for-big-rag-apps/

CoreWeave: Nhu cầu trung tâm dữ liệu cho AI bị đánh giá thấp nghiêm trọng, chuỗi cung ứng gặp thách thức lớn

- Brian Venturo, đồng sáng lập và giám đốc chiến lược của CoreWeave, cho rằng thế giới đang đánh giá thấp "một cách thô thiển" mức độ mở rộng thị trường trung tâm dữ liệu toàn cầu do nhu cầu về AI trong 5 năm tới.
- CoreWeave nhận được những yêu cầu "vô lý" về trung tâm dữ liệu hàng ngày, với nhiều khách hàng muốn có cả một khu tổ hợp riêng cho mình.
- Thị trường đang di chuyển nhanh hơn nhiều so với khả năng của chuỗi cung ứng vốn hỗ trợ cho một ngành công nghiệp vật lý.
- Venturo dự đoán sẽ xuất hiện nhiều "siêu khu tổ hợp" gây áp lực lên lưới điện và dẫn đến những cuộc tranh cãi chính trị.
- Ngành công nghiệp sẽ phải vượt qua một số thách thức trong quá trình này.
- Sự bùng nổ của AI tạo sinh đang thúc đẩy cuộc đua về trung tâm dữ liệu, biến CoreWeave trở thành một trong những startup công nghệ "nóng" nhất.
- Nvidia dự kiến sẽ có 250 tỷ USD chi tiêu hàng năm cho thiết bị trung tâm dữ liệu.
- Amazon dự định chi gần 150 tỷ USD trong 15 năm tới để xây dựng trung tâm dữ liệu nhằm đáp ứng nhu cầu tăng vọt từ các công cụ AI.
- Venturo lo ngại về việc thiết lập cơ sở hạ tầng để xử lý nhu cầu, gọi đó là một cuộc chạy nước rút đòi hỏi tất cả nguồn vốn trên thế giới.
- Việc cải tạo các trung tâm dữ liệu cũ rất khó khăn do cơ sở hạ tầng cung cấp điện hiện tại không hỗ trợ được việc mở rộng, đòi hỏi phải xây dựng đường dây truyền tải và trạm biến áp mới.
- Các "siêu máy tính" như Amazon, Google và Microsoft cũng đang đối mặt với những thách thức tương tự.

📌 Nhu cầu về trung tâm dữ liệu cho AI đang tăng vọt nhanh hơn nhiều so với khả năng đáp ứng của chuỗi cung ứng. CoreWeave dự báo sẽ xuất hiện nhiều siêu khu tổ hợp trung tâm dữ liệu, gây áp lực lên cơ sở hạ tầng và nguồn điện. Ngành công nghiệp đang phải đối mặt với thách thức lớn trong việc mở rộng quy mô để theo kịp tốc độ phát triển chóng mặt của AI.

https://www.bloomberg.com/news/articles/2024-04-04/ai-demand-for-data-centers-vastly-underestimated-coreweave-says

AI factory là trung tâm dữ liệu chuyên biệt được tối ưu hóa cho AI,

- AI factory là trung tâm dữ liệu chuyên biệt đáp ứng các yêu cầu cụ thể của AI, cung cấp cơ sở hạ tầng và tài nguyên để triển khai các ứng dụng và mô hình AI phức tạp.
- Mục đích của AI factory tương tự như trung tâm dữ liệu và nhà máy vật lý. Chúng sản xuất trí tuệ nhân tạo, có thể được sử dụng để vận hành các mô hình AI, tài sản và hệ thống CNTT. 
- AI factory xử lý một lượng lớn dữ liệu để tạo ra trí tuệ và cập nhật các hệ thống, hoặc tạo ra các nội dung như văn bản, hình ảnh, video, âm thanh.
- Các trung tâm này có phần cứng và phần mềm cần thiết để triển khai AI tạo sinh vào hoạt động CNTT, cải thiện hiệu quả, khả năng mở rộng và đổi mới.
- AI factory đòi hỏi nhiều năng lượng, giải pháp làm mát hơn trung tâm dữ liệu truyền thống. Chúng được thiết kế với phần cứng chuyên dụng như chip AI và GPU.
- Foxconn và Nvidia hợp tác xây dựng các AI factory sử dụng chip Nvidia trên toàn thế giới để xử lý dữ liệu và tạo ra các sản phẩm tiên tiến như xe tự lái.
- Nvidia giới thiệu chip Blackwell GB200 mới nhất để cung cấp năng lượng cho "cuộc cách mạng công nghiệp mới" này.
- EU đưa ra các biện pháp hỗ trợ các dự án AI factory, cho phép các startup tiếp cận siêu máy tính chuyên dụng AI để xây dựng mô hình riêng.

📌 AI factory đang nổi lên như một hệ sinh thái mới, với cơ sở hạ tầng và tài nguyên chuyên biệt để triển khai các ứng dụng AI quy mô lớn. Được dẫn dắt bởi các công ty như Nvidia và Foxconn, AI factory hứa hẹn mang lại một cuộc cách mạng công nghiệp mới trong sản xuất trí tuệ nhân tạo, tạo ra các sản phẩm tiên tiến và thúc đẩy đổi mới trên nhiều lĩnh vực.

https://techmonitor.ai/technology/ai-and-automation/what-is-an-ai-factory

Hailo gây sốc khi huy động 120 triệu đô la, sẵn sàng đối đầu với Nvidia trong cuộc đua chip AI

- Hailo, một công ty khởi nghiệp về chip AI, đã huy động được 120 triệu đô la từ các nhà đầu tư như Alfred Akirov, Delek Motors và OurCrowd.
- Công ty có hơn 300 khách hàng trong các ngành như ô tô, an ninh, bán lẻ, tự động hóa công nghiệp, thiết bị y tế và quốc phòng.
- Chip của Hailo thực hiện các tác vụ AI với mức sử dụng bộ nhớ và tiêu thụ điện năng thấp hơn, phù hợp cho các thiết bị nhỏ gọn, ngoại tuyến và chạy bằng pin.
- Giáo sư Christos Kozyrakis tin rằng chip tăng tốc như của Hailo sẽ trở nên "hoàn toàn cần thiết" khi AI phát triển rộng rãi.
- Thách thức đối với Hailo là tính bền vững nếu kiến trúc mô hình AI mà chip của họ được thiết kế để chạy hiệu quả không còn phổ biến và hỗ trợ phần mềm nếu không đủ nhà phát triển sẵn sàng học cách sử dụng công cụ xây dựng xung quanh chip của Hailo.
- Hailo có 340 triệu đô la trong ngân hàng và khoảng 250 nhân viên.
- Công nghệ của Hailo giải quyết nhiều thách thức mà các công ty gặp phải với suy luận AI dựa trên đám mây, đặc biệt là độ trễ, chi phí và khả năng mở rộng.
- Trí tuệ nhân tạo tạo sinh đang thúc đẩy nhu cầu mới đối với phần cứng của Hailo, với các yêu cầu xử lý LLM cục bộ từ khách hàng trong các ngành điện toán, ô tô, tự động hóa công nghiệp, an ninh và nhiều ngành khác.

📌 Hailo đã huy động thành công 120 triệu đô la, nâng tổng vốn lên 340 triệu đô la với 300 khách hàng trải rộng nhiều ngành. Chip AI tiết kiệm năng lượng của họ đang đáp ứng nhu cầu ngày càng tăng về ứng dụng AI biên và xử lý LLM cục bộ. Tuy nhiên, Hailo vẫn phải đối mặt với thách thức từ các đối thủ lớn như Nvidia trong hệ sinh thái phần mềm.

https://techcrunch.com/2024/04/02/hailo-ai-chip-startup-lands-120m-to-battle-nvidia/

NVIDIA biến trung tâm dữ liệu thành "nhà máy AI" cho AI tạo sinh

- NVIDIA đang gây bất ngờ cho thế giới với tốc độ chóng mặt. Elon Musk cho rằng tính toán AI đang tăng trưởng theo cấp số nhân, tăng gấp 10 lần sau mỗi 6 tháng.
- Tại GTC 2024, CEO Jensen Huang so sánh các trung tâm dữ liệu với các nhà máy trong cuộc cách mạng công nghiệp. Các trung tâm dữ liệu giờ đây sản xuất "token dữ liệu" bằng cách sử dụng dữ liệu và điện năng như nguyên liệu thô.
- NVIDIA hợp tác với Foxconn để xây dựng "nhà máy AI" sử dụng chip NVIDIA cho xe tự lái, robot và huấn luyện mô hình ngôn ngữ lớn.
- Các nhà cung cấp cloud lớn như AWS, Microsoft Azure, Google Cloud và Oracle Cloud đều có kế hoạch cung cấp GPU và hệ thống Blackwell mới của NVIDIA trong trung tâm dữ liệu của họ.
- Tuy nhiên, cuộc cách mạng AI do Blackwell thúc đẩy cũng đối mặt với nhiều thách thức như nhu cầu tính toán tăng vọt, áp lực nâng cao hiệu quả năng lượng và đáp ứng mục tiêu năng lượng tái tạo.
- Elon Musk cho biết ràng buộc chính hiện nay là tính sẵn có của năng lượng điện do nhu cầu năng lượng đáng kể của AI.
- Microsoft và OpenAI công bố dự án siêu máy tính AI Stargate trị giá hơn 115 tỷ USD, dự kiến ra mắt năm 2028. AWS cũng có kế hoạch đầu tư hơn 150 tỷ USD vào trung tâm dữ liệu trong 15 năm tới.

📌Elon Musk cho rằng tính toán AI đang tăng trưởng theo cấp số nhân, tăng gấp 10 lần sau mỗi 6 tháng. Jensen Huang so sánh các trung tâm dữ liệu với các nhà máy trong cuộc cách mạng công nghiệp. NVIDIA đang dẫn đầu xu hướng biến trung tâm dữ liệu thành "nhà máy AI" để đáp ứng nhu cầu tính toán khổng lồ cho AI tạo sinh. Tuy nhiên, điều này cũng đặt ra nhiều thách thức về hiệu quả năng lượng và nguồn cung điện. 

https://analyticsindiamag.com/how-nvidia-is-turning-data-centers-into-ai-factories-for-generative-ai/

Kiến trúc đám mây không chỉ có GPU trong hệ thống AI tạo sinh

- GPU đóng vai trò quan trọng trong việc thúc đẩy sự phát triển của AI, nhưng quá nhấn mạnh có thể làm lu mờ việc tìm kiếm và tận dụng các giải pháp thay thế hiệu quả và bền vững hơn.
- Doanh thu trung tâm dữ liệu của Nvidia đạt 14,5 tỷ USD trong quý gần nhất, tăng 41% so với quý trước và 279% so với cùng kỳ năm ngoái. GPU của họ hiện là tiêu chuẩn trong xử lý AI.
- GPU yêu cầu một chip chủ để điều phối hoạt động, điều này làm giảm hiệu quả. Việc giao tiếp giữa các quá trình, tách rời và tái tập hợp mô hình cũng gây ra những thách thức về hiệu quả.
- Các thư viện và framework phần mềm như CUDA của Nvidia cung cấp mô hình lập trình và bộ công cụ cần thiết để phát triển phần mềm tận dụng khả năng tăng tốc GPU.
- Trong 2 năm tới, sự phấn khích về GPU sẽ qua đi. Thay vào đó, trọng tâm sẽ là hiệu quả suy luận, cải tiến mô hình liên tục và các cách mới để quản lý thuật toán và dữ liệu.
- Các đối thủ cạnh tranh tiềm năng của Nvidia hiện nay là AMD, Intel và một số startup như SambaNova, Cerebras, GraphCore, Groq và xAI.
- Nhiều kiến trúc AI tạo sinh sử dụng CPU truyền thống mà không ảnh hưởng đáng kể đến hiệu suất. Tùy thuộc vào mục đích, hầu hết triển khai AI tạo sinh trong doanh nghiệp sẽ cần ít năng lượng hơn.

📌 GPU đóng vai trò quan trọng trong AI tạo sinh, nhưng không nên là trọng tâm duy nhất. Trong 2 năm tới, sự phấn khích về GPU sẽ qua đi. Thay vào đó, trọng tâm sẽ là hiệu quả suy luận, cải tiến mô hình liên tục và các cách mới để quản lý thuật toán và dữ liệu. Nhiều giải pháp thay thế GPU hiệu quả, tiết kiệm năng lượng đang xuất hiện từ các đối thủ của Nvidia.

https://www.infoworld.com/article/3714629/theres-more-to-cloud-architecture-than-gpus.html

Mỹ hạn chế khả năng tiếp cận chip Nvidia của Trung Quốc, Việt Nam chịu ảnh hưởng

- Mỹ áp đặt yêu cầu cấp phép bổ sung đối với việc xuất khẩu chip Nvidia sang một số quốc gia, bao gồm cả Việt Nam, nhằm hạn chế hơn nữa khả năng tiếp cận của Trung Quốc với các công nghệ quan trọng.
- Động thái này được đưa ra sau quy định "Thực hiện các biện pháp kiểm soát xuất khẩu bổ sung: Một số mặt hàng máy tính tiên tiến và sản xuất bán dẫn; Siêu máy tính và sử dụng cuối cùng bán dẫn; Sửa đổi danh sách thực thể" của Cục Công nghiệp và An ninh, trực thuộc Bộ Thương mại Hoa Kỳ.
- Quy định này áp dụng kiểm soát đối với các mạch tích hợp máy tính tiên tiến (IC), hàng hóa máy tính chứa các IC đó và một số mặt hàng sản xuất bán dẫn, có hiệu lực từ ngày 17/11/2023 đến ngày 01/01/2026.
- Các sản phẩm bị ảnh hưởng của Nvidia bao gồm các mạch tích hợp vượt quá ngưỡng hiệu suất nhất định, bao gồm nhưng không giới hạn ở dòng A100, A800, H100, H800, L40, L40S và card đồ họa gaming RTX 4090.
- Bất kỳ hệ thống nào kết hợp một hoặc nhiều mạch tích hợp được đề cập (bao gồm nhưng không giới hạn ở hệ thống NVIDIA DGX và HGX) cũng đều thuộc phạm vi áp dụng của các quy tắc mới.
- Các yêu cầu cấp phép bổ sung áp dụng cho Trung Quốc và các nhóm quốc gia D1, D4 và D5, nhưng không bao gồm Israel. Việt Nam thuộc nhóm quốc gia D1 và D3.
- Yêu cầu cấp phép có thể ảnh hưởng đến khả năng của Nvidia trong việc hoàn thành phát triển sản phẩm kịp thời, hỗ trợ khách hàng hiện tại của các sản phẩm liên quan hoặc cung cấp cho khách hàng các sản phẩm liên quan bên ngoài các khu vực bị ảnh hưởng, đồng thời có thể yêu cầu Nvidia chuyển một số hoạt động ra khỏi một hoặc nhiều quốc gia được xác định.

📌 Mỹ áp đặt yêu cầu cấp phép bổ sung đối với xuất khẩu chip Nvidia sang Trung Quốc, Việt Nam và một số quốc gia khác từ 17/11/2023 đến 01/01/2026, ảnh hưởng đến các dòng sản phẩm vượt ngưỡng hiệu suất nhất định. Động thái này có thể gây khó khăn cho Nvidia trong việc phát triển và cung cấp sản phẩm đúng hạn cho khách hàng.

https://theinvestor.vn/us-restricts-chinas-access-to-some-nvidia-chips-vietnam-consequently-impacted-d7077.html

- D1 và D3 là các nhóm quốc gia được Bộ Thương mại Mỹ (BIS) phân loại trong Quy định Quản lý Xuất khẩu (EAR). Các quốc gia được chia thành 4 nhóm chính: A, B, D và E.

- Nhóm D gồm các quốc gia bị hạn chế và ít được hưởng ngoại lệ cấp phép xuất khẩu hơn. Nhóm D được chia thành 5 nhóm nhỏ dựa trên các mối quan ngại khác nhau: 
    + D1: An ninh quốc gia
    + D2: Hạt nhân
    + D3: Hóa học & Sinh học  
    + D4: Công nghệ tên lửa
    + D5: Các quốc gia bị Mỹ cấm vận vũ khí

- Một số quốc gia thuộc nhóm D1 và D3 bao gồm: Afghanistan, Armenia, Azerbaijan, Belarus, Campuchia, Trung Quốc, Georgia, Iraq, Kazakhstan, Bắc Triều Tiên, Kyrgyzstan, Lào, Moldova, Mông Cổ, Nga, Syria, Tajikistan, Việt Nam, Yemen... 

- Việc một quốc gia thuộc nhóm D1 hay D3 liên quan đến các hạn chế và yêu cầu cấp phép xuất khẩu chặt chẽ hơn của Mỹ đối với hàng hóa, công nghệ nhạy cảm liên quan đến an ninh quốc gia, vũ khí hóa học/sinh học.

Như vậy, D1 và D3 phản ánh đánh giá và chính sách kiểm soát xuất khẩu của Mỹ với từng quốc gia dựa trên các tiêu chí về an ninh và công nghệ nhạy cảm. Việc nằm trong các nhóm này đồng nghĩa với việc chịu sự giám sát chặt chẽ hơn từ phía Mỹ.

Citations:

https://www.bis.doc.gov/index.php/documents/regulations-docs/2255-supplement-no-1-to-part-740-country-groups-1

3 card đồ họa Nvidia đừng dại mua lúc này nếu không muốn tiền mất tật mang

- RTX 4060 Ti có dung lượng VRAM thấp so với tầm giá, bus bộ nhớ hẹp chỉ 128-bit, ít nhân CUDA hơn thế hệ trước. Hiệu năng chỉ hơn RTX 4060 khoảng 20% nhưng giá cao hơn tới 100 USD. Thậm chí phiên bản 16GB cũng không đáng giá do bị giới hạn bởi bus bộ nhớ. Với sự hỗ trợ của DLSS 3, RTX 4060 là lựa chọn hợp lý hơn.

- RTX 3090 tuy là card đồ họa thế hệ trước nhưng giá vẫn rất đắt, từ 1.370 USD trở lên cho hàng mới. Trong khi đó, RTX 4070 chỉ với giá 525 USD có thể đạt hiệu năng tương đương. RTX 4070 Super 580 USD thậm chí còn vượt trội hơn. Với DLSS 3, RTX 4070 Super có thể đạt tới 165 fps ở độ phân giải 1440p ultra trong Cyberpunk 2077.

- RTX 4080 là card đồ họa có giá trị kém nhất thế hệ Ada do định giá quá cao so với hiệu năng, chậm hơn RTX 4090 30% nhưng giá lên tới 1.200 USD. Nvidia đã nhận ra sai lầm và ra mắt RTX 4080 Super với giá 1.000 USD. Tuy nhiên trên thực tế, cả 2 phiên bản đều khó tìm được với giá đề xuất. Với sự cạnh tranh gay gắt từ AMD và các mẫu như RTX 4070 Ti Super, RTX 4080 trở nên kém hấp dẫn.

 

📌 Tùy vào nhu cầu và ngân sách, người dùng có thể lựa chọn các card đồ họa phù hợp như RTX 4060, RX 7700 XT, RX 7800 XT, RTX 4070 Super để thay thế cho RTX 4060 Ti; RTX 4070, 4070 Super, RX 7900 GRE, RX 7800 XT cho RTX 3090; hay RX 7900 XTX, RTX 4070 Ti, thậm chí RTX 4090 để thay cho RTX 4080. Giá cả và hiệu năng luôn là yếu tố then chốt cần cân nhắc kỹ trước khi quyết định mua card đồ họa mới.

Citations:
[1] https://www.digitaltrends.com/computing/3-nvidia-gpus-to-avoid/

Cuộc chiến công nghệ: hạn chế xuất khẩu bán dẫn mới của Mỹ làm tăng nhu cầu về card đồ họa Nvidia RTX 4090 tại Trung Quốc

- Các hạn chế xuất khẩu bán dẫn mới nhất của Mỹ đối với Trung Quốc đã biến card đồ họa trở thành một trong những mặt hàng được săn đón nhất ở Huaqiangbei, khu chợ bán buôn đồ điện tử lớn nhất thế giới.
- Nhu cầu về card đồ họa cao cấp, đặc biệt là Nvidia GeForce RTX 4090, vẫn rất mạnh mẽ sau khi Mỹ áp đặt các hạn chế xuất khẩu.
- Các thương nhân ở Huaqiangbei đang tích trữ nhiều loại hàng hóa liên quan đến AI và chờ đợi bán với giá cao.
- Giá của một số phiên bản RTX 4090 hiện khoảng 20.000 nhân dân tệ (2.768 USD), cao hơn 70% so với giá bán lẻ đề xuất của Nvidia.
- Tại Trung Quốc, RTX 4090 cũng được sử dụng để hỗ trợ các chức năng nhận thức trên xe tự lái.
- Chính quyền Biden đã sửa đổi các biện pháp kiểm soát xuất khẩu, khiến Trung Quốc khó tiếp cận hơn với bộ xử lý AI tiên tiến, thiết bị sản xuất chip và thậm chí cả laptop được trang bị các chip đó.
- Trung Quốc phản đối các hạn chế sửa đổi, cho rằng chúng gây trở ngại cho hợp tác kinh tế thương mại bình thường giữa các công ty Trung Quốc và Mỹ.

📌 Các hạn chế xuất khẩu bán dẫn mới nhất của Mỹ đã làm tăng đột biến nhu cầu về card đồ họa Nvidia RTX 4090 tại Trung Quốc, với giá tăng hơn 70% so với mức đề xuất. Bắc Kinh phản đối các biện pháp này, cho rằng chúng gây tổn hại đến hợp tác kinh tế song phương và ngành công nghiệp bán dẫn toàn cầu.

https://www.scmp.com/tech/tech-war/article/3257484/tech-war-updated-us-semiconductor-export-restrictions-raise-demand-china-nvidias-rtx-4090-graphics

Sharon Zhou, nhà sáng lập AI đang làm tốt mà không cần chip của Nvidia

- Sharon Zhou, 30 tuổi, là CEO và đồng sáng lập Lamini AI. Cô ấy có nền tảng giáo dục ấn tượng từ Harvard và Stanford.
- Lamini AI cung cấp nền tảng giúp doanh nghiệp dễ dàng đào tạo và tạo ra các mô hình ngôn ngữ lớn (LLM) tùy chỉnh chỉ với vài dòng mã.
- Khác với xu hướng chung, Lamini AI chỉ sử dụng GPU của AMD thay vì Nvidia để xây dựng nền tảng.
- Quyết định này dựa trên hiểu biết của đồng sáng lập Greg Diamos, cựu kiến trúc sư phần mềm tại Nvidia, rằng phần mềm cũng quan trọng như phần cứng GPU.
- AMD đang xây dựng hệ sinh thái phần mềm tương tự như CUDA của Nvidia xung quanh GPU của họ.
- Lamini AI muốn đáp ứng nhu cầu tăng vọt về LLM của doanh nghiệp mà không phụ thuộc vào nguồn cung hạn chế của Nvidia.
- Lamini AI đã triển khai thành công chip MI300X mới của AMD vào sản xuất.

📌 Sharon Zhou và Lamini AI đang thách thức sự thống trị của Nvidia trong lĩnh vực AI bằng cách sử dụng GPU của AMD để xây dựng nền tảng giúp doanh nghiệp dễ dàng tạo ra các mô hình ngôn ngữ lớn tùy chỉnh. Với hiệu suất cao và nguồn cung ổn định từ AMD, Lamini AI đang sẵn sàng đáp ứng nhu cầu ngày càng tăng về LLM.

 

https://www.businessinsider.com/nvidia-chips-lamini-ai-amd-jensen-huang-sharon-zhou-2024-4

Trung Quốc cần tập trung thúc đẩy ngành AI nội địa để thu hẹp khoảng cách với Mỹ

- Các công ty AI Trung Quốc cần tập trung phát triển phần cứng và phần mềm nội địa để bắt kịp với các đối thủ hàng đầu của Mỹ trong lĩnh vực AI tạo sinh.
- Liu Cong, Phó Chủ tịch công ty AI Trung Quốc iFlytek, thừa nhận rằng ngành công nghiệp Trung Quốc vẫn còn khoảng cách với các đối thủ hàng đầu thế giới về AI tạo sinh.
- Zeng Yi, giáo sư Viện Hàn lâm Khoa học Trung Quốc, cho rằng các công ty Trung Quốc không chỉ nên tập trung vào các bước đột phá trong mô hình ngôn ngữ lớn (LLM), mà còn phải phát triển phần cứng và phần mềm mới.
- Lệnh cấm xuất khẩu chip bán dẫn của Mỹ là một trong những rào cản chính đối với sự phát triển AI tạo sinh của Trung Quốc.
- Trung Quốc và Mỹ đang cạnh tranh gay gắt để thống trị lĩnh vực AI, và Trung Quốc được cho là đang dẫn đầu trong các lĩnh vực như nhận dạng khuôn mặt và lái xe tự động.
- Tuy nhiên, sự ra mắt của ChatGPT vào tháng 11/2022 đã thay đổi cuộc chơi AI tạo sinh, và các công ty Trung Quốc đang cố gắng thu hẹp khoảng cách với các đối thủ trong nước như Ernie Bot 4 của Baidu và iFlytek Spark 3.0.
- Yuan Hui, người sáng lập và CEO của công ty AI Chatbot Xiao-I, cho rằng Trung Quốc cần tập trung phát triển công nghệ "cốt lõi và nền tảng".
- Ngoài lệnh cấm chip của Mỹ, Trung Quốc còn phải đối mặt với những thách thức trong nước như chi phí tính toán khổng lồ và kiểm duyệt.

📌 Trung Quốc được cho là đang dẫn đầu trong các lĩnh vực như nhận dạng khuôn mặt và lái xe tự động. Sự ra mắt của ChatGPT vào tháng 11/2022 đã thay đổi cuộc chơi AI tạo sinh, và các công ty Trung Quốc đang cố gắng thu hẹp khoảng cách với các đối thủ trong nước như Ernie Bot 4 của Baidu và iFlytek Spark 3.0. T. Các lãnh đạo ngành công nghiệp kêu gọi tập trung phát triển phần cứng và phần mềm nội địa, đồng thời vượt qua các rào cản như lệnh cấm xuất khẩu chip của Mỹ, chi phí tính toán cao và kiểm duyệt trong nước.

https://www.scmp.com/news/china/diplomacy/article/3257370/china-needs-focus-boosting-domestic-ai-sector-close-gap-us-export-curbs-chips-take-their-toll

Công ty Trung Quốc Intellifusion ra mắt chip AI 14nm DeepEdge với giá chỉ 140 USD, rẻ hơn 90% so với GPU

- Công ty Trung Quốc Intellifusion giới thiệu dòng sản phẩm AI box "DeepEyes" với chip AI DeepEdge 14nm, giá khoảng 140 USD, rẻ hơn 90% so với GPU.

- Chip DeepEdge10Max đạt hiệu năng 48 TOPS cho tác vụ huấn luyện AI ở định dạng int8. Các phiên bản DeepEdge10Pro và DeepEdge10Ultra trong tương lai hướng tới hiệu năng 24-96 TOPS.

- Chip DeepEdge sử dụng công nghệ nội địa độc lập của Trung Quốc như CPU RISC 1.8 GHz, GPU 800 MHz và NPU chuyên dụng NNP400T.

- Hiệu năng 40 TOPS là yêu cầu tối thiểu cho một "PC AI" theo Microsoft. Hầu hết các NPU hiện tại chỉ đạt tốc độ 16 TOPS.

- Chủ tịch Intellifusion cho rằng 80% công ty trên thế giới sẽ sử dụng các mô hình AI lớn trong 3 năm tới, nhưng chi phí huấn luyện và triển khai rất đắt đỏ. Chip DeepEdge giúp giảm chi phí đáng kể.

- Việc sử dụng công nghệ nội địa và node 14nm cũ hơn giúp Trung Quốc né các lệnh trừng phạt của Mỹ và duy trì sức cạnh tranh trên thị trường AI.

📌 Intellifusion của Trung Quốc ra mắt chip AI 14nm DeepEdge với giá chỉ 140 USD, rẻ hơn GPU tới 90%, hướng tới hiệu năng 24-96 TOPS. Sử dụng công nghệ nội địa và node cũ giúp né lệnh trừng phạt Mỹ, giảm chi phí triển khai AI cho doanh nghiệp.

https://www.tomshardware.com/tech-industry/artificial-intelligence/chinese-chipmaker-launches-14nm-ai-processor-thats-90-cheaper-than-gpus

HKEPC ép xung RTX 4090D lên ngang tầm 4090 bất chấp lệnh trừng phạt

- HKEPC, một trang công nghệ và đánh giá PC tại Hồng Kông, đã ép xung thành công card đồ họa Asus ROG Strix GeForce RTX 4090D tuân thủ lệnh trừng phạt của Mỹ, nâng hiệu năng lên ngang tầm với RTX 4090 tiêu chuẩn.

- RTX 4090D là phiên bản cắt giảm của RTX 4090, được thiết kế để vượt qua các hạn chế hiệu năng do chính phủ Mỹ đặt ra nhằm ngăn Trung Quốc tiếp cận chip tiên tiến có thể tăng cường sức mạnh quân sự.

- RTX 4090D có 114 SM so với 128 SM trên 4090, dẫn đến giảm số lượng nhân Tensor, CUDA và RT. Tổng công suất xử lý (TPP) của 4090D là 4.707, dưới mức giới hạn 4.800 do lệnh trừng phạt áp đặt.

- HKEPC nhận thấy Asus ROG Strix RTX 4090D có thể được ép xung, nâng giới hạn công suất lên tối đa 600W bằng phần mềm GPU Tweak III. Kết quả là hiệu năng tăng 8,7-9,3%, đạt mức tương đương RTX 4090.

- HKEPC kết luận rằng dù Nvidia không cho phép bán card OC, họ không hạn chế người dùng tự ép xung. RTX 4090D sau khi ép xung có thể đạt hiệu năng ngang RTX 4090 FE.

📌 Trang công nghệ HKEPC đã chứng minh việc ép xung có thể giúp RTX 4090D đạt hiệu năng ngang ngửa 4090 tiêu chuẩn, bất chấp các hạn chế từ lệnh trừng phạt của Mỹ đối với Trung Quốc. Điều này gây lo ngại rằng các biện pháp kiểm soát xuất khẩu chip tiên tiến có thể bị vô hiệu hóa bởi người dùng.

https://www.tomshardware.com/pc-components/gpus/nvidias-sanctions-compliant-4090d-gaming-gpu-for-china-is-overclockable-restoring-performance-to-standard-unsanctioned-rtx-4090-fe-levels

Hoa Kỳ và Mexico hợp tác trong chuỗi cung ứng chip AI

- Hoa Kỳ hợp tác với Mexico để tìm kiếm cơ hội mở rộng và đa dạng hóa sản xuất chip, nhằm tạo ra chuỗi cung ứng bán dẫn toàn cầu bền vững và an toàn hơn.
- Sự hợp tác này được tài trợ bởi quỹ ITSI (International Technology Security and Innovation), một phần của đạo luật CHIPS and Science Act được chính quyền Biden thông qua năm 2022.
- Trong giai đoạn đầu, Mexico sẽ đánh giá hệ sinh thái bán dẫn hiện có, khung pháp lý, lực lượng lao động và nhu cầu cơ sở hạ tầng. Các chính quyền bang, học giả, nhà nghiên cứu và doanh nghiệp Mexico sẽ hợp tác với Bộ Kinh tế Mexico trong quá trình đánh giá.
- Đánh giá này sẽ giúp hai quốc gia xác định các sáng kiến chung tiềm năng trong tương lai.
- Hoa Kỳ và Mexico là đối tác quan trọng trong việc đảm bảo chuỗi cung ứng bán dẫn toàn cầu đáp ứng quá trình chuyển đổi số đang diễn ra trên toàn thế giới.
- Sự hợp tác này nhấn mạnh tiềm năng đáng kể trong việc mở rộng ngành công nghiệp bán dẫn của Mexico, mang lại lợi ích cho cả hai quốc gia.
- Đây là sự hợp tác quốc tế đầu tiên trong khuôn khổ Đạo luật CHIPS, song Hoa Kỳ đã đầu tư hàng tỷ đô la vào sản xuất bán dẫn cho các công ty công nghệ Mỹ.
- Intel, nhà sản xuất chip, đã nhận được khoản đầu tư 8.5 tỷ USD và công bố kế hoạch đầu tư hơn 100 tỷ USD trong 5 năm tới để mở rộng sản xuất bán dẫn tại Mỹ với các cơ sở ở Arizona, New Mexico, Ohio và Oregon.
- Intel muốn xây dựng "cơ sở sản xuất chip AI lớn nhất thế giới" gần Columbus, Ohio. Hiện tại, Hoa Kỳ chỉ sản xuất dưới 10% chip trên toàn cầu.

📌 Hoa Kỳ và Mexico hợp tác chiến lược trong lĩnh vực sản xuất chip AI, với Mexico đánh giá hệ sinh thái bán dẫn hiện có để tìm kiếm cơ hội mở rộng. Sự hợp tác này, được tài trợ bởi quỹ ITSI trị giá 8,5 tỷ USD, hứa hẹn tạo ra chuỗi cung ứng chip bền vững và an toàn hơn, đồng thời thúc đẩy ngành công nghiệp bán dẫn của cả hai quốc gia. Trong khi đó, gã khổng lồ Intel cũng công bố kế hoạch đầu tư hơn 100 tỷ USD để mở rộng sản xuất chip tại Mỹ.

https://qz.com/us-mexico-partnering-semiconductor-supply-chain-1851373873

Amazon đổ 150 tỷ USD vào trung tâm dữ liệu để chuẩn bị cho cuộc cách mạng AI

• Amazon dự kiến chi gần 150 tỷ USD trong 15 năm tới để xây dựng trung tâm dữ liệu nhằm đáp ứng nhu cầu dịch vụ AI tạo sinh và điện toán đám mây.
• Khoản đầu tư khổng lồ này nhằm giữ vững vị trí dẫn đầu của AWS trong lĩnh vực điện toán đám mây so với Microsoft và Google.
• AWS đang mở rộng tại Virginia, Oregon và các khu vực mới như Mississippi, Saudi Arabia và Malaysia.
• Nhu cầu điện năng cho trung tâm dữ liệu đang gây áp lực lên các công ty điện lực tại Virginia và Oregon.
• Amazon đang tìm kiếm các nguồn năng lượng mới như điện hạt nhân, pin lưu trữ để giảm phát thải carbon.
• Các dự án năng lượng tái tạo của Amazon thường cách xa trung tâm dữ liệu do hạn chế của lưới điện.
• Người dân một số khu vực phản đối xây dựng trung tâm dữ liệu do tiếng ồn và tác động môi trường.

📌  Amazon dự kiến chi gần 150 tỷ USD trong 15 năm tới để xây dựng trung tâm dữ liệu nhằm đáp ứng nhu cầu dịch vụ AI tạo sinh và điện toán đám mây. 150 tỷ USD đầu tư khổng lồ, mở rộng tại nhiều bang, tìm kiếm năng lượng mới nhưng vẫn gặp phản đối về môi trường.

Citations:
[1] https://www.bloomberg.com/news/articles/2024-03-28/amazon-bets-150-billion-on-data-centers-required-for-ai-boom

Startup Anh quốc huy động 10 triệu bảng để tạo "siêu não" AI huấn luyện LLM nhanh gấp 100 lần

- Oriole Networks, một công ty khởi nghiệp từ UCL, đã huy động được 10 triệu bảng Anh trong vòng gọi vốn hạt giống để xây dựng "siêu não" AI.
- Công nghệ mới này hứa hẹn tăng tốc độ huấn luyện các mô hình ngôn ngữ lớn (LLM) lên 100 lần.
- Công ty đã phát triển một phương pháp mới sử dụng ánh sáng để kết nối hàng nghìn chip AI, tạo ra một mạng lưới chip hoạt động như một máy duy nhất.
- James Regan, CEO của Oriole Networks, cho biết điều này cho phép kết nối trực tiếp một số lượng lớn các nút, giúp chúng hoạt động như một máy duy nhất.
- Điểm mới của phương pháp này nằm ở việc triển khai các giao thức truyền dẫn và chuyển mạch tùy chỉnh dựa trên ánh sáng.
- Các giao thức này giúp giảm đáng kể mức tiêu thụ năng lượng cần thiết so với các triển khai mạng quy mô tương đương.
- Siêu não AI này có thể huấn luyện LLM nhanh hơn 100 lần và giảm độ trễ xuống 1/1000, đồng thời cải thiện mức tiêu thụ năng lượng lên 40 lần.
- Công nghệ này không chỉ giải quyết được mối lo ngại về nhu cầu và mức tiêu thụ năng lượng khổng lồ của AI, mà còn tăng tốc các tác vụ quan trọng về thời gian như giao dịch thuật toán.
- Oriole Networks tin rằng công nghệ của họ sẽ mang lại lợi ích đáng kể cho các công ty làm việc với AI và các trung tâm dữ liệu.
- Số tiền huy động sẽ được sử dụng để đưa công nghệ từ mức trình diễn trong phòng thí nghiệm đến các thử nghiệm với khách hàng trong một mạng dữ liệu quang triển khai.

📌 Oriole Networks đã huy động được 10 triệu bảng Anh để phát triển công nghệ "siêu não" AI, hứa hẹn tăng tốc huấn luyện LLM lên 100 lần, giảm tiêu thụ năng lượng 40 lần bằng cách kết nối hàng nghìn chip AI qua ánh sáng, mở ra tiềm năng ứng dụng trong giao dịch thuật toán và trung tâm dữ liệu.

https://thenextweb.com/news/ucl-spinout-bags-10m-ai-super-brains-100x-faster-llm-training

ClearML mang đến khả năng chia nhỏ GPU miễn phí, thúc đẩy dân chủ hóa quyền truy cập điện toán AI

- ClearML giới thiệu tính năng chia nhỏ GPU miễn phí cho người dùng nguồn mở, cho phép "chia nhỏ" một GPU duy nhất để chạy đồng thời nhiều tác vụ AI.
- Điều này gợi nhớ lại thời kỳ đầu của điện toán khi các máy tính lớn có thể được chia sẻ giữa các cá nhân và tổ chức mà không cần mua thêm phần cứng.
- Tính năng mới hỗ trợ các GPU Nvidia GTX, RTX và GPU cấp trung tâm dữ liệu hỗ trợ MIG, cho phép người dùng chuyển đổi giữa các công việc R&D nhỏ và các công việc huấn luyện lớn hơn, đòi hỏi nhiều tài nguyên hơn.
- Phương pháp này hỗ trợ đa người thuê, cung cấp khả năng tính toán an toàn và bảo mật với giới hạn bộ nhớ cứng.
- ClearML cho biết các bên liên quan có thể chạy các khối lượng công việc song song độc lập trên một tài nguyên tính toán dùng chung, tăng hiệu quả và giảm chi phí.
- Tính năng chia nhỏ GPU nguồn mở mới hiện có sẵn miễn phí trên trang GitHub của ClearML.

📌 ClearML đã giới thiệu tính năng chia nhỏ GPU miễn phí cho người dùng nguồn mở, hỗ trợ nhiều loại GPU Nvidia hơn bất kỳ công ty nào khác. Điều này thúc đẩy dân chủ hóa quyền truy cập vào tài nguyên tính toán, giúp các tổ chức tận dụng tối đa cơ sở hạ tầng hiện có, tăng hiệu quả và giảm chi phí khi triển khai các khối lượng công việc AI.

https://www.techradar.com/pro/is-the-ai-gpu-the-new-mainframe-new-open-source-tech-allows-users-to-timeshare-gpu-resources-for-ai-purposes-for-free-reminiscent-of-the-days-where-scarce-resources-fosted-computing-elitism

Sora của OpenAI tạt "gáo nước lạnh" vào giấc mơ AI của Trung Quốc

- Mô hình AI tạo video Sora của OpenAI đã gây chấn động cộng đồng AI Trung Quốc, tương tự như khi ChatGPT ra mắt. Sora có thể tạo video ấn tượng từ lời nhắc văn bản.
- Các công ty Trung Quốc như Zhipu AI hứa hẹn sẽ có sản phẩm tương tự Sora vào cuối năm nay. Nhiều người lạc quan về cơ hội của Trung Quốc nhờ các mô hình AI mã nguồn mở đang bắt kịp nhanh chóng.
- Các startup AI Trung Quốc như AIsphere gọi vốn thành công. ByteDance đang tuyển dụng nhiều nhân tài AI để bắt kịp đối thủ trong nước.
- Đài truyền hình quốc gia Trung Quốc (CMG) và Phòng thí nghiệm AI Thượng Hải (Sail) hợp tác sản xuất series hoạt hình thơ cổ điển Trung Quốc bằng AI. Công nghệ AI được sử dụng từ thiết kế nghệ thuật đến tạo video.
- Tuy nhiên, khoảng cách chất lượng AI giữa Mỹ và Trung Quốc vẫn rõ rệt. Các nhà phát triển Trung Quốc vẫn bị cắt khỏi chip cao cấp dùng để đào tạo mô hình AI.
- Các hạn chế của Mỹ với công nghệ Nvidia ngày càng mở rộng sang phần mềm. Huawei đang nỗ lực phát triển chip Ascend 910B để thay thế.
- Một số công ty fintech Trung Quốc tuyên bố sẽ được ưu tiên truy cập Sora trên nền tảng điện toán đám mây Azure của Microsoft. Tuy nhiên, Mỹ đe dọa ngăn các nền tảng AI phục vụ khách hàng Trung Quốc.
- Lợi ích thương mại của các sản phẩm như Sora là có thật. Sản xuất video tốn nhiều thời gian nên AI giúp đẩy nhanh quá trình này sẽ được hoan nghênh.

📌 Mô hình Sora của OpenAI đã châm ngòi cuộc đua AI tạo video, buộc các công ty công nghệ Trung Quốc phải nỗ lực bắt kịp. Mặc dù bị hạn chế tiếp cận chip cao cấp và đối mặt rào cản từ Mỹ, Trung Quốc vẫn có cơ hội nhờ xu hướng mã nguồn mở. Các ứng dụng thực tế của AI tạo video như tăng tốc sản xuất nội dung đang được các đài truyền hình, studio khai thác.

https://www.scmp.com/economy/global-economy/article/3256557/global-impact-cut-high-end-chips-how-much-us-tech-war-hurting-chinas-ai-ambitions-sora-highlights

Broadcom trình làng siêu chip AI XPU - có thể là chip lớn nhất thế giới cho công ty AI tiêu dùng

- Broadcom đã trình diễn một con chip có thể là bộ xử lý lớn nhất thế giới, nhưng chưa rõ ứng dụng cụ thể.
- Tại các sự kiện của TSMC, luôn có trưng bày các bộ xử lý multi-chiplet sử dụng công nghệ đóng gói chip-on-wafer-on-substrate (CoWoS), với các chiplet tính toán gần giới hạn kích thước 858mm^2 (26mm x 33mm). 
- Một trong những thiết bị đó đến từ Broadcom và đã được trưng bày tại các sự kiện gần đây dành cho nhà đầu tư của công ty.
- Broadcom không chỉ là một gã khổng lồ trong lĩnh vực mạng và viễn thông, mà còn có mảng kinh doanh thiết kế chip tùy chỉnh đáng kể, với Google là một trong những khách hàng nổi bật nhất.
- Broadcom không công bố khách hàng của mình, nhưng họ trình diễn những thành tựu to lớn với các nhà đầu tư, như chip XPU thứ ba được thiết kế cho một "công ty AI tiêu dùng lớn".
- Chip XPU sử dụng bộ nhớ băng thông cao (HBM), cho thấy mục tiêu sử dụng có thể là trí tuệ nhân tạo hoặc chuyển mạch mạng cường độ cao tích hợp AI.
- Chip có 2 khối tính toán ở trung tâm và nhiều khối HBM ở hai bên, là một SoC tùy chỉnh hoàn chỉnh với khả năng tính toán, kết nối tốc độ cao trong chip và hiệu suất mạng bên ngoài cao nhất.
- Việc phát triển một chiplet ở quy mô gần giới hạn kích thước đã là một thành tựu, và đạt năng suất ở mức phù hợp lại là một thành tựu khác của đối tác sản xuất chip (có thể là TSMC) của Broadcom.

📌 Broadcom đã trình diễn chip XPU khổng lồ, có thể là chip lớn nhất thế giới được thiết kế cho một công ty AI tiêu dùng lớn. Chip tùy chỉnh này sử dụng bộ nhớ HBM, nhắm đến ứng dụng AI hoặc chuyển mạch mạng hiệu năng cao. Đây là một thành tựu đáng kể về thiết kế và sản xuất chip của Broadcom cùng đối tác.

https://www.tomshardware.com/tech-industry/artificial-intelligence/broadcom-shows-gargantuan-ai-chip-xpu-could-the-worlds-largest-chip-built-for-a-consumer-ai-company

Các nhà khoa học Trung Quốc đã tạo ra chip AI tiết kiệm năng lượng nhất thế giới cho thiết bị di động

- Các nhà khoa học Trung Quốc đã giới thiệu 2 chip AI siêu tiết kiệm năng lượng với hiệu suất kỷ lục tại Hội nghị Quốc tế về Mạch tích hợp bán dẫn IEEE (ISSCC) 2024.
- Chip thứ nhất được thiết kế để nhúng vào thiết bị thông minh, cho phép điều khiển bằng giọng nói ngoại tuyến. Chip này vượt trội trong nhận dạng từ khóa và xác minh người nói ngay cả trong môi trường ồn ào.
- Chip đạt mức tiêu thụ năng lượng nhận dạng dưới 2 microjoule/lần, với tỷ lệ chính xác trên 95% trong môi trường yên tĩnh và 90% trong môi trường ồn ào, thiết lập các chuẩn mực toàn cầu mới về hiệu quả năng lượng và độ chính xác.
- Chip thứ hai được thiết kế để phát hiện tín hiệu động kinh ở người bị động kinh, sử dụng nhận dạng điện não đồ (EEG) để cảnh báo cơn động kinh đang diễn ra.
- Chip sử dụng thuật toán tái huấn luyện zero-shot cho phép mô hình AI dự đoán chính xác trên dữ liệu chưa từng thấy mà không cần thu thập tín hiệu động kinh của bệnh nhân, đạt tỷ lệ chính xác trên 98%.
- Mức tiêu thụ năng lượng nhận dạng trung bình của chip chỉ khoảng 0.07 microjoule, là thiết kế tiết kiệm năng lượng nhất trên thế giới.
- Cả hai chip đều có tiềm năng ứng dụng rộng rãi trong các lĩnh vực như nhà thông minh, thiết bị đeo, đồ chơi thông minh, giao diện não-máy tính và theo dõi giấc ngủ.

📌 Các nhà khoa học Trung Quốc đã tạo ra chip AI tiết kiệm năng lượng nhất thế giới cho thiết bị di động, có thể điều khiển bằng giọng nói ngoại tuyến và phát hiện cơn động kinh ở người bệnh động kinh.

https://www.scmp.com/news/china/science/article/3256211/chinese-scientists-create-worlds-most-energy-efficient-ai-chips-mobile-devices

Schneider Electric và NVIDIA hợp tác lập lộ trình trung tâm dữ liệu AI

- Schneider Electric đang hợp tác với NVIDIA để tối ưu hóa cơ sở hạ tầng trung tâm dữ liệu và tạo ra các thiết kế tham chiếu cho công nghệ AI và digital twin trong trung tâm dữ liệu.
- Các thiết kế này nhằm tái định nghĩa các chuẩn mực triển khai và vận hành AI trong hệ sinh thái trung tâm dữ liệu. 
- Trong giai đoạn đầu, Schneider Electric sẽ cung cấp các thiết kế được điều chỉnh cho các cụm xử lý dữ liệu của NVIDIA, tập trung vào việc cho phép phân phối điện công suất cao, hệ thống làm mát bằng chất lỏng và các bộ điều khiển đảm bảo việc đưa vào hoạt động đơn giản và vận hành đáng tin cậy của các cụm mật độ cao.
- Các chủ sở hữu, nhà khai thác, kỹ sư trung tâm dữ liệu và các đối tác khác có thể sử dụng các thiết kế tham chiếu này cho các phòng trung tâm dữ liệu hiện có cần hỗ trợ triển khai mới các máy chủ AI mật độ cao và xây dựng trung tâm dữ liệu mới được tối ưu hóa cho các cụm AI làm mát bằng chất lỏng.
- Khung tổng thể dự kiến sẽ đẩy nhanh việc triển khai nền tảng điện toán tăng tốc của NVIDIA trong các trung tâm dữ liệu, đồng thời tối ưu hóa hiệu suất, khả năng mở rộng và tính bền vững tổng thể.
- Việc áp dụng nhanh chóng AI tạo sinh, điện toán biên và công nghệ digital twin dự kiến sẽ tiếp tục thúc đẩy mật độ giá đỡ cao hơn trong các trung tâm dữ liệu. Mật độ cao hơn tạo ra nhiệt đáng kể và khiến việc làm mát trung tâm dữ liệu trở nên khó khăn hơn.
- Để quản lý mật độ cao hơn trong các trung tâm mới và hiện có, các nhà khai thác sẽ cần sử dụng phần mềm quản lý và giám sát thông minh để tăng hiệu quả và cắt giảm chi phí vận hành.
- Aveva, công ty con của Schneider Electric, sẽ kết nối nền tảng digital twin của mình với nền tảng mô phỏng Omniverse của NVIDIA để cung cấp một môi trường ảo thống nhất cho phép cộng tác giữa các nhà thiết kế, kỹ sư và các bên liên quan, đẩy nhanh việc triển khai các hệ thống phức tạp.
- Schneider Electric công bố sẽ đầu tư 140 triệu USD để nâng cấp các cơ sở sản xuất của mình tại Mỹ trong năm nay nhằm đáp ứng nhu cầu ngày càng tăng đối với các trung tâm dữ liệu.

📌 Sự hợp tác giữa Schneider Electric và NVIDIA nhằm tối ưu hóa cơ sở hạ tầng trung tâm dữ liệu cho AI, với các thiết kế tham chiếu cho phép triển khai nhanh các cụm máy chủ mật độ cao sử dụng hệ thống làm mát chất lỏng. Khung tổng thể sẽ đẩy nhanh việc áp dụng nền tảng điện toán tăng tốc của NVIDIA, tối ưu hóa hiệu suất và tính bền vững. Schneider Electric cũng đầu tư 140 triệu USD vào các cơ sở sản xuất tại Mỹ để đáp ứng nhu cầu tăng trưởng của thị trường trung tâm dữ liệu.

https://www.facilitiesdive.com/news/schneider-electric-nvidia-data-center-design-ai-liquid-cooling-density/711002/

Đan Mạch sẽ có siêu máy tính AI mạnh mẽ và trung tâm nghiên cứu đẳng cấp thế giới

- Quỹ từ thiện giàu nhất thế giới Novo Nordisk Foundation của Đan Mạch hợp tác với NVIDIA và Quỹ Đầu tư Đan Mạch để thành lập trung tâm nghiên cứu AI quốc gia.
- Trung tâm sẽ sở hữu một trong những siêu máy tính AI mạnh nhất thế giới mang tên Gefion, do Eviden (Pháp) xây dựng.
- Siêu máy tính sẽ được sử dụng cho các khám phá khoa học đột phá trong lĩnh vực dược phẩm, chẩn đoán và điều trị bệnh.
- NVIDIA, công ty đa quốc gia có trụ sở tại California, là nhà cung cấp phần cứng AI thống trị và là một trong những công ty lớn nhất trên thị trường chứng khoán Mỹ với giá trị khoảng 2.234 nghìn tỷ USD.
- Đan Mạch được coi là trung tâm nghiên cứu AI đang phát triển mạnh mẽ. Việc thiếu siêu máy tính đủ khả năng là rào cản chính cho sự tiến bộ.
- Đây là một trong nhiều hợp tác gần đây của NVIDIA, bao gồm các thỏa thuận với Scaleaway, Microsoft và Amazon về điện toán đám mây và kỹ thuật siêu máy tính cho AI tạo sinh.
- Trung tâm AI mới của Đan Mạch sẽ sẵn sàng cho các dự án thí điểm trước cuối năm nay, với ngân sách ban đầu 700 triệu DKK (93,8 triệu EUR).

📌 Sự hợp tác giữa Quỹ Novo Nordisk, NVIDIA và chính phủ Đan Mạch nhằm xây dựng siêu máy tính AI Gefion cùng trung tâm nghiên cứu trị giá 93,8 triệu EUR hứa hẹn đưa Đan Mạch trở thành trung tâm nghiên cứu AI hàng đầu, mở ra cơ hội cho những khám phá khoa học đột phá trong y dược.

https://www.euronews.com/next/2024/03/20/denmark-to-get-powerful-ai-supercomputer-and-research-centre

Mỹ cân nhắc trừng phạt mạng lưới chip bí mật của Huawei tại Trung Quốc

- Chính quyền Biden đang xem xét đưa một số công ty bán dẫn Trung Quốc có liên quan đến Huawei vào danh sách đen sau khi công ty này đạt được bước đột phá công nghệ đáng kể vào năm ngoái.
- Các công ty Trung Quốc có thể bị ảnh hưởng bao gồm Qingdao Si'En, SwaySure, Shenzhen Pensun Technology Co. (PST), ChangXin Memory Technologies Inc. (CXMT), Shenzhen Pengjin High-Tech Co. và SiCarrier.
- Mỹ lo ngại rằng Shenzhen Pengjin và SiCarrier đang hành động như những công ty ủy nhiệm để giúp Huawei có được thiết bị bị hạn chế.
- Chính phủ Mỹ đang gây áp lực lên các đồng minh như Hà Lan, Đức, Hàn Quốc và Nhật Bản để siết chặt hơn nữa các hạn chế đối với khả năng tiếp cận công nghệ bán dẫn của Trung Quốc.
- Huawei đã ra mắt một thiết bị Mate 60 được cung cấp sức mạnh bởi chip 7nm được sản xuất tại Trung Quốc vào tháng 8/2023, cho thấy công ty vẫn có thể tiến bộ bất chấp các lệnh trừng phạt hiện có.
- Chip xử lý được sản xuất bởi SMIC, mặc dù vẫn phụ thuộc rất nhiều vào công nghệ nước ngoài, bao gồm cả công cụ từ ASML (Hà Lan), Applied Materials và Lam Research (Mỹ).

📌 Mỹ đang xem xét trừng phạt nhiều công ty bán dẫn Trung Quốc liên quan đến Huawei sau khi gã khổng lồ viễn thông này đạt được bước đột phá công nghệ đáng kể với chip 7nm vào năm 2023. Động thái này nhằm kiềm chế tham vọng AI và bán dẫn của Bắc Kinh, đồng thời gây áp lực lên Huawei và SMIC - hai công ty đang nỗ lực giảm sự phụ thuộc vào công nghệ phương Tây bất chấp các lệnh trừng phạt hiện có.

https://www.bloomberg.com/news/articles/2024-03-20/us-weighs-sanctioning-huawei-s-secretive-chinese-chip-network

Giám đốc điều hành Nvidia nhấn mạnh sự thiếu hụt cơ sở hạ tầng điện toán của Ấn Độ, nhìn thấy tiềm năng AI

 

Meta descriptions (in Vietnamese): Vishal Dhupar, giám đốc điều hành của Nvidia, nhấn mạnh sự thiếu hụt cơ sở hạ tầng điện toán của Ấn Độ, chỉ chiếm dưới 2% trong tổng số 1 nghìn tỷ đô la toàn cầu. Tuy nhiên, ông nhìn thấy tiềm năng to lớn của Ấn Độ trong lĩnh vực AI nếu nâng cao năng lực tính toán.

Meta keywords (in Vietnamese): Vishal Dhupar, Nvidia, cơ sở hạ tầng điện toán, Ấn Độ, tiềm năng AI, năng lực tính toán, nghiên cứu AI, đầu tư nghiên cứu, nền kinh tế Ấn Độ, mô hình AI, ngôn ngữ Ấn Độ, văn hóa Ấn Độ, Yotta Data Services, GPU

SEO title (in Vietnamese): Giám đốc điều hành Nvidia nhấn mạnh sự thiếu hụt cơ sở hạ tầng điện toán của Ấn Độ, nhìn thấy tiềm năng AI

Tóm tắt chi tiết 400 từ:
- Vishal Dhupar, giám đốc điều hành của Nvidia, chỉ ra rằng Ấn Độ chỉ chiếm dưới 2% trong tổng số 1 nghìn tỷ đô la cơ sở hạ tầng điện toán toàn cầu, tụt hậu xa so với Mỹ và Trung Quốc (chiếm gần 60%).
- Dhupar nhìn thấy cơ hội vàng cho Ấn Độ trở thành cường quốc AI của thế giới, với điều kiện tăng cường năng lực tính toán.
- Ấn Độ chỉ đóng góp khoảng 2% vào nghiên cứu AI toàn cầu do thiếu tài nguyên tính toán, trong khi người Ấn ở nước ngoài đóng góp 12% nhờ cơ sở hạ tầng tốt hơn.
- Mỹ và Trung Quốc đầu tư khoảng 4% GDP cho nghiên cứu, trong khi Ấn Độ chỉ 1%. Cần nâng cấp cơ sở hạ tầng để thúc đẩy đổi mới và có thể bổ sung 1 nghìn tỷ đô la vào nền kinh tế Ấn Độ.
- Chính phủ Ấn Độ đã đưa ra Sứ mệnh AI Ấn Độ nhằm giới thiệu 10.000 GPU, là bước tiến quan trọng.
- Dhupar hình dung Ấn Độ chuyển từ "văn phòng hậu cần của thế giới" sang dẫn đầu đổi mới AI, đặc biệt trong việc mã hóa ngôn ngữ và văn hóa Ấn Độ vào các mô hình AI.
- Nvidia hợp tác với Yotta Data Services mang 16.000 GPU đến Ấn Độ để tăng cường cơ sở hạ tầng và hỗ trợ hơn 1.600 startup Ấn Độ trong chương trình Nvidia Inception, bao gồm 400 startup AI và 60 startup AI tạo sinh.

📌 Mặc dù chỉ chiếm dưới 2% cơ sở hạ tầng điện toán toàn cầu trị giá 1 nghìn tỷ đô la, Ấn Độ có tiềm năng trở thành cường quốc AI nếu tăng cường năng lực tính toán. Với sự hỗ trợ của chính phủ và các công ty như Nvidia mang GPU đến Ấn Độ, quốc gia này có thể chuyển từ "văn phòng hậu cần" sang dẫn đầu đổi mới AI, mã hóa ngôn ngữ và văn hóa Ấn Độ vào các mô hình, đồng thời thúc đẩy phát triển startup trong nước.

https://in.benzinga.com/content/37811798/nvidia-exec-highlights-indias-scarcity-in-compute-infrastructure-sees-ai-potential

 

CEO Jensen Huang công bố GPU "khủng khiếp" Blackwell, đánh dấu sự chuyển sang kỷ nguyên của AI tạo sinh (generative AI), vượt qua định luật Moore

• Tại sự kiện NVIDIA GTC 2024, CEO Jensen Huang công bố GPU "khủng khiếp" mới có tên Blackwell, đánh dấu sự chuyển sang kỷ nguyên mới của AI tạo sinh (generative AI), vượt qua luật Moore truyền thống.

Trong 8 năm qua, NVIDIA đã tăng khả năng tính toán gấp 1.000 lần, vượt xa so với thời kỳ đỉnh cao của luật Moore, nhưng vẫn chưa đủ để đáp ứng nhu cầu ngày càng tăng của ngành công nghiệp.

Huang cho rằng tương lai thuộc về AI tạo sinh, vì vậy họ đã tạo ra bộ xử lý đặc biệt cho kỷ nguyên này, với khả năng tạo sinh nội dung token (content token generation) ở định dạng FP4 mới.

• Blackwell cung cấp 20 petaflops sức mạnh, hỗ trợ mô hình AI quy mô nghìn tỷ tham số, với hiệu suất cao gấp 30 lần so với thế hệ trước cho việc suy luận mô hình ngôn ngữ lớn (LLM inference).

• Kiến trúc mới có Tensor Engine thế hệ 2 để nhân đôi kích thước mô hình AI, kết nối NVLink thế hệ 5 cho phép tối đa 576 GPU làm việc đồng bộ, và công nghệ đảm bảo tin cậy cho quá trình huấn luyện kéo dài nhiều tuần.

• Các hãng công nghệ lớn như Amazon, Google, Microsoft và Tesla đã cam kết sử dụng Blackwell.

• So với kiến trúc Hopper trước đây, Blackwell chỉ cần 2.000 GPU và ít năng lượng hơn (4 megawatt) để huấn luyện mô hình GPT-4 1,8 nghìn tỷ tham số trong cùng khoảng thời gian 90 ngày.

• NVIDIA cũng giới thiệu siêu máy tính AI DGX SuperPOD mới với tối đa 576 GPU Blackwell và 11,5 exaflops sức mạnh tính toán AI.

• Trong khi Intel và AMD đang đuổi theo, Blackwell của NVIDIA nâng tầm mới cho AI tạo sinh quy mô lớn thông qua các đổi mới kiến trúc được thiết kế riêng.

📌 Với Blackwell, NVIDIA tái định nghĩa định luật Moore, mở ra kỷ nguyên mới của AI tạo sinh quy mô nghìn tỷ tham số, cung cấp sức mạnh tính toán khổng lồ 20 petaflops/GPU và hiệu suất cao gấp 30 lần cho suy luận LLM.

https://analyticsindiamag.com/nvidia-rewrites-moores-law-with-blackwell/

Nvidia trình làng siêu máy tính DGX SuperPOD mới xử lý mô hình AI nghìn tỷ tham số

- Nvidia giới thiệu hệ thống DGX SuperPOD mới, một phần của việc ra mắt phần cứng và phần mềm rộng rãi tại hội nghị Nvidia GTC.
- DGX SuperPOD được trang bị GPU thế hệ tiếp theo của Nvidia cho tăng tốc AI, được gọi là Blackwell, hỗ trợ các mô hình AI có hàng nghìn tỷ tham số.
- DGX SuperPOD tích hợp siêu chip GB200 phiên bản của Blackwell, bao gồm cả tài nguyên CPU và GPU.
- Mỗi hệ thống DGX GB200 có 36 siêu chip Nvidia GB200, bao gồm 36 CPU Nvidia Grace và 72 GPU Nvidia Blackwell, kết nối thành một siêu máy tính duy nhất thông qua Nvidia NVLink thế hệ thứ 5.
- DGX SuperPOD có thể được cấu hình với 8 hoặc nhiều hơn hệ thống DGX GB200 và có thể mở rộng lên hàng chục nghìn siêu chip GB200 được kết nối thông qua Nvidia Quantum InfiniBand.
- Hệ thống có thể cung cấp 240 terabyte bộ nhớ, rất quan trọng cho việc đào tạo mô hình ngôn ngữ lớn (LLM) và suy luận AI tạo sinh ở quy mô lớn.
- DGX SuperPOD có sức mạnh tính toán AI 11,5 exaflops.
- Công nghệ mạng Nvidia Quantum-X800 InfiniBand cung cấp băng thông lên tới 1.800 gigabyte/giây cho mỗi GPU trong nền tảng.
- DGX cũng tích hợp DPU Nvidia BlueField-3 và kết nối Nvidia NVLink thế hệ thứ 5.
- SuperPOD mới bao gồm công nghệ Nvidia Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) thế hệ thứ 4, cung cấp 14,4 teraflops tính toán trong mạng.
- Các hệ thống DGX mới dựa trên GB200 cũng sẽ có trên dịch vụ đám mây Nvidia DGX, đầu tiên trên Amazon Web Services (AWS), Google Cloud và Oracle Cloud.
- Project Ceiba, siêu máy tính mà Nvidia đang phát triển với AWS, đã được nâng cấp lên Grace Blackwell hỗ trợ 20.000 GPU, cung cấp hơn 400 exaflops AI.

📌 Nvidia đã ra mắt hệ thống DGX SuperPOD mới mạnh nhất từ trước đến nay, tích hợp GPU Blackwell thế hệ tiếp theo, hỗ trợ các mô hình AI với hàng nghìn tỷ tham số. Hệ thống cung cấp 240 TB bộ nhớ, sức mạnh tính toán AI 11,5 exaflops và mạng Quantum-X800 InfiniBand băng thông cao. DGX SuperPOD cũng sẽ có mặt trên dịch vụ đám mây DGX và Project Ceiba siêu máy tính với 20.000 GPU, cung cấp hơn 400 exaflops AI.

https://venturebeat.com/ai/nvidias-new-dgx-superpod-can-handle-trillion-parameter-ai-models/

Rebellions - đối thủ Hàn Quốc của Nvidia trong cuộc đua chip AI sẽ bắt đầu sản xuất hàng loạt NPU với sự hậu thuẫn của Samsung

- Rebellions, một công ty chip AI fabless được đồng sáng lập bởi 5 kỹ sư Hàn Quốc vào năm 2020, được coi là hy vọng lớn nhất của nước này để cạnh tranh với Nvidia trong lĩnh vực suy luận AI.
- Chip Atom NPU mới nhất của Rebellions nhắm đến các mô hình AI được huấn luyện với tối đa 7 tỷ tham số và sẽ được Samsung Electronics sản xuất hàng loạt với công nghệ 5nm trong nửa đầu năm nay.
- Atom tiết kiệm năng lượng hơn tới 5 lần so với GPU A100 của Nvidia, nhưng độ trễ chỉ bằng một nửa so với A2 của Nvidia trong bài kiểm tra chuẩn suy luận mô hình ngôn ngữ.
- Rebellions đã huy động được 124 triệu USD trong vòng gọi vốn do KT dẫn đầu vào tháng 1, nâng định giá của công ty lên 650 triệu USD.
- KT, nhà khai thác viễn thông lớn thứ hai và công ty trung tâm dữ liệu lớn nhất Hàn Quốc, sẽ trở thành khách hàng đầu tiên của Rebellions sau khi sản xuất hàng loạt Atom bắt đầu.
- Rebellions và Samsung đã công bố kế hoạch đồng phát triển Rebel, NPU thế hệ tiếp theo của công ty khởi nghiệp sau Atom, nhắm vào các mô hình ngôn ngữ lớn (LLM) và cạnh tranh với GPU H200 cao cấp của Nvidia trong các tác vụ suy luận.

📌 Rebellions đang nổi lên như một đối thủ đáng gờm của Nvidia tại Hàn Quốc trong lĩnh vực chip AI, với sự hậu thuẫn của các gã khổng lồ công nghệ như Samsung, KT và Kakao. Công ty đặt mục tiêu đạt 30% thị phần chip suy luận dùng cho LLM tại Hàn Quốc trong 2,5 năm tới và 3-5% thị phần toàn cầu, cạnh tranh trực tiếp với Nvidia vốn đang thống trị tới 90% thị trường chip AI toàn cầu.

https://www.scmp.com/tech/tech-trends/article/3255845/south-koreas-nvidia-wannabe-ai-chip-start-rebellions-begin-mass-production-npus-backed-samsung

Nvidia ra mắt nền tảng Blackwell kết hợp sức mạnh của 2 chip, tốc độ 10 Tbps, nhanh hơn 2 đến 30 lần so với thế hệ GPU trước

- Sự kiện GTC của Nvidia được tổ chức tại SAP Center ở San Jose với sự tham dự đông đảo của khán giả.
- Jensen Huang, CEO 61 tuổi của Nvidia, giới thiệu về "tính toán tăng tốc" - sứ mệnh của công ty nhằm đẩy giới hạn của tính toán thông thường.
- Nvidia ra mắt nền tảng Blackwell mới, kết hợp sức mạnh của hai chip, cung cấp tốc độ 10 Tbps, nhanh hơn 2 đến 30 lần so với thế hệ GPU tối ưu hóa AI trước đó là Hopper.
- Với hệ thống mới, chỉ cần 2.000 GPU và sử dụng 25% năng lượng so với 8.000 GPU, 15 megawatt và 90 ngày để tạo ra mô hình GPT-MoE-1.8T.
- Nvidia giới thiệu các công cụ mới cho các nhà sản xuất ô tô đang phát triển xe tự lái và tăng cường sự hiện diện trong lĩnh vực robot với các công cụ giúp robot thông minh hơn.
- Nvidia NIM, một nền tảng phần mềm nhằm đơn giản hóa việc triển khai các mô hình AI, hỗ trợ các mô hình từ Nvidia, Google, Hugging Face và tích hợp với Amazon SageMaker, Microsoft Azure AI.
- Jensen Huang nhấn mạnh: "Bất cứ thứ gì bạn có thể số hóa, miễn là có một số cấu trúc để áp dụng các mẫu, có nghĩa là chúng ta có thể học các mẫu đó. Và nếu chúng ta có thể học các mẫu, chúng ta có thể hiểu ý nghĩa. Khi chúng ta hiểu ý nghĩa, chúng ta cũng có thể tạo ra nó."

📌 Nvidia ra mắt nền tảng Blackwell mới, kết hợp sức mạnh của hai chip, cung cấp tốc độ 10 Tbps, nhanh hơn 2 đến 30 lần so với thế hệ GPU tối ưu hóa AI trước đó là Hopper. Với hệ thống mới, chỉ cần 2.000 GPU và sử dụng 25% năng lượng so với 8.000 GPU, 15 megawatt và 90 ngày để tạo ra mô hình GPT-MoE-1.8T.

https://techcrunch.com/2024/03/18/nvidia-keynote-gtc-2024/

HPE và Supermicro tung siêu máy tính AI tạo sinh mạnh nhất từ trước đến nay với GPU Blackwell của Nvidia

- HPE giới thiệu nền tảng siêu máy tính AI tạo sinh tại chỗ, giúp các công ty tạo, tinh chỉnh và chạy các mô hình ngôn ngữ lớn mạnh mẽ trong trung tâm dữ liệu của riêng họ.
- Hệ thống được trang bị GPU GH200 Grace Hopper Superchips của Nvidia, tích hợp công nghệ mạng Ethernet Spectrum-X, đơn vị xử lý dữ liệu BlueField-3 và phần mềm máy học và phân tích của HPE.
- Nền tảng hỗ trợ các mô hình ngôn ngữ lớn (LLM) độc quyền và nguồn mở, lý tưởng cho tinh chỉnh nhẹ, tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) và suy luận quy mô lớn.
- HPE cũng phát triển phần mềm Machine Learning Inference, tích hợp với microservices NIM mới của Nvidia để triển khai nhanh và an toàn các mô hình AI.
- Supermicro công bố các máy chủ đầu tiên sử dụng GPU Blackwell mới của Nvidia, bao gồm GB200 Grace Blackwell Superchip, B200 và B100 Tensor Core GPUs.
- Các hệ thống HGX B200 8-GPU và HGX B100 8-GPU mới của Supermicro sẽ mang lại hiệu suất cao gấp 3 lần so với các hệ thống sử dụng kiến trúc Hopper cũ hơn của Nvidia.
- Supermicro cũng giới thiệu máy chủ MGX mới sử dụng GB200 Grace Blackwell Superchip, mang lại hiệu suất suy luận AI cao gấp 30 lần so với thế hệ Superchip trước.
- Máy chủ quy mô giá đỡ mới nhất của Supermicro dựa trên Nvidia GB200 NVL72 sẽ kết nối 36 CPU Nvidia Grace với 72 GPU Blackwell trong một giá đỡ duy nhất, sử dụng công nghệ NVLink mới nhất.

📌 HPE và Supermicro đã ra mắt các nền tảng siêu máy tính AI tạo sinh mạnh mẽ nhất từ trước đến nay, sử dụng GPU Blackwell tiên tiến của Nvidia. Các hệ thống mới hỗ trợ tinh chỉnh mô hình nhẹ, RAG và suy luận quy mô lớn, mang lại hiệu suất cao gấp 3 đến 30 lần so với các thế hệ trước, đáp ứng nhu cầu ngày càng tăng về khả năng xử lý AI tạo sinh tại chỗ.

https://siliconangle.com/2024/03/18/hpe-debuts-nvidia-gpu-powered-premises-supercomputer-generative-ai/

nvidia sắp ra mắt siêu chip ai thế hệ mới tại "woodstock của ai"

- Nvidia dự kiến sẽ ra mắt thế hệ chip tiếp theo, B100, tại hội nghị GPU Technology Conference (GTC) thường niên ở San Jose, California.
- CEO Jensen Huang sẽ đồng tổ chức sự kiện cùng các nhân vật quyền lực trong ngành AI như Brad Lightcap (COO OpenAI) và Arthur Mensch (CEO Mistral AI).
- Chip B100 được đồn đoán là chip đa die đầu tiên của Nvidia, với thiết kế lớn được chia thành các phần nhỏ hơn, hứa hẹn mạnh mẽ hơn người tiền nhiệm H100.
- Microsoft và Meta là khách hàng lớn nhất của chip H100, chi 9 tỷ đô la cho các chip này trong năm 2023. Alphabet, Amazon và Oracle cũng là những khách hàng chi tiêu hàng đầu.
- Sự cuồng nhiệt với chip H100 của Nvidia khiến một số công ty lo ngại về tình trạng thiếu hụt, và các đối thủ cạnh tranh đã bắt đầu tự xây dựng các phiên bản chip của riêng mình.
- Nvidia đang trên đà tăng trưởng mạnh mẽ, trở thành công ty bán dẫn đầu tiên đạt mức vốn hóa 2 nghìn tỷ đô la vào tháng 2.
- Công ty đã vượt qua Amazon và Alphabet để trở thành công ty có giá trị vốn hóa thị trường lớn thứ ba tại Mỹ, và vượt qua Aramco của Ả Rập Xê Út để trở thành công ty có giá trị lớn thứ ba thế giới vào tháng 3.
- Tuy nhiên, Wall Street vẫn chưa thể quyết định về thành công của Nvidia, một số cho rằng sự thành công này chỉ là bong bóng và sẽ sớm vỡ.

📌 Nvidia dự kiến ra mắt chip B100 thế hệ mới tại hội nghị GPU Technology Conference (GTC) thường niên, hứa hẹn mạnh mẽ hơn với thiết kế đa die. 

https://qz.com/nvidia-new-chip-reveal-h100-b100-1851343814

Bất chấp lệnh cấm vận của Mỹ, Trung Quốc vẫn tiếp cận được GPU Nvidia H100 cho AI

- Theo báo cáo của Telegraph, các nhà nghiên cứu tại Trung Quốc đã có thể vượt qua lệnh cấm vận của Mỹ về xuất khẩu GPU sang Trung Quốc, minh chứng là sự tồn tại của một số bài báo nghiên cứu gần đây sử dụng GPU Nvidia H100.
- Điều này bất chấp thực tế rằng H100 đã bị cấm xuất khẩu sang Trung Quốc từ năm 2022, cho thấy kiểm soát xuất khẩu chưa thực sự chặt chẽ.
- Tuy nhiên, số lượng H100 được đề cập trong các bài báo nghiên cứu này cho thấy Trung Quốc hiện không nhận được nhiều GPU này.
- Lệnh cấm vận GPU đầu tiên của Mỹ đối với Trung Quốc diễn ra vào tháng 8/2022, tác động đến H100 và A100 cao cấp, ngăn chúng được bán tại Trung Quốc.
- Telegraph đã phát hiện 4 bài báo nghiên cứu gần đây được viết tại Trung Quốc dựa trên việc thử nghiệm một hoặc nhiều GPU H100.
- Trong số các công ty hỗ trợ các nhà nghiên cứu này có 4paradigm, một công ty AI nhưng bị Mỹ đưa vào danh sách cấm vận vì nghi ngờ chuyển giao công nghệ Mỹ cho quân đội Trung Quốc.
- Các bài báo khác được tài trợ bởi ngân sách khoa học của chính phủ Trung Quốc.
- Nvidia rõ ràng không bán trực tiếp các GPU này cho Trung Quốc vì sẽ vi phạm pháp luật. Trung Quốc có thể mua chúng qua thị trường cũ từ các nước khác.
- Kiểm soát xuất khẩu H100 đang ngày càng nghiêm ngặt hơn, mở rộng sang Trung Đông, để ngăn Trung Quốc tiếp cận thêm.
- Buôn lậu chip cũng có thể đóng vai trò đưa GPU Nvidia vào Trung Quốc, khi các hoạt động buôn lậu ngày càng lớn và phức tạp hơn.
- Mỹ từng nghi ngờ một công ty Trung Quốc cố gắng buôn lậu GPU A100 đến Úc rồi chuyển sang Trung Quốc.
- Điểm sáng là các bài báo nghiên cứu thường chỉ liên quan đến 8 GPU H100 trở xuống, cho thấy số lượng có sẵn tại Trung Quốc không nhiều.

📌 Mặc dù bị Mỹ cấm vận, Trung Quốc vẫn có thể tiếp cận GPU Nvidia H100 cao cấp thông qua các kênh như mua cũ từ nước khác hay buôn lậu. Tuy nhiên, số lượng hạn chế trong các nghiên cứu gần đây cho thấy Trung Quốc chưa có đủ H100 để xây dựng trung tâm dữ liệu AI quy mô lớn và có thể phải dựa vào các GPU nội địa như Ascend của Huawei.

https://www.tomshardware.com/pc-components/gpus/despite-us-sanctions-researchers-in-china-can-still-access-high-end-nvidia-gpus-for-ai

Startup chip AI Groq thu hút sự chú ý với tốc độ vượt trội và kế hoạch huy động vốn mới

- Groq, một startup chip AI được hậu thuẫn bởi Tiger Global và Addition của Lee Fixel, đang chuẩn bị huy động vòng tài trợ mới vào quý tới sau khi nhận được một khoản tiền mặt nhỏ gần đây.

- Công ty tuyên bố chip AI của họ, được gọi là "đơn vị xử lý ngôn ngữ" (LPU), có thể nhanh hơn 10 lần và rẻ hơn 1/10 so với phần cứng AI thông thường. 

- Hiện tại, Groq đã triển khai khoảng 4.500 chip và dự kiến sẽ đạt 1,5 triệu chip vào cuối năm tới.

- Công ty đã huy động được 367 triệu USD, gần đây nhất là vòng 300 triệu USD vào năm 2021 với định giá 1,1 tỷ USD.

- Chiến lược của Groq gồm bán quyền truy cập cho các nhà phát triển muốn chạy phần mềm AI trên cơ sở hạ tầng đám mây của họ và bán phần cứng cho khách hàng vận hành trung tâm dữ liệu riêng.

- Groq gần đây đã mua lại Definitive Intelligence để mở rộng các dịch vụ cho khách hàng và nhà phát triển.

- Với sự bùng nổ của công nghệ AI tạo sinh, nhu cầu về chip máy tính chuyên dụng tăng vọt nhưng nguồn cung chưa theo kịp. Groq đang đặt cược rằng họ có thể chiếm lĩnh một phần thị trường.

- Groq cũng tự quảng cáo là giải pháp thân thiện với môi trường hơn so với cơ sở hạ tầng thông thường.

- Công ty đã ký thỏa thuận với một đối tác chưa được tiết lộ để triển khai hơn 10% trong số 1,5 triệu LPU mà họ đặt mục tiêu đến cuối năm 2025.

📌 Groq đang thu hút sự chú ý với chip AI siêu nhanh và giá thành thấp. Công ty đã huy động 367 triệu USD, triển khai 4.500 chip và đặt mục tiêu 1,5 triệu chip vào cuối 2025. Groq đang đặt cược vào nhu cầu tính toán suy luận tăng vọt và tự định vị là giải pháp thân thiện môi trường. Thỏa thuận với đối tác bí mật hứa hẹn triển khai quy mô lớn.

https://www.axios.com/2024/03/16/artificial-intelligence-groq-social-capital

Chi tiêu cho điện toán biên sẽ tăng vọt khi AI phát triển mạnh

- IDC dự báo chi tiêu cho điện toán biên có thể đạt 350 tỷ USD vào năm 2027, vượt qua ước tính trước đó, do sự tích hợp các ứng dụng AI vào cơ sở hạ tầng biên.
- Để đáp ứng yêu cầu về khả năng mở rộng và hiệu suất, các tổ chức cần áp dụng cách tiếp cận phân tán mà điện toán biên cung cấp.
- Dự báo tăng trưởng dựa trên 500 trường hợp sử dụng của doanh nghiệp trên 19 ngành và 6 lĩnh vực.
- Năm nay, multi-access edge computing (MEC), mạng phân phối nội dung và các chức năng mạng ảo dự kiến chiếm khoảng 22% tổng chi tiêu cho điện toán biên. 
- Trong 24 tháng qua, đầu tư của doanh nghiệp đã chuyển dịch sang mở rộng cơ sở hạ tầng và triển khai trên các lĩnh vực mới.
- IDC dự đoán tốc độ tăng trưởng kép hàng năm (CAGR) trong 5 năm ở mức 2 con số thấp đến trung bình cho 19 ngành được khảo sát và 19,1% cho phân khúc nhà cung cấp dịch vụ.
- Các trường hợp sử dụng điện toán biên mới nổi như thực tế tăng cường, trí tuệ nhân tạo và hoạt động tự động sẽ là trọng tâm trong tương lai.
- Đầu tư tập trung chủ yếu ở Bắc Mỹ, Tây Âu và Trung Quốc, trong đó riêng Bắc Mỹ dự kiến chiếm khoảng 40% tổng chi tiêu. Tăng trưởng cũng được kỳ vọng ở châu Phi và Trung Đông.

📌 Dự báo của IDC cho thấy chi tiêu cho điện toán biên sẽ tăng mạnh lên 350 tỷ USD vào năm 2027, tăng trưởng 2 con số ở 19 ngành, do nhu cầu tích hợp AI. Bắc Mỹ chiếm 40% tổng đầu tư. Các ứng dụng mới như AR, AI, tự động hóa sẽ là trọng tâm phát triển.

 

https://www.techradar.com/pro/edge-computing-spending-set-to-skyrocket-as-ai-takes-hold

OpenAI nhận được sự hậu thuẫn từ UAE cho liên doanh chip AI, bước đầu tiên để hiện thực hóa giấc mơ 7 nghìn tỷ đô la của Sam Altman

- MGX, công ty đầu tư tập trung vào AI mới ra mắt tại Abu Dhabi đang đàm phán để đầu tư vào liên doanh chip của OpenAI.
- Động thái này diễn ra một tháng sau khi giám đốc OpenAI Sam Altman chia sẻ tham vọng gây quỹ 7 nghìn tỷ đô la cho liên doanh chip AI nhằm giảm sự phụ thuộc vào các ông lớn bán dẫn hiện nay.
- MGX được tài trợ bởi nhà nước UAE và do cố vấn an ninh quốc gia Sheikh Tahnoon bin Zayed-al-Nahyan lãnh đạo. 
- Việc tài trợ sẽ thúc đẩy sự hiện diện của UAE trên thị trường AI thế giới khi họ muốn cạnh tranh với các công ty công nghệ lớn phương Tây.
- Năm ngoái, OpenAI hợp tác với G42, công ty holding AI của UAE do Sheikh Tahnoon làm chủ tịch, để G42 tận dụng các mô hình AI tạo sinh của OpenAI cho các lĩnh vực công nghiệp UAE.
- Elon Musk cũng đang tìm kiếm quan hệ đối tác chiến lược với UAE để mở rộng thị trường cho công ty AI xAI của mình.
- Giấc mơ gây quỹ hàng nghìn tỷ đô la của Altman liên quan đến kế hoạch phá vỡ thị trường chip AI hiện do Intel và TSMC thống trị.

📌 OpenAI đang nhận được sự hậu thuẫn từ UAE cho liên doanh chip AI trị giá 7 nghìn tỷ đô la, đồng thời mở rộng hoạt động tại quốc gia Trung Đông này thông qua hợp tác với G42. Elon Musk cũng đang tìm cách thiết lập quan hệ đối tác với UAE cho công ty xAI. 

https://analyticsindiamag.com/openai-to-receive-uae-backing-for-ai-chip-venture/

Động lực cơ sở hạ tầng AI để thúc đẩy vốn đầu tư của trung tâm dữ liệu lên 17% vào năm 2024

- Báo cáo mới từ Dell'Oro Group dự báo chi tiêu vốn của các trung tâm dữ liệu siêu cấp sẽ tăng 17% trong năm 2024, nhờ đầu tư vào cơ sở hạ tầng điện toán và AI.
- Sau mức tăng trưởng khiêm tốn 4% vào năm 2023, chi tiêu vốn trung tâm dữ liệu toàn cầu dự kiến sẽ phục hồi mạnh mẽ trong năm nay.
- Điện toán tăng tốc cho các ứng dụng AI tạo sinh dự kiến sẽ dẫn đầu các khoản đầu tư trung tâm dữ liệu, cùng với sự phục hồi vừa phải của nhu cầu máy chủ và lưu trữ đa năng.
- Báo cáo cũng dự đoán doanh thu từ máy chủ và hệ thống lưu trữ sẽ tăng 18% vào năm 2024, với sự chuyển dịch sang máy chủ tối ưu hóa AI và nền tảng máy chủ với các CPU mới nhất từ Intel, AMD và ARM.
- Đến năm 2028, lượng máy chủ xuất xưởng toàn cầu dự kiến tăng 8%, với hơn 20% máy chủ triển khai trên toàn cầu dự kiến sẽ được tăng tốc.
- Đáng chú ý, đến năm 2028, 4 nhà cung cấp dịch vụ đám mây hàng đầu của Mỹ - Amazon, Google, Meta và Microsoft - dự kiến sẽ chiếm một nửa chi tiêu vốn trung tâm dữ liệu toàn cầu.
- Điều này nhấn mạnh vai trò quan trọng của các công ty công nghệ lớn trong việc định hình xu hướng đầu tư trung tâm dữ liệu.
- Những thông tin này cho thấy tầm quan trọng ngày càng tăng của các khối lượng công việc AI trong việc định hình tương lai của cơ sở hạ tầng trung tâm dữ liệu và ngành công nghệ nói chung.

📌 Báo cáo Dell'Oro dự báo chi tiêu vốn trung tâm dữ liệu siêu cấp tăng 17% vào năm 2024, nhờ đầu tư vào cơ sở hạ tầng điện toán và AI. Doanh thu máy chủ và lưu trữ tăng 18%, với xu hướng chuyển sang máy chủ tối ưu AI. Đến 2028, 4 ông lớn công nghệ Mỹ chiếm 50% chi tiêu, cho thấy vai trò then chốt của AI trong định hình tương lai ngành.

https://analyticsindiamag.com/ai-infrastructure-momentum-to-drive-data-center-capex-by-17-in-2024-report/

Toppan Holdings bùng nổ đầu tư 60 tỷ yên vào AI và bán dẫn, mở rộng vươn tầm quốc tế

- Toppan Holdings của Nhật Bản dự định đầu tư khoảng 60 tỷ yên (tương đương 400 triệu USD) trong vòng ba năm vào lĩnh vực điện tử, nhằm khai thác cơ hội tăng trưởng do AI trong ngành công nghiệp bán dẫn.
- Khoản đầu tư này tăng 10 tỷ yên so với kỳ ba năm trước, chiếm 30% kế hoạch đầu tư tăng trưởng của Toppan cho giai đoạn tài chính 2023-2025.
- Mục tiêu của Toppan là tăng gấp đôi công suất sản xuất cho substrates FC-BGA dùng trong đóng gói chip so với mức của năm tài chính 2022.
- Nhu cầu về substrates được duy trì ổn định nhờ sự xuất hiện của chip cho ứng dụng AI tạo sinh.
- Toppan sản xuất substrates FC-BGA tại nhà máy ở tỉnh Niigata, trung tâm Nhật Bản, nhưng cũng có kế hoạch "hợp tác với khách hàng và đầu tư ở nước ngoài".
- Công ty cũng sẽ tăng cường đầu tư vào photomasks, được sử dụng để tạo mẫu mạch trên wafer bán dẫn.
- Toppan đã đổi tên từ Toppan Printing thành Toppan Holdings từ ngày 1 tháng 10 và chuyển sang cấu trúc công ty holding, phản ánh nỗ lực vượt ra khỏi lĩnh vực in ấn truyền thống và tăng cường hợp tác giữa các bộ phận của mình.
- Toppan sẽ dành 40% khoản đầu tư tăng trưởng cho phân khúc sống và công nghiệp, bao gồm vật liệu đóng gói, và 30% cho kinh doanh thông tin và truyền thông, bao gồm thẻ thông minh và hộ chiếu.

📌 Toppan Holdings của Nhật Bản cam kết đầu tư 60 tỷ yên vào lĩnh vực điện tử, nhấn mạnh vào việc mở rộng sản xuất substrates FC-BGA cho chip, và tăng cường đầu tư vào photomasks. Điều này không chỉ thể hiện sự chuyển mình từ in ấn truyền thống sang công nghệ cao mà còn cho thấy kế hoạch mở rộng quốc tế và tận dụng cơ hội từ AI.

https://asia.nikkei.com/Business/Companies/Japan-s-Toppan-eyes-AI-with-400m-in-chip-electronics-investment

Các nhà nghiên cứu Anh tìm cách giảm chi phí tính toán AI xuống 1.000 lần

- Cơ quan Nghiên cứu và Sáng chế Tiên tiến (Aria) của Anh đã khởi động chương trình trị giá 42 triệu bảng có tên Scaling Compute, nhằm tìm kiếm các giải pháp thay thế rẻ hơn và tiết kiệm năng lượng hơn cho cơ sở hạ tầng kỹ thuật số dựa trên silicon đắt đỏ mà AI đang chạy hiện nay.

- Mục tiêu là giảm chi phí xuống hơn 1.000 lần so với các tiêu chuẩn ngành. Nếu thành công, chương trình này sẽ vượt xa giới hạn hiện tại về năng lực và hiệu quả tính toán, mở đường cho AI an toàn và có tính chuyển đổi toàn cầu.

- Chính phủ Anh đã phân bổ 800 triệu bảng cho Aria để đầu tư vào các dự án đột phá tiềm năng mà các cơ quan nghiên cứu công khác không tài trợ. 8 giám đốc chương trình của Aria sẽ đóng vai trò then chốt trong việc quyết định cách chi tiêu số tiền này.

- Suraj Bramhavar, người từng là Giám đốc Công nghệ tại Sync Computing (một công ty khởi nghiệp từ MIT), sẽ điều hành dự án AI này. Sáng kiến nghiên cứu sẽ tìm cách học hỏi từ cách tính toán của tự nhiên, đặc biệt là bộ não con người, vượt ra ngoài các hoạt động kỹ thuật số, kết hợp bộ nhớ và tính toán.

- Aria sẽ xem xét các đề xuất dựa trên bất kỳ loại phần cứng nào, có thể bao gồm sử dụng tốt hơn silicon hoặc các chất bán dẫn khác, cũng như chạy AI trên vật liệu sinh học. Các nhà nghiên cứu từ nhiều lĩnh vực, khu vực và tổ chức khác nhau sẽ được mời nộp đơn xin tài trợ.

- Tomas Lazauskas từ Viện Alan Turing cho rằng cách tiếp cận thách thức các mô hình tính toán truyền thống của chương trình Aria sẽ mở ra kỷ nguyên phát triển AI mới, bền vững về kinh tế và môi trường, giúp nghiên cứu AI trở nên dễ tiếp cận hơn.

📌 Aria đã khởi động chương trình 42 triệu bảng nhằm giảm chi phí tính toán AI xuống hơn 1.000 lần bằng cách tìm kiếm các giải pháp thay thế rẻ hơn và tiết kiệm năng lượng hơn cho cơ sở hạ tầng kỹ thuật số. Chương trình sẽ học hỏi từ cách tính toán của tự nhiên và bộ não con người, xem xét các đề xuất dựa trên nhiều loại phần cứng khác nhau. Mục tiêu là giúp nghiên cứu AI trở nên dễ tiếp cận và bền vững hơn.

https://www.ft.com/content/ba0a5ba0-980a-472f-a8d1-77f2602060f2

Startup AI Cerebras ra mắt WSE-3, chip lớn nhất cho AI tạo sinh, vượt trội so với GPU H100 của Nvidia

- Startup AI Cerebras ra mắt WSE-3, chip lớn nhất từ trước đến nay cho AI tạo sinh. Chip có kích thước bằng một tấm bán dẫn wafer, tăng gấp đôi hiệu năng để xử lý các mô hình ngôn ngữ lớn với hàng chục nghìn tỷ tham số.

- WSE-3 tăng gấp đôi tốc độ thực hiện lệnh, từ 62,5 petaFLOPS lên 125 petaFLOPS. Nó thu nhỏ bóng bán dẫn từ 7nm xuống 5nm, tăng số lượng bóng bán dẫn từ 2,6 nghìn tỷ trong WSE-2 lên 4 nghìn tỷ.

- WSE-3 có kích thước gấp 57 lần GPU H100 của Nvidia, có 52 lần số lõi, 800 lần bộ nhớ trên chip, băng thông bộ nhớ gấp 7.000 lần và băng thông fabric gấp hơn 3.700 lần.

- Máy tính CS-3 của Cerebras với WSE-3 có thể xử lý mô hình ngôn ngữ lớn lý thuyết 24 nghìn tỷ tham số, gấp 10 lần các công cụ AI tạo sinh hàng đầu như GPT-4 của OpenAI.

- Một cụm 2.048 CS-3 có thể huấn luyện mô hình ngôn ngữ lớn Llama 2 70 tỷ tham số của Meta nhanh hơn 30 lần so với cụm huấn luyện AI của Meta: 1 ngày so với 30 ngày.

- Cerebras hợp tác với Qualcomm để sử dụng bộ xử lý AI 100 cho quá trình suy luận (inference), áp dụng 4 kỹ thuật để giảm chi phí suy luận như loại bỏ 80% tính toán không cần thiết, sử dụng phiên bản nhỏ hơn của mô hình để dự đoán và phiên bản lớn hơn để kiểm tra, chuyển đổi đầu ra thành MX6 chỉ cần một nửa bộ nhớ, chọn tập hợp con các tham số để biên dịch và chạy trên AI 100.

- Thị trường suy luận được dự kiến sẽ trở thành trọng tâm của cuộc chạy đua vũ trang trong AI khi suy luận chuyển từ trung tâm dữ liệu ra các thiết bị biên (edge) như máy chủ doanh nghiệp và thiết bị di động.

📌 Chip WSE-3 mới của Cerebras tăng gấp đôi hiệu năng lên 125 petaFLOPS, có 4 nghìn tỷ bóng bán dẫn, vượt trội so với GPU H100 của Nvidia. Nó có thể xử lý mô hình ngôn ngữ 24 nghìn tỷ tham số và huấn luyện Llama 2 nhanh hơn 30 lần so với Meta. Cerebras cũng hợp tác với Qualcomm để tối ưu hóa quá trình suy luận trên chip AI 100, hướng tới thị trường thiết bị biên đang phát triển.

Citations:
[1]https://www.zdnet.com/article/ai-startup-cerebras-unveils-the-largest-chip-yet-for-generative-ai/

CEO Perplexity chia sẻ ứng viên từ Meta yêu cầu 10.000 GPU H100 mới chịu nhảy việc

- Aravind Srinivas, CEO của Perplexity, chia sẻ về khó khăn trong việc tuyển dụng một nhà nghiên cứu cấp cao từ Meta. Ứng viên yêu cầu công ty phải có 10.000 GPU H100 mới quay lại.
- Việc có được 10.000 GPU H100 từ Nvidia có thể tốn hàng tỷ USD và mất 5-10 năm.
- Perplexity gặp khó khăn trong việc tìm kiếm nhân tài để tạo ra mô hình ngôn ngữ lớn do nguồn lực hạn chế và tình trạng thiếu chip.
- Ngay cả khi các công ty nhỏ hơn có được chip của Nvidia, họ vẫn sẽ bị tụt lại phía sau do tốc độ phát triển nhanh của AI.
- Kể từ khi ChatGPT ra mắt vào tháng 11/2022, nhu cầu về kỹ năng AI như machine learning và kỹ thuật dữ liệu tăng nhanh. Các công ty công nghệ lớn đã đưa ra mức lương lên tới 900.000 USD/năm để thu hút nhân tài AI.
- Srinivas cho rằng ngoài khả năng tạo ra mô hình AI, kỹ năng hậu huấn luyện như giảm thiểu sai sót trong chatbot cũng rất quan trọng và có thể giúp các công ty AI như Perplexity nổi bật.

📌 Tuyển dụng nhân tài AI đang trở nên khó khăn hơn bao giờ hết. CEO Perplexity chia sẻ ứng viên từ Meta yêu cầu 10.000 GPU H100 trị giá hàng tỷ USD mới chịu nhảy việc. Bên cạnh khả năng tạo mô hình AI, kỹ năng hậu huấn luyện cũng đóng vai trò then chốt giúp các công ty nhỏ cạnh tranh trong cuộc đua AI đang phát triển như vũ bão.

https://www.businessinsider.com/recruiting-ai-talent-ruthless-right-now-ai-ceo-2024-3

Chuyên gia AI đổ xô sang AMD Instinct MI300X, NVIDIA lung lay trước làn sóng chuyển dịch

- Cuộc khảo sát độc lập với 82 kỹ sư và chuyên gia AI cho thấy 50% tự tin sử dụng GPU AMD Instinct MI300X.
- Lý do: tỷ lệ hiệu năng trên giá tốt hơn, sẵn có nhiều hơn so với đối thủ như NVIDIA H100.
- TensorWave, công ty đồng sáng lập bởi Jeff Tatarchuk, sẽ sử dụng bộ tăng tốc AI MI300X.
- MI300X được thiết kế trên kiến trúc CDNA 3, kết hợp IP 5nm và 6nm, mang lại 153 tỷ bóng bán dẫn.
- MI300X có dung lượng HBM3 cao hơn 50% so với tiền nhiệm MI250X (128 GB).
- So với NVIDIA H100, MI300X có dung lượng bộ nhớ cao hơn 2.4 lần, băng thông bộ nhớ cao hơn 1.6 lần, TFLOPS FP8 và FP16 cao hơn 1.3 lần.
- Trong các bài kiểm tra 1v1 và 8v8, MI300X nhanh hơn H100 từ 20% đến 60% tùy mô hình AI.
- Thời điểm ra mắt của MI300X rất tốt khi NVIDIA đang bị kìm hãm bởi lượng đơn hàng tồn đọng.

📌 AMD Instinct MI300X đang thu hút sự quan tâm lớn từ các chuyên gia AI với hiệu năng vượt trội hơn 20-60% so với NVIDIA H100, dung lượng bộ nhớ HBM3 128 GB cùng mức giá cạnh tranh. Cuộc khảo sát cho thấy 50% chuyên gia đang cân nhắc chuyển sang MI300X, báo hiệu cơ hội cho AMD trong cuộc đua AI đang nóng lên từng ngày.

https://wccftech.com/survey-reveals-ai-professionals-switching-nvidia-to-amd-instinct-mi300x-performance-cost/

Intel Gaudi 2 nhanh hơn NVIDIA H100 trong huấn luyện Stable Diffusion 3 của Stability AI

- Stability AI so sánh tốc độ huấn luyện mô hình tạo ảnh Stable Diffusion 3 giữa Intel Gaudi 2 và NVIDIA H100/A100.
- Trên cấu hình 2 node, Intel Gaudi 2 xử lý 927 ảnh/giây, nhanh hơn 1.5 lần so với NVIDIA H100-80GB. Tăng batch size lên 32, Gaudi 2 đạt 1.254 ảnh/giây.
- Trên 32 node, cụm Gaudi 2 xử lý hơn 3 lần ảnh/giây so với NVIDIA A100-80GB, dù A100 đã được tối ưu phần mềm.
- Trong suy luận mô hình 8B Stable Diffusion 3, Gaudi 2 có tốc độ tương đương A100 khi dùng PyTorch. Tuy nhiên với TensorRT, A100 nhanh hơn Gaudi 2 40%.
- AMD trước đó cũng tuyên bố vượt NVIDIA H100 nhưng bị NVIDIA bác bỏ do không dùng TensorRT.
- Mô hình ngôn ngữ Stable Beluga 2.5 70B cho thấy hiệu năng ấn tượng trên 256 Gaudi 2, đạt 116.777 token/giây.
- Trong suy luận mô hình 70B, Gaudi 2 nhanh hơn 28% so với A100, đạt 673 token/giây trên mỗi chip.

📌 Intel Gaudi 2 thể hiện hiệu năng vượt trội so với NVIDIA H100 và A100 trong huấn luyện và suy luận các mô hình Stable Diffusion 3 và Stable Beluga 2.5 70B của Stability AI khi không sử dụng tối ưu hóa TensorRT. Tuy nhiên, NVIDIA A100 vẫn nhanh hơn 40% khi có TensorRT. Cuộc đua AI giữa Intel, NVIDIA và AMD hứa hẹn sẽ ngày càng gay cấn trong tương lai.

https://analyticsindiamag.com/stability-ai-claims-intel-gaudi-2-is-faster-than-nvidia-h100/

Jensen Huang: Đối thủ không thể đánh bại GPU Nvidia ngay cả khi tặng chip AI miễn phí

- Jensen Huang khẳng định GPU của Nvidia vượt trội đến mức ngay cả khi đối thủ cung cấp chip AI miễn phí, họ cũng không thể cạnh tranh được.
- Giá GPU của Nvidia không đáng kể trong tổng chi phí sở hữu (TCO) của trung tâm dữ liệu AI.
- Nvidia đã trở thành công ty có giá trị thứ 3 thế giới nhờ GPU tăng tốc AI.
- Huang cho rằng Nvidia đối mặt với nhiều đối thủ cạnh tranh nhất, kể cả khách hàng của chính họ.
- GPU của Nvidia có thể lập trình linh hoạt, trong khi chip đối thủ chỉ tốt cho một thuật toán cụ thể.
- Nền tảng Nvidia là tiêu chuẩn trong mọi công ty điện toán đám mây.
- Trung tâm dữ liệu hỗ trợ đa dạng khách hàng sẽ ưu tiên phần cứng Nvidia.
- Huang nhấn mạnh lợi thế của Nvidia về thời gian triển khai, hiệu suất, tính linh hoạt và tận dụng tài nguyên.

📌 Jensen Huang tự tin khẳng định GPU của Nvidia vượt trội tuyệt đối so với đối thủ, đến mức ngay cả chip AI miễn phí cũng không thể cạnh tranh được về tổng chi phí sở hữu. Với vị thế tiêu chuẩn trong điện toán đám mây, khả năng lập trình linh hoạt và nhiều lợi thế khác, Nvidia đang thống trị thị trường AI bất chấp sự cạnh tranh gay gắt từ nhiều đối thủ.

https://www.tomshardware.com/pc-components/gpus/jensen-huang-says-even-free-ai-chips-from-his-competitors-cant-beat-nvidias-gpus

Tại sao AI cần một kiến trúc chip mới

- Thị trường chip AI toàn cầu dự kiến đạt 263,6 tỷ USD vào năm 2031. Chip AI được sử dụng chủ yếu ở các thiết bị biên và trung tâm dữ liệu.

- Khác với các tác vụ truyền thống, AI đòi hỏi sức mạnh tính toán ở quy mô chưa từng có. Điều này dẫn đến sự phát triển của các kiến trúc chuyên biệt để xử lý hiệu quả các yêu cầu tính toán chuyên sâu của thuật toán AI.

- AI đòi hỏi tính song song lớn của các hàm nhân-tích lũy. Do đó, kiến trúc chip phải được trang bị các bộ xử lý phù hợp và mảng bộ nhớ để xử lý hiệu quả tính song song này.

- AI phải xử lý một lượng dữ liệu khổng lồ. Di chuyển dữ liệu này một cách hiệu quả là rất quan trọng để xử lý AI nhanh và chính xác. 

- Để đạt được hiệu suất suy luận như con người với mạng nơ-ron đòi hỏi sự gia tăng theo cấp số nhân về độ phức tạp của mô hình AI và thông lượng tính toán.

- Các lĩnh vực đòi hỏi hiệu suất cao hơn sẽ sử dụng nhiều hơn kiến trúc chip AI. Khi chip AI trở nên rẻ hơn, chúng ta sẽ bắt đầu thấy kiến trúc chip AI ở những nơi như IoT.

- Các lĩnh vực đầy hứa hẹn để khám phá kiến trúc chip AI mới bao gồm: Bộ xử lý chuyên biệt, phân cấp bộ nhớ, kiến trúc đa die.

📌 Sự phát triển của AI đòi hỏi một sự thay đổi căn bản trong kiến trúc chip để đáp ứng nhu cầu chưa từng có của khối lượng công việc AI. Các kiến trúc chip truyền thống cần được chuyển đổi thành các đơn vị xử lý AI bằng cách giải quyết toàn diện các yêu cầu riêng biệt của AI như tính song song lớn, yêu cầu bộ nhớ cao và hiệu suất suy luận.

Citations:
[1] https://techovedas.com/why-ai-needs-a-new-chip-architecture/

Chip AI Hàn Quốc tiêu thụ năng lượng thấp hơn Nvidia 625 lần, nhỏ hơn 41 lần

- Nhóm nghiên cứu từ Viện Khoa học và Công nghệ tiên tiến Hàn Quốc (KAIST) giới thiệu chip AI "Complementary-Transformer" (C-Transformer) tại Hội nghị Mạch tích hợp trạng thái rắn Quốc tế 2024.
- Chip C-Transformer được tuyên bố là chip tăng tốc AI siêu tiết kiệm năng lượng đầu tiên có khả năng xử lý mô hình ngôn ngữ lớn (LLM). 
- Chip này tiêu thụ năng lượng thấp hơn 625 lần và nhỏ hơn 41 lần so với GPU Nvidia A100 Tensor Core.
- Thành tựu của chip C-Transformer chủ yếu đến từ công nghệ tính toán nơ-ron tinh chỉnh.
- Chip C-Transformer hiện được sản xuất trên quy trình 28nm của Samsung, có diện tích die 20.25mm2, tần số tối đa 200 MHz, tiêu thụ dưới 500mW và đạt 3.41 TOPS.
- Kiến trúc của chip gồm 3 khối tính năng chính: HDSC với HMAU, OSSU và IWGU với ESC.
- Công nghệ tính toán nơ-ron được cải tiến để đạt độ chính xác tương đương với mạng nơ-ron sâu (DNN).
- Mặc dù chưa có so sánh trực tiếp về hiệu năng, chip C-Transformer hứa hẹn là lựa chọn hấp dẫn cho điện toán di động.

📌 Chip AI C-Transformer của KAIST tiêu thụ năng lượng thấp hơn 625 lần và nhỏ gọn hơn 41 lần so với GPU Nvidia A100, đạt 3.41 TOPS trên quy trình 28nm của Samsung. Với công nghệ tính toán nơ-ron tinh chỉnh, chip này mở ra tiềm năng ứng dụng AI trên thiết bị di động mặc dù chưa có so sánh trực tiếp về hiệu năng.

https://www.tomshardware.com/tech-industry/artificial-intelligence/korean-researchers-power-shame-nvidia-with-new-neural-ai-chip-claim-625-times-less-power-41-times-smaller

Trừ khi bạn là Nvidia, kinh doanh chip AI là phức tạp

- Giá trị thị trường của Broadcom đã tăng hơn gấp đôi trong năm qua nhờ nhu cầu chip AI tăng vọt. Doanh thu từ chip AI đạt 2.3 tỷ USD trong quý 1/2024, tăng 53% so với quý trước. Broadcom kỳ vọng doanh thu AI vượt 10 tỷ USD trong năm tài chính hiện tại.
- Tuy nhiên, không như Nvidia, Broadcom là một gã khổng lồ công nghệ đa dạng với các mảng kinh doanh chip và phần mềm khác nhau. Mảng không dây, cung cấp chip RF cho iPhone, giảm 4% so với cùng kỳ. Các mảng khác như lưu trữ máy chủ và kết nối băng thông rộng còn tệ hơn.
- Marvell cũng cho thấy động thái tương tự, với các mảng không phải AI không đạt kỳ vọng của Wall Street. Marvell đưa ra dự báo doanh thu đáng thất vọng cho quý hiện tại do nhu cầu yếu ở mảng tiêu dùng, hạ tầng nhà mạng và mạng doanh nghiệp.
- Ngành chip đang hưởng lợi từ quan niệm rằng nó là ngành đầu tiên chứng kiến doanh thu đáng kể từ AI tạo sinh. Chỉ số PHLX tăng 65% giá trị năm ngoái, mức tăng hàng năm tốt nhất kể từ 2009, và đã tăng thêm 24% trong năm nay.
- Tuy nhiên, hầu hết các công ty chip cũng phải đối mặt với các phân khúc thị trường khác đang phát triển chậm hoặc vẫn đang vật lộn với tồn kho dư thừa do đặt hàng quá mức trước đó. Ngay cả AMD cũng phải đối mặt với thị trường PC và console chậm lại.

📌 Broadcom và Marvell đang hưởng lợi lớn từ cơn sốt chip AI với doanh thu tăng vọt, nhưng các mảng kinh doanh khác vẫn đang gặp khó khăn. Với danh mục đa dạng gồm cả phần cứng và phần mềm, Broadcom có thể đối phó tốt hơn với chu kỳ ngành chip. Tuy nhiên, cơn sốt AI sẽ không kéo dài mãi mãi.

 

https://www.wsj.com/business/telecom/unless-youre-nvidia-the-ai-chip-business-is-complicated-833c2275

encharge ai tạo ra chip analog số đột phá, giảm 90% năng lượng cho ai tạo sinh

• Chip mới của EnCharge AI kết hợp tính toán analog và số, sử dụng mạch analog tiết kiệm năng lượng cho các phép tính nặng nhất của AI tạo sinh.
• Công ty nhận được khoản tài trợ 18,6 triệu USD từ DARPA để phát triển công nghệ mới, giúp triển khai AI tạo sinh trên thiết bị di động năng lượng hạn chế.
• Mô hình AI lớn như ChatGPT, Llama cần hàng kilowatt điện năng để chạy trên đám mây, nhưng chip mới chỉ tiêu thụ 10% so với hiện nay.
• Công nghệ mới sử dụng mạch analog cho phép tính accumulate - phép tính nặng nhất của AI tạo sinh, tiết kiệm 90% năng lượng so với mạch số truyền thống.
• Đây là bước đột phá quan trọng để đưa AI tạo sinh ra khỏi trung tâm dữ liệu, tới các thiết bị di động, xe tự lái, robot trong tương lai.

📌 Chip analog số đột phá của EnCharge AI giảm 90% năng lượng cho AI tạo sinh, mở đường triển khai rộng rãi công nghệ trên thiết bị di động năm 2024.

 

https://www.zdnet.com/article/making-genai-more-efficient-with-a-new-kind-of-chip/

AMD phản pháo Nvidia và chi tiết cách chạy chatbot AI cục bộ trên Radeon và Ryzen

• AMD công bố hướng dẫn cho phép người dùng tương tác với chatbot AI chạy trên phần cứng cục bộ, không cần qua đám mây.
• Yêu cầu phần cứng bao gồm chip Ryzen AI hoặc GPU RX 7000-series, với Ryzen 5 8600G được hỗ trợ nhưng Ryzen 5 8500G có thể không tương thích.
• Người dùng cần tải và cài đặt LM Studio, có phiên bản ROCm cho người dùng RX 7000-series, hỗ trợ cả CPU Intel và GPU Nvidia.
• AMD khuyến nghị sử dụng mô hình "Q4 K M" cho Llama 2 7B, tối ưu hóa cho chat, với người dùng GPU RX 7000-series cần kích hoạt GPU offloading.
• Nvidia đã ra mắt ứng dụng Chat with RTX, chạy trên GPU Nvidia và hỗ trợ phân tích tài liệu, video. Intel thì chưa có ứng dụng chatbot AI riêng nhưng đã thể hiện cách sử dụng Python để tạo chatbot.
• AMD có thể sẽ phát triển phiên bản Chat with RTX của riêng mình hoặc làm việc với LM Studio để mở rộng tính năng cho phần cứng AMD, có thể tích hợp AI vào bộ điều khiển Radeon Adrenalin.

📌 AMD giới thiệu phương pháp chính thức và dễ sử dụng để chạy chatbot AI trên phần cứng của AMD, Intel và Nvidia, với hướng dẫn chi tiết cho người dùng Ryzen và Radeon. Điều này không chỉ mở ra khả năng tương tác AI mà còn cho thấy AMD đang tiến gần hơn đến việc cung cấp giải pháp toàn diện cho AI trên phần cứng của mình, có thể sẽ cạnh tranh trực tiếp với Nvidia và Intel trong tương lai.

https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-fires-back-at-nvidia-with-instructions-on-running-a-local-ai-chatbot-recommends-using-a-third-party-app

Mỹ dành 30 tỷ đô la hỗ trợ sản xuất chip bán dẫn tiên tiến, nhưng việc phân bổ nguồn lực cho TSMC và Intel để phát triển chip AI vẫn còn nhiều bất định

- Các quan chức Mỹ đã dành gần 30 tỷ đô la cho việc hỗ trợ sản xuất bán dẫn tiên tiến, nhằm mục tiêu phát triển và sản xuất chip trí tuệ nhân tạo (AI) hàng đầu ngay tại nước Mỹ.
- Với việc tiền hỗ trợ sắp được phân bổ trong vài tuần tới, việc đạt được mục tiêu này vẫn còn nhiều bất định, theo các chuyên gia trong ngành.
- Chính quyền Biden cần cân nhắc việc phân bổ tiền của người nộp thuế cho Taiwan Semiconductor Manufacturing (TSMC), một công ty hàng đầu thế giới, và Intel, một công ty nội địa đang trong quá trình cố gắng phục hồi.
- Việc đặt cược vào chip AI đặc biệt khó khăn trong ngành công nghiệp đang phát triển nhanh chóng. Việc cung cấp hỗ trợ tài chính cho Intel, TSMC hoặc Samsung Electronics không đảm bảo an ninh trong lĩnh vực AI của tương lai.
- Tiền sẽ đến từ Đạo luật CHIPS của Mỹ, được thông qua vào năm 2022. Intel, TSMC và Samsung đều đang xây dựng nhà máy tại Mỹ và có khả năng sẽ nhận được một số hỗ trợ tài chính từ Mỹ.
- Bộ Thương mại Mỹ từ chối bình luận về vấn đề này.
- TSMC, nhà lãnh đạo toàn cầu trong việc sản xuất chip AI, chưa cam kết đưa công nghệ tiên tiến nhất của mình đến Hoa Kỳ. Công ty này không dự kiến sẽ đưa sản xuất 3-nanometer, đã được sử dụng để sản xuất chip cho iPhone 15 Pro, đến Arizona cho đến ít nhất là năm 2027 hoặc 2028.

📌 Các quan chức Mỹ đang đối mặt với thách thức lớn trong việc phân bổ gần 30 tỷ đô la hỗ trợ cho sản xuất chip bán dẫn tiên tiến, với mục tiêu phát triển và sản xuất chip AI hàng đầu tại Mỹ. Sự bất định về việc đạt được mục tiêu này là do sự phát triển nhanh chóng của ngành AI và quyết định phân bổ nguồn lực cho các công ty như Intel, TSMC và Samsung. Đặc biệt, TSMC chưa cam kết đưa công nghệ sản xuất chip tiên tiến nhất của mình đến Mỹ, tạo ra thách thức cho Mỹ trong việc đảm bảo sự độc lập về công nghệ chip AI.

https://www.reuters.com/world/us/us-officials-face-tough-choices-subsidizing-ai-chip-manufacturing-2024-03-06/

Huyết mạch của sự bùng nổ AI

- Trí tuệ nhân tạo (AI) đòi hỏi lượng dữ liệu và năng lượng khổng lồ để hoạt động, với các hệ thống như ChatGPT chạy trên chip silicon.
- Nhu cầu về sức mạnh tính toán để huấn luyện các chương trình AI hàng đầu đã tăng gấp đôi mỗi sáu tháng trong thập kỷ qua.
- AI có thể tiêu thụ lượng điện tương đương với quốc gia Thụy Điển vào năm 2027.
- GPT-4 của OpenAI đòi hỏi năng lượng huấn luyện cao hơn 100 lần so với GPT-3.
- Google tích hợp AI tạo sinh vào tính năng tìm kiếm, có thể làm tăng chi phí mỗi lần tìm kiếm lên gấp mười.
- Chip chạy AI và điện năng đang trong tình trạng khan hiếm, có thể sẽ không đủ năng lượng để chạy các mô hình tiên tiến mà không gây áp lực lớn lên lưới điện địa phương.
- Nvidia, công ty không mấy nổi tiếng ngoài giới game thủ máy tính cho đến khoảng một năm trước, nay trở thành công ty có giá trị thứ ba trên thế giới.
- Nvidia kiểm soát tới 95% thị trường chip AI chuyên dụng, với GPU của họ làm cho cuộc cách mạng AI hiện đại trở nên khả thi.
- Các công ty công nghệ đang đầu tư hàng chục tỷ đô la mỗi năm vào năng lực điện toán đám mây.
- Các công ty lớn như Google, Amazon và Microsoft đang đầu tư mạnh vào việc thiết kế chip máy tính tùy chỉnh của riêng họ để kiểm soát tốt hơn các doanh nghiệp AI đang phát triển của họ.

📌 Nvidia hiện đang dẫn đầu trong cuộc đua phát triển chip AI, với việc kiểm soát tới 95% thị trường chip chuyên dụng. Sự phụ thuộc vào Nvidia của các công ty công nghệ lớn đang thúc đẩy họ thiết kế chip tùy chỉnh của riêng mình để giảm chi phí và nhu cầu năng lượng, đồng thời tăng cường hiệu suất và kiểm soát đối với các sản phẩm AI của họ.

Citations:
[1] https://www.theatlantic.com/technology/archive/2024/03/nvidia-chips-gpu-generative-ai/677664/

Chip AI sản xuất cho Trung Quốc của AMD quá mạnh

- Doanh số iPhone tại Trung Quốc giảm bất ngờ 24% trong năm nay.
- Apple đối mặt với án phạt 2 tỷ đô từ EU vì lạm dụng ứng dụng âm nhạc.
- Cựu giám đốc Twitter kiện Musk đòi 128 triệu đô tiền bồi thường.
- AMD cố gắng vượt qua rào cản thương mại do Mỹ dựng lên xung quanh Trung Quốc bằng cách phát triển chip tăng tốc AI MI309 dành riêng cho Trung Quốc, nhưng bị Bộ Thương mại từ chối không cho phép bán mà không có giấy phép.
- Nvidia đã phát hành nhiều phiên bản chip AI ít mạnh mẽ hơn tại Trung Quốc để tuân thủ kiểm soát xuất khẩu của Mỹ, trong khi AMD muốn cạnh tranh tại thị trường này.
- Bộ Thương mại Mỹ đã ngăn chặn nỗ lực của Nvidia và AMD bằng cách điều chỉnh quy tắc xuất khẩu, bao gồm cả chip dành cho Trung Quốc của Nvidia.
- Google, OpenAI, Salesforce và các công ty công nghệ khác đã ký một bức thư mở kêu gọi xây dựng trí tuệ nhân tạo có trách nhiệm, nhấn mạnh trách nhiệm chung trong việc tối đa hóa lợi ích và giảm thiểu rủi ro của AI đối với xã hội.

📌AMD cố gắng vượt qua rào cản thương mại do Mỹ dựng lên xung quanh Trung Quốc bằng cách phát triển chip tăng tốc AI MI309 dành riêng cho Trung Quốc, nhưng bị Bộ Thương mại từ chối không cho phép bán mà không có giấy phép.

https://www.bloomberg.com/news/newsletters/2024-03-05/amd-s-ai-chips-will-have-to-be-throttled-down-for-china-market

AMD giới thiệu tính năng nâng cấp dựa trên AI, có khả năng phù hợp với DLSS

- AMD dự định giới thiệu công nghệ nâng cấp hình ảnh dựa trên AI vào năm 2024, nhằm cạnh tranh với DLSS của Nvidia và XeSS của Intel.
- CTO Mark Papermaster của AMD xác nhận công ty sẽ chuyển hướng mạnh mẽ về AI, với việc nâng cấp hình ảnh trong trò chơi là một trong những lĩnh vực tập trung.
- AMD đang phát triển phương pháp cho phép chơi game với công nghệ nâng cấp hình ảnh dựa trên AI, mặc dù chi tiết cụ thể vẫn chưa được tiết lộ.
- Trong một cuộc phỏng vấn trên podcast No Priors, Papermaster giải thích AMD đã triển khai tăng tốc AI trên toàn bộ dãy sản phẩm của mình và dự định giới thiệu các ứng dụng mới sử dụng công nghệ này trong năm nay.
- AMD FSR, công nghệ nâng cấp hình ảnh hiện tại của AMD, tránh sử dụng AI, điều này là một lợi thế và cũng là một hạn chế khi cạnh tranh với DLSS của Nvidia và XeSS của Intel.
- Papermaster nhấn mạnh AMD không thích hạn chế chức năng cho phần cứng cụ thể, vì vậy vẫn chưa rõ thiết bị nào sẽ được hỗ trợ bởi FSR dựa trên AI.

📌 Công ty AMD đang lên kế hoạch giới thiệu một bước tiến lớn trong công nghệ nâng cấp hình ảnh dựa trên AI vào năm 2024, với mục tiêu cạnh tranh trực tiếp với DLSS của Nvidia và XeSS của Intel. Công ty đã triển khai tăng tốc AI trên toàn bộ dãy sản phẩm của mình và dự định sử dụng công nghệ này trong nhiều ứng dụng mới, bao gồm cả việc nâng cấp hình ảnh trong trò chơi. Mặc dù chi tiết cụ thể về công nghệ mới này vẫn chưa được tiết lộ, nhưng sự chuyển hướng mạnh mẽ về AI của AMD cho thấy một cam kết đáng kể đối với việc cải thiện chất lượng hình ảnh và trải nghiệm chơi game cho người dùng.

Citations:
[1] https://www.techspot.com/news/102126-amd-introduce-ai-based-upscaling-potentially-matching-dlss.html

Nvidia cấm sử dụng các lớp dịch để phần mềm CUDA chạy trên các chip khác - hạn chế mới rõ ràng nhắm vào một số nhà sản xuất GPU Trung Quốc và ZLUDA

- Nvidia đã cập nhật điều khoản cấp phép của mình, cấm chạy phần mềm dựa trên CUDA trên các nền tảng phần cứng khác bằng cách sử dụng các lớp dịch.
- Hạn chế mới này dường như nhằm vào sáng kiến ZLUDA và một số nhà sản xuất GPU Trung Quốc, ngăn chặn họ sử dụng mã CUDA với các lớp dịch.
- Một kỹ sư phần mềm tên Longhorn đã phát hiện ra các điều khoản cập nhật. Một điều khoản mới trong CUDA 11.5 nêu rõ: "Bạn không được đảo ngược kỹ thuật, giải mã hoặc tháo rời bất kỳ phần nào của đầu ra được tạo ra bằng cách sử dụng các yếu tố Phần mềm với mục đích dịch đầu ra đó để nhắm mục tiêu vào nền tảng không phải của Nvidia".
- Moore Threads, một trong những nhà sản xuất GPU lớn nhất của Trung Quốc, cũng có công cụ dịch MUSIFY được thiết kế để cho phép mã CUDA hoạt động với GPU của họ. Tuy nhiên, liệu MUSIFY có thuộc về loại lớp dịch hoàn chỉnh hay không vẫn còn là một câu hỏi.
- Sử dụng các lớp dịch đe dọa đến vị thế thống trị của Nvidia trong lĩnh vực tính toán tăng tốc, đặc biệt là với các ứng dụng AI, có thể là động cơ đằng sau quyết định của Nvidia.
- Điều khoản này không có trong phát hành CUDA 11.4, vì vậy việc chạy các ứng dụng được biên dịch sử dụng trình biên dịch CUDA 11.4 và trước đó trên các bộ xử lý không phải của Nvidia bằng cách sử dụng các lớp dịch vẫn còn khả thi.

📌 Nvidia đã thực hiện một bước đi quan trọng trong việc bảo vệ công nghệ và vị thế thống trị của mình trong lĩnh vực GPU bằng cách cập nhật điều khoản cấp phép, cấm sử dụng các lớp dịch để chạy phần mềm CUDA trên các nền tảng phần cứng khác. Điều này không chỉ ảnh hưởng đến các sáng kiến như ZLUDA mà còn đến một số nhà sản xuất GPU Trung Quốc, đặc biệt là với công cụ MUSIFY của Moore Threads. Bằng cách đặt ra các hạn chế mới từ phiên bản CUDA 11.5, Nvidia đang cố gắng ngăn chặn việc sử dụng không chính thức của công nghệ của mình, đồng thời duy trì vị thế dẫn đầu trong lĩnh vực tính toán tăng tốc và ứng dụng AI.

Citations:
[1] https://www.tomshardware.com/pc-components/gpus/nvidia-bans-using-translation-layers-for-cuda-software-to-run-on-other-chips-new-restriction-apparently-targets-zluda-and-some-chinese-gpu-makers

Nvidia muốn dân chủ hóa AI bằng GPU máy tính xách tay RTX 500, RTX 1000 mới

- GPU laptop Nvidia RTX 500 và RTX 1000 thuộc thế hệ Ada sẽ có mặt trên thị trường vào mùa xuân này, được tích hợp trong các sản phẩm của Dell, HP, Lenovo và MSI.
- RTX 4000 có thể là lựa chọn tốt hơn với giá cả phải chăng hơn và hiệu suất mạnh mẽ hơn trong một chiếc laptop tiêu chuẩn, đặc biệt khi xây dựng các mô hình LLM (Large Language Models).
- AI đang ngày càng trở nên phổ biến trong môi trường làm việc lai và các ngành nghề cần laptop kinh doanh có khả năng tăng tốc AI mạnh mẽ.
- RTX 500 và RTX 1000 được thiết kế để tối ưu hóa cho các tác vụ AI, với RTX 500 cung cấp hiệu suất AI tạo sinh lên đến 14 lần so với Stable Diffusion, chỉnh sửa ảnh nhanh hơn 3 lần và hiệu suất đồ họa 3D nhanh hơn 10 lần so với cấu hình chỉ dùng CPU.
- Các GPU mới này hứa hẹn sẽ cải thiện quy trình làm việc chuyên nghiệp, giúp các biên tập viên video loại bỏ tiếng ồn nền với AI, các nhà thiết kế đồ họa nâng cấp hình ảnh mờ với AI upscaling và nâng cao chất lượng hội nghị truyền hình và trải nghiệm streaming cho người dùng di động.

📌 Các GPU laptop Nvidia RTX 500 và RTX 1000 mới sẽ sớm ra mắt, mang lại cơ hội tiếp cận công nghệ AI mạnh mẽ cho người dùng chuyên nghiệp. RTX 500 và RTX 1000 được thiết kế để tối ưu hóa cho các tác vụ AI, với RTX 500 cung cấp hiệu suất AI tạo sinh lên đến 14 lần so với Stable Diffusion, chỉnh sửa ảnh nhanh hơn 3 lần và hiệu suất đồ họa 3D nhanh hơn 10 lần so với cấu hình chỉ dùng CPU. Tuy nhiên, RTX 4000 vẫn có thể là lựa chọn tốt hơn với mức giá cạnh tranh và hiệu suất cao trong một cấu hình laptop tiêu chuẩn. 

Citations:
[1] https://www.techradar.com/pro/nvidia-wants-to-democratize-ai-with-new-rtx-500-rtx-1000-laptop-gpus-but-i-cannot-help-wonder-whether-nvidia-rtx-4000-gpus-are-a-better-choice

Cuộc chiến công nghệ: Khả năng chip AI của Huawei bị giám sát chặt chẽ sau khi công ty dẫn đầu thị trường Nvidia khai thác nó như một đối thủ tiềm năng

- Khả năng AI chip của Huawei đang được xem xét kỹ lưỡng sau khi Nvidia coi đó là đối thủ tiềm năng.
- Chip Ascend 910B của Huawei, đã có mặt trên thị trường Trung Quốc, được cho là có khả năng tính toán tương đương với GPU A100 của Nvidia.
- Chip phát triển bởi Trung Quốc có thể cạnh tranh với A100 của Nvidia về khả năng hỗ trợ thuật toán AI, theo công ty nghiên cứu bán dẫn SemiAnalysis.
- Do Nvidia hiện không thể xuất khẩu GPU tiên tiến của mình sang Trung Quốc đại lục do hạn chế xuất khẩu của Washington, chipset AI mới từ Huawei đã xuất hiện như một sự thay thế cho sản phẩm của công ty Mỹ tại Trung Quốc.
- Huawei chưa đưa ra bình luận công khai về 910B.
- Nhiều nhà phân tích và chuyên gia ngành công nghiệp e ngại bình luận về cuộc đối đầu giữa Nvidia và Huawei, mặc dù họ chỉ ra rằng nhà thiết kế chip Mỹ có ưu thế về GPU và lợi ích từ hệ sinh thái phần mềm CUDA của mình.
- Huawei có kiến trúc tính toán riêng cho Mạng Nơ-ron, một nền tảng kết nối phần cứng và phần mềm Ascend, quan trọng để khai thác sức mạnh tính toán AI.

📌 Huawei đang đối mặt với sự xem xét kỹ lưỡng về khả năng AI chip của mình sau khi Nvidia coi công ty này là một đối thủ tiềm năng. Chip Ascend 910B của Huawei, với khả năng tính toán được cho là tương đương với GPU A100 của Nvidia, đã sẵn sàng trên thị trường Trung Quốc và được xem là một sự thay thế tiềm năng cho sản phẩm của Nvidia tại đây do hạn chế xuất khẩu của Mỹ. Tuy nhiên, để cạnh tranh với Nvidia, Huawei cần phải xây dựng một hệ sinh thái phần mềm tương đương với CUDA của Nvidia, điều này đòi hỏi những khoản đầu tư lớn và sự hợp tác chặt chẽ với các đối tác phần mềm.

Citations:
[1] https://www.scmp.com/tech/tech-war/article/3253943/tech-war-huaweis-ai-chip-capabilities-under-intense-scrutiny-after-market-leader-nvidia-taps-it

Qualcomm và MediaTek chạy đua để đưa AI vào các thiết bị

- Qualcomm và MediaTek đang phát triển khả năng AI tạo sinh trên các thiết bị di động, tìm kiếm ứng dụng đột phá tiếp theo.
- Durga Malladi của Qualcomm cho biết quá trình thương mại hóa AI trên thiết bị di động đang tiến triển tốt nhưng vẫn ở giai đoạn đầu.
- Qualcomm nhắm đến việc tích hợp AI tạo sinh vào nhiều loại thiết bị khác nhau, từ điện thoại thông minh, laptop đến ô tô.
- Công ty đã ra mắt thư viện 75 mô hình AI được tối ưu hóa sẵn cho việc triển khai trên các thiết bị.
- Các khách hàng của Qualcomm như Samsung Electronics, Honor, Xiaomi và Oppo đã bắt đầu tích hợp các tính năng AI vào điện thoại hàng đầu của họ.
- Qualcomm cũng đang phát triển mô hình đa phương tiện lớn (LMMs), được xem là lĩnh vực quan trọng tiếp theo trong AI sau mô hình ngôn ngữ lớn (LLMs).
- MediaTek, nhà phát triển chip di động lớn thứ hai thế giới về doanh thu, cũng trình diễn khả năng AI trên thiết bị tại MWC.
- Công ty tập trung chủ yếu vào thị trường điện thoại thông minh và đang phát triển các tính năng mới như đọc và tóm tắt tài liệu dày đặc trong vài giây.
- McKinsey & Co. dự báo AI tạo sinh có thể tạo ra lợi ích kinh tế hàng năm từ 2.6 đến 4.4 nghìn tỷ đô la.
- Các nhà phân tích nhận định rằng công nghệ mới này có thể thay đổi cục diện cạnh tranh trong lĩnh vực chip và các tính năng AI sẽ dần được áp dụng cho điện thoại tầm trung.

📌 Qualcomm và MediaTek đang tiên phong trong việc tích hợp AI tạo sinh vào thiết bị di động, mở ra hướng đi mới cho ngành công nghệ. Qualcomm đang phát triển mô hình đa phương tiện lớn (LMMs), được xem là lĩnh vực quan trọng tiếp theo trong AI sau mô hình ngôn ngữ lớn (LLMs). Với việc ra mắt thư viện mô hình AI và các tính năng AI trên điện thoại hàng đầu, Qualcomm không chỉ mở rộng ảnh hưởng của mình trong lĩnh vực smartphone mà còn trong các thiết bị khác như laptop và ô tô. MediaTek, mặc dù tập trung vào thị trường smartphone, cũng không kém cạnh với các công cụ chỉnh sửa ảnh tiên tiến và khả năng đọc và tóm tắt tài liệu dày đặc trong vài giây. Cả hai công ty đều đang nghiên cứu và phát triển các tính năng text-to-video, hứa hẹn sẽ là bước tiến lớn tiếp theo trong AI.

https://asia.nikkei.com/Business/Tech/Semiconductors/Qualcomm-and-MediaTek-race-to-put-generative-AI-on-devices

Tương lai là AI 6G, Samsung giới thiệu chip DRAM 36GB đầu tiên trong ngành

- Samsung đã công bố chip DRAM 36GB, một bước tiến quan trọng trong ngành công nghiệp, hướng tới việc phát triển mạng 6G và trí tuệ nhân tạo (AI).
- Quá trình phát triển mạng di động đã trải qua nhiều thế hệ, từ 2G vào năm 1991, 3G vào năm 2001, 4G vào năm 2009, và 5G vào năm 2018. Hiện tại, sự ra đời của 6G đang được chờ đợi.
- Các chuyên gia dự đoán rằng mạng di động thế hệ thứ sáu (6G), được hỗ trợ bởi trí tuệ nhân tạo (AI), sẽ kết hợp giao tiếp và tính toán vào một thế giới liên kết mạch lạc giữa thực và ảo.
- Qin Fei, chủ tịch viện nghiên cứu truyền thông tại vivo, nhận định rằng 6G sẽ giới thiệu một internet vạn vật thông minh, thay vì chỉ là internet vạn vật như trước đây.
- 6G hứa hẹn sẽ mang lại cải thiện đáng kể về độ trễ dữ liệu, bảo mật, độ tin cậy, và khả năng xử lý tức thì lượng lớn dữ liệu trên toàn cầu, thay đổi cả lĩnh vực giải trí và công việc.

📌 Samsung đang tiên phong trong việc phát triển công nghệ cho thế hệ mạng di động tiếp theo với việc giới thiệu chip DRAM 36GB đầu tiên trong ngành. Sự phát triển này không chỉ là một bước tiến lớn trong công nghệ lưu trữ và xử lý dữ liệu mà còn là một dấu hiệu cho thấy tương lai của mạng 6G và AI đang ngày càng trở nên gần kề. Với sự hỗ trợ của AI, 6G hứa hẹn sẽ mở ra một thế giới mới với internet vạn vật thông minh, cung cấp khả năng kết nối và xử lý dữ liệu mạnh mẽ, đáp ứng nhu cầu ngày càng tăng về tốc độ và bảo mật trong truyền thông và công nghệ thông tin.

Citations:
[1] https://www.phonearena.com/news/the-future-is-ai-6g-samsung-shows-off-industry-first-36gb-dram-chip_id155802

Groq - con chip được thiết kế để chạy các mô hình AI cực kỳ nhanh

- Groq phát triển Language Processing Unit (LPU), một loại chip mới chuyên biệt cho việc chạy các mô hình AI với tốc độ rất cao.
- GroqChip hiện tại là một bộ xử lý 14nm, hoạt động dựa trên quy mô, vận hành trong đám mây như một cụm các đơn vị được cấu trúc tốt, phân tích dữ liệu một cách hiệu quả.
- Việc có quyền truy cập vào suy luận AI với độ trễ thấp giúp giảm bớt một số điểm nghẽn trong việc cung cấp các giải pháp AI, cho phép chuyển đổi văn bản thành giọng nói và ngược lại diễn ra trong thời gian thực.
- Jonathan Ross, người sáng lập và CEO của Groq, cũng là người dẫn dắt phát triển Google's Tensor Processing Units (TPU), đã thiết kế các chip này với mục tiêu về khả năng mở rộng nhanh chóng và dòng chảy dữ liệu hiệu quả qua chip.
- Groq tập trung vào việc chạy các mô hình AI thay vì đào tạo chúng, một hướng đi khác biệt so với nhiều công ty khác đang cạnh tranh trong lĩnh vực trí tuệ nhân tạo.

📌 Groq tập trung vào việc chạy các mô hình AI thay vì đào tạo chúng, một hướng đi khác biệt so với nhiều công ty khác. GroqChip hiện tại là một bộ xử lý 14nm. Groq đang định hình lại tương lai của AI với việc phát triển Language Processing Unit (LPU), một loại chip được thiết kế đặc biệt để chạy các mô hình AI với tốc độ cao. Sự đổi mới này không chỉ giúp giảm thiểu độ trễ trong suy luận AI, mà còn mở ra khả năng tương tác tự nhiên hơn với trợ lý AI, như việc chuyển đổi văn bản thành giọng nói và ngược lại một cách nhanh chóng. Với kinh nghiệm từ việc phát triển Google's Tensor Processing Units (TPU), Jonathan Ross và đội ngũ của mình tại Groq đang tập trung vào việc mở rộng quy mô và tối ưu hóa dòng chảy dữ liệu qua chip.

Citations:
[1] https://www.tomsguide.com/ai/meet-groq-the-chip-designed-to-run-ai-models-really-really-fast

'Chạy các mô hình AI với giá chỉ 5.000 USD': công ty khởi nghiệp CPU may mắn tuyên bố tiết kiệm 99% chi phí AI

- Tachyum, một startup về CPU, đã từng tuyên bố rằng một đơn vị Prodigy Universal Processor của họ có thể sánh ngang hàng với hàng chục GPU Nvidia H200.
- Bộ vi xử lý 192 lõi, 5nm của họ cung cấp hiệu suất cao gấp 4.5 lần so với các bộ vi xử lý tốt nhất cho tải công việc đám mây và được cho là hiệu quả hơn 6 lần so với GPU cho AI.
- Công ty giờ đây đã công bố nền tảng Prodigy ATX, một trạm làm việc AI với giá chỉ 5.000 đô la, hứa hẹn khả năng chạy mô hình AI tiên tiến.
- Hệ thống này có 1TB bộ nhớ, được thiết kế để làm cho các mô hình AI phức tạp trở nên dễ tiếp cận hơn với đại chúng.
- Nền tảng Prodigy ATX được xây dựng quanh một bộ vi xử lý Prodigy 96 lõi, được thiết kế với chỉ một nửa số lõi được kích hoạt để giảm tiêu thụ năng lượng và tăng hiệu suất, giúp giảm chi phí và làm cho nền tảng dễ tiếp cận hơn.
- Hệ thống dự kiến sẽ được trang bị 1TB DDR5-6400 SDRAM với 16 mô-đun bộ nhớ, cung cấp băng thông tối đa là 819.2 GB/s.
- Mặc dù có thông số kỹ thuật ấn tượng, nhưng vẫn có nghi ngờ về khả năng kinh tế của nền tảng Prodigy ATX đối với Tachyum.
- CEO của Tachyum, Dr. Radoslav Danilak, vẫn lạc quan, tuyên bố rằng khả năng AI mạnh mẽ của nền tảng sẽ cho phép các tổ chức mọi quy mô cạnh tranh trong các sáng kiến AI.
- Ra mắt nền tảng Prodigy ATX đã bị trì hoãn nhiều lần, với kế hoạch mới nhất đặt ra cho việc ra mắt bộ vi xử lý vào nửa sau của năm 2024.

📌 Tachyum đang thách thức quan điểm truyền thống về chi phí và hiệu suất trong lĩnh vực AI với nền tảng Prodigy ATX của mình. Với giá chỉ 5.000 đô la và trang bị 1TB RAM, hệ thống này hứa hẹn sẽ mở ra khả năng tiếp cận các mô hình AI tiên tiến cho một lượng lớn người dùng và tổ chức, từ đó làm giảm bớt sự chênh lệch giữa các tổ chức lớn và nhỏ trong cuộc đua AI. Tuy nhiên, vẫn còn những nghi ngờ về khả năng kinh tế và thực tế của việc triển khai nền tảng này, cũng như liệu Tachyum có thể giao hàng đúng hẹn và đáp ứng các hứa hẹn về hiệu suất hay không. Ra mắt nền tảng Prodigy ATX đã bị trì hoãn nhiều lần, với kế hoạch mới nhất đặt ra cho việc ra mắt bộ vi xử lý vào nửa sau của năm 2024.

Citations:
[1] https://www.techradar.com/pro/run-ai-models-for-as-low-as-dollar5000-plucky-cpu-startup-that-claimed-99-saving-on-ai-costs-now-wants-to-sell-you-an-ai-workstation-with-an-unbelievable-price-tag-and-1tb-ram

Nvidia ra mắt GPU máy tính xách tay RTX 500 và 1000 Ada Generation cho AI khi đang di chuyển

### SEO Contents

- Nvidia công bố GPU laptop RTX 500 và 1000 Ada Generation mới, nhằm mục đích hỗ trợ xử lý AI mọi lúc mọi nơi.
- GPU mới sử dụng kiến trúc Ada Lovelace, hướng đến việc tăng cường khả năng cho người sáng tạo nội dung, nhà nghiên cứu và kỹ sư.
- RTX 500 và 1000 Ada Generation được thiết kế để đáp ứng nhu cầu ngày càng tăng của các giải pháp di động mạnh mẽ, kết hợp hiệu suất AI và đồ họa cho các chuyên gia.
- Các GPU mới sẽ có mặt trong các trạm làm việc di động sắp tới từ các đối tác sản xuất toàn cầu như Dell Technologies, HP, Lenovo và MSI.
- RTX 500 và 1000 hứa hẹn sẽ cải thiện quy trình làm việc chuyên nghiệp, từ chỉnh sửa video với AI để giảm nhiễu, thiết kế đồ họa nâng cấp hình ảnh mờ, đến cải thiện trải nghiệm hội nghị truyền hình và phát trực tuyến chất lượng cao.
- Nvidia cũng cung cấp dòng GPU RTX 2000, 3000, 3500, 4000 và 5000 Ada Generation cho các nhu cầu từ rendering nâng cao, khoa học dữ liệu đến học sâu.
- RTX 500 và 1000 mang lại các cải tiến cho laptop mỏng và nhẹ bao gồm RT Cores thế hệ thứ ba, Tensor Cores thế hệ thứ tư, CUDA cores Ada Generation, bộ nhớ GPU chuyên dụng, công nghệ DLSS 3 và bộ mã hóa AV1.

📌 Nvidia đã chính thức giới thiệu hai GPU laptop mới là RTX 500 và RTX 1000 Ada Generation, đánh dấu bước tiến quan trọng trong việc cung cấp giải pháp AI di động. Với kiến trúc Ada Lovelace tiên tiến, những GPU này không chỉ hứa hẹn cải thiện đáng kể hiệu suất đồ họa và tính toán trong các thiết bị di động mà còn hỗ trợ đắc lực cho các quy trình làm việc chuyên nghiệp như chỉnh sửa video, thiết kế đồ họa và hội nghị truyền hình. Sự ra mắt của RTX 500 và 1000 cũng mở rộng dòng sản phẩm dựa trên kiến trúc Ada Lovelace của Nvidia, bao gồm các dòng GPU từ RTX 2000 đến RTX 5000, đáp ứng nhu cầu đa dạng từ rendering, khoa học dữ liệu đến học sâu. 

Citations:
[1] https://venturebeat.com/ai/nvidia-launches-rtx-500-and-1000-ada-generation-laptop-gpus-for-ai-on-the-go/

NVIDIA GIỚI THIỆU CHIP AI MỚI NHẮM VÀO THỊ TRƯỜNG TRUNG QUỐC TRONG BỐI CẢNH HẠN CHẾ XUẤT KHẨU CỦA MỸ

NVIDIA giới thiệu hai chip AI mới dành riêng cho thị trường Trung Quốc để đối phó với hạn chế xuất khẩu của Mỹ.

Các chip mới được thiết kế để tuân thủ chính sách xuất khẩu của Mỹ nhưng vẫn đáp ứng nhu cầu của khách hàng Trung Quốc.

NVIDIA nhằm mục tiêu giữ vững vị thế trong thị trường cạnh tranh, đặc biệt sau khi lệnh cấm xuất khẩu ảnh hưởng đến triển vọng kinh doanh tại khu vực này.

CEO NVIDIA, Jensen Huang, dẫn dắt sáng kiến thúc đẩy đổi mới và phát triển giải pháp phù hợp với nhu cầu địa phương.

Các chip AI mới kỳ vọng cung cấp hiệu suất và hiệu quả tăng cường cho nhiều ứng dụng từ y tế, tài chính đến lái xe tự động.

📌 NVIDIA đã thực hiện một bước đi quan trọng để thích ứng với những hạn chế xuất khẩu từ Mỹ bằng cách giới thiệu hai chip AI mới cho thị trường Trung Quốc. Điều này không chỉ cho thấy sự linh hoạt và khả năng đổi mới của NVIDIA trong bối cảnh thách thức mà còn nhấn mạnh cam kết của công ty trong việc phát triển công nghệ tiên tiến phù hợp với nhu cầu và quy định địa phương. Các chip mới được kỳ vọng sẽ mở ra cơ hội mới cho NVIDIA tại thị trường Trung Quốc, đồng thời củng cố vị thế của hãng trong ngành công nghiệp AI toàn cầu.

Nvidia H100: Chip Trung Tâm Dữ liệu Đột Phá Thúc Đẩy Cuộc Cách Mạng AI

- Chip H100 của Nvidia, được đặt theo tên nhà khoa học máy tính Grace Hopper, là một phiên bản nâng cấp của GPU, tối ưu hóa cho việc xử lý dữ liệu và tính toán lớn, phù hợp cho việc huấn luyện mô hình AI.
- H100 nhanh hơn bốn lần so với người tiền nhiệm A100 trong việc huấn luyện mô hình ngôn ngữ lớn (LLMs) và nhanh hơn 30 lần trong việc phản hồi lệnh của người dùng.
- Nvidia, thành lập năm 1993, đã đầu tư vào thị trường này gần hai thập kỷ, nhận ra khả năng xử lý song song sẽ làm tăng giá trị của chip trong các ứng dụng ngoài gaming.
- Nvidia chiếm khoảng 80% thị trường cho bộ tăng tốc AI trong các trung tâm dữ liệu của AWS, Google Cloud và Azure. Các nỗ lực tự xây dựng chip của họ và sản phẩm cạnh tranh từ AMD và Intel chưa tạo được ấn tượng mạnh.
- Nvidia cập nhật sản phẩm của mình nhanh chóng, bao gồm cả phần mềm hỗ trợ phần cứng, và đã phát triển các hệ thống cụm giúp khách hàng mua H100s theo số lượng lớn và triển khai nhanh chóng.
- AMD và Intel đang cố gắng bắt kịp Nvidia, với AMD giới thiệu dòng Instinct và Intel phát triển chip cụ thể cho tải trọng AI, nhưng Nvidia vẫn có lợi thế với ngôn ngữ lập trình CUDA của mình.
- Nvidia dự định sẽ phát hành chip kế nhiệm H100 là H200 và sau đó là mô hình B100 với những thay đổi đáng kể về thiết kế trong tương lai.

📌 Chip H100 của Nvidia đã tạo ra một bước ngoặt lớn trong ngành công nghiệp AI, không chỉ với tốc độ xử lý nhanh chóng mà còn với việc định hình Nvidia như một công ty dẫn đầu duy nhất trong lĩnh vực này. Với doanh thu tăng 81% lên đến 22 tỷ USD trong quý cuối cùng của năm 2023, Nvidia không chỉ chứng minh được sức mạnh vượt trội của mình trong việc huấn luyện mô hình ngôn ngữ lớn mà còn trong việc duy trì vị thế dẫn đầu trước các đối thủ như AMD và Intel. Sự ra mắt của H200 và sau đó là B100 hứa hẹn sẽ tiếp tục thúc đẩy sự phát triển của công nghệ AI và củng cố vị thế của Nvidia trên thị trường.

https://www.business-standard.com/companies/news/nvidia-s-h100-data-center-chip-driving-the-ai-boom-all-you-need-to-know-124022300118_1.html

Công cụ AI cấp độ tiếp theo đứng đầu trong cuộc đua tốc độ LLM

- Groq LPU Inference Engine đã vượt qua tất cả các đối thủ trong các bài kiểm tra công khai về tổng thời gian phản hồi, thông lượng theo thời gian, biến thiên thông lượng và độ trễ so với thông lượng.
- Công ty Groq, có trụ sở tại California, đã phát triển một loại chip mới để giải quyết các vấn đề về mật độ tính toán và băng thông bộ nhớ, nhằm tăng tốc độ xử lý các ứng dụng tính toán nặng như Mô hình Ngôn Ngữ Lớn (LLM).
- Đơn vị Xử lý Ngôn Ngữ (LPU) là một phần không thể thiếu của động cơ suy luận của công ty, xử lý thông tin và cung cấp câu trả lời cho các truy vấn từ người dùng cuối, cung cấp càng nhiều token (hoặc từ) càng tốt cho các phản hồi cực kỳ nhanh.
- Trong các thử nghiệm nội bộ vào cuối năm ngoái, Groq đã đạt được hơn 300 token mỗi giây cho mỗi người dùng thông qua Llama-2 (70B) LLM từ Meta AI.
- Vào tháng 1 năm 2024, ArtificialAnalysis.ai đã độc lập đánh giá Groq và API Llama 2 Chat (70B) của nó, đạt được thông lượng 241 token mỗi giây, gấp hơn hai lần tốc độ của các nhà cung cấp dịch vụ khác.
- Groq LPU Inference Engine được công nhận là lựa chọn nhanh nhất để chạy Mô hình Ngôn Ngữ Lớn, và công ty tự hào về việc được ArtificialAnalysis.ai công nhận là một đối thủ thực sự trong số các bộ tăng tốc AI.

📌 Groq LPU Inference Engine đã thiết lập một tiêu chuẩn mới trong lĩnh vực tốc độ xử lý mô hình ngôn ngữ lớn (LLM), với các kết quả đáng kinh ngạc như đạt được hơn 300 token mỗi giây cho mỗi người dùng và thông lượng 241 token mỗi giây trong các bài kiểm tra độc lập bởi ArtificialAnalysis.ai. Sự đổi mới trong thiết kế chip của Groq giúp giải quyết các thách thức về mật độ tính toán và băng thông bộ nhớ, mở ra khả năng xử lý nhanh chóng các truy vấn phức tạp và tăng cường hiệu suất cho các ứng dụng AI nặng. Sự công nhận từ bên thứ ba như ArtificialAnalysis.ai không chỉ khẳng định vị thế dẫn đầu của Groq trong ngành mà còn làm nổi bật tiềm năng của công nghệ này trong việc hỗ trợ các mô hình ngôn ngữ lớn, mở ra cánh cửa cho các ứng dụng mới và cải thiện đáng kể trải nghiệm người dùng cuối.

Citations:
[1] https://newatlas.com/technology/groq-lpu-inference-engine-benchmarks/

Nỗi lo ngày càng lớn về bong bóng khổng lồ khi cuộc đua chip AI tiến triển

- Chris Miller, tác giả của "Chip War," nhận định rằng chip tốc độ cao đã trở thành "hàng hóa chiến lược" trong tình hình đối đầu địa chính trị hiện nay.
- Chính phủ Mỹ và các quốc gia khác được dự đoán sẽ rất nhạy cảm với vị trí của các nhà máy chip và những người tham gia sản xuất để tránh cho các quốc gia độc tài như Trung Quốc sử dụng AI vào mục đích xấu.
- NVIDIA dẫn đầu thị trường chứng khoán với sự tăng trưởng mạnh mẽ.
- Pedro Domingos, một chuyên gia trong lĩnh vực AI, so sánh cơn sốt đầu tư hiện nay với một "quả bóng đang được bơm phồng nhanh chóng" cho đến khi nó vỡ.
- Domingos cảnh báo rằng nhiều người, công ty, quốc gia có thể sẽ mất một lượng tiền lớn khi bong bóng vỡ, nhưng về lâu dài, AI sẽ giống như Internet - trở thành một thực tế không thể thiếu và là nền tảng cho sự tiến bộ công nghệ tiếp theo.

📌 Trong bối cảnh địa chính trị hiện nay, chip AI đang được coi là một "hàng hóa chiến lược" quan trọng, và các quốc gia đang ngày càng nhận thức rõ về điều này. Sự nhạy cảm của chính phủ Mỹ và các quốc gia khác đối với vị trí sản xuất chip và những người tham gia vào quá trình này là một phản ứng để ngăn chặn các mối đe dọa tiềm tàng từ các quốc gia như Trung Quốc. Mặc dù có những lo ngại về một bong bóng công nghệ lớn do cơn sốt đầu tư vào AI, nhưng nhìn về lâu dài, AI được dự đoán sẽ có tác động sâu rộng và tích cực tương tự như Internet, trở thành nền tảng cho những bước tiến công nghệ tiếp theo.

Citations:
[1] https://www.dw.com/en/fears-grow-of-huge-bubble-as-ai-chip-race-advances/a-68272265

TSMC Kỳ Vọng Tăng Trưởng Mạnh Mẽ Năm 2024 Nhờ Sản Xuất Chip AI

- TSMC báo cáo hiệu suất giảm trong năm 2023 do nhu cầu chậm lại, cắt giảm đơn hàng, giảm giá, chi phí tăng và căng thẳng địa chính trị ngày càng tăng.
- Dù gặp nhiều thách thức, TSMC dự đoán doanh số bán hàng sẽ phục hồi, tăng trên 20% theo giá trị đô la trong năm nay.

📌 TSMC, một trong những công ty sản xuất chip hàng đầu thế giới, đã trải qua một năm 2023 đầy khó khăn với nhiều yếu tố tiêu cực ảnh hưởng đến hiệu suất kinh doanh như nhu cầu giảm sút, cắt giảm đơn hàng, giảm giá, chi phí sản xuất tăng và tình hình địa chính trị không ổn định. Tuy nhiên, công ty vẫn lạc quan về triển vọng trong năm 2024, với dự đoán mức tăng trưởng doanh số bán hàng lên trên 20% theo giá trị đô la, nhờ vào sự tăng trưởng của thị trường chip AI. Điều này cho thấy sự linh hoạt và khả năng thích ứng của TSMC trước những biến động của thị trường, cũng như năng lực cạnh tranh mạnh mẽ trong lĩnh vực công nghệ cao.

Citations:
[1] https://www.digitimes.com/news/a20240219PD200/tsmc-ic-manufacturing-2024-ai.html

SAM ALTMAN CỦA OPENAI ĐANG TÌM KIẾM SỰ CHẤP THUẬN CỦA HOA KỲ CHO DỰ ÁN SẢN XUẤT CHIP ĐẦY THAM VỌNG TRỊ GIÁ 7 NGHÌN TỶ USD

- Sam Altman, CEO của OpenAI, đang tìm kiếm sự chấp thuận từ chính quyền Joe Biden cho dự án sản xuất bán dẫn trị giá 7 nghìn tỷ đô la.
- Mục tiêu của dự án là biến đổi ngành công nghiệp bán dẫn toàn cầu và nâng cao khả năng phát triển và triển khai AI.
- Dự án này quan trọng trong việc tiến bộ của AI và giải quyết vấn đề thiếu hụt chip tính toán tiên tiến.
- Altman đã thảo luận với các nhà đầu tư tiềm năng và đối tác từ Mỹ, Trung Đông và Châu Á để hỗ trợ tầm nhìn của mình.
- Sự thành công của dự án phụ thuộc vào việc nhận được sự chấp thuận từ các quan chức chính phủ Mỹ.
- Các nhà sản xuất chip hàng đầu như TSMC và Samsung Electronics đã bày tỏ sự quan tâm, cho thấy tiềm năng lớn của dự án trong việc biến đổi ngành công nghiệp bán dẫn.
- Altman dự định tạo ra một công ty mới riêng biệt từ OpenAI để thông qua việc phát hành cổ phần hỗ trợ nhu cầu tài chính của dự án.
- Dự án này cũng có thể gặp phải mối quan ngại về chống độc quyền, cần phải có thêm sự chấp thuận từ các cơ quan chức năng Mỹ.
- Dự án không chỉ có ý nghĩa về mặt tài chính và công nghệ mà còn là bước đi chiến lược để đảm bảo sự phát triển liên tục của công nghệ AI bằng cách bảo đảm cơ sở hạ tầng cần thiết và ngăn chặn tình trạng thiếu hụt chip.

📌 Dự án sản xuất bán dẫn trị giá 7 nghìn tỷ đô la của Sam Altman là một bước tiến quan trọng trong việc định hình lại ngành công nghiệp AI toàn cầu. Sự chấp thuận từ chính quyền Mỹ và các cơ quan chức năng sẽ là chìa khóa để dự án có thể tiến triển, đồng thời đảm bảo rằng các vấn đề về chống độc quyền được giải quyết một cách thận trọng. Sự quan tâm từ các nhà sản xuất chip hàng đầu như TSMC và Samsung Electronics cũng là một dấu hiệu tích cực cho thấy dự án có tiềm năng lớn trong việc cải thiện cơ sở hạ tầng cần thiết cho sự phát triển của AI.

Citations:
[1] https://www.cryptopolitan.com/sam-altman-seeks-approval-for-chipmaking/

LIÊN DOANH CHIP AI ĐẦY THAM VỌNG CỦA MASAYOSHI SON – THEO ĐUỔI GIẤC MƠ TRỊ GIÁ 100 TỶ USD

- Masayoshi Son, người sáng lập SoftBank Group, đang hướng tới việc thiết lập một dự án chip AI đột phá với mục tiêu huy động được 100 tỷ đô la, mang tên mã là Izanagi.
- Dự án này đánh dấu sự chuyển hướng của Son khỏi các khoản đầu tư startup truyền thống, tập trung vào việc định hình tương lai của công nghệ AI thông qua đổi mới bán dẫn.
- Izanagi không chỉ nhằm cạnh tranh với các gã khổng lồ trong ngành như Nvidia mà còn muốn tạo ra một cường quốc trong phát triển chip AI, có thể tái định hình bức tranh công nghệ trong nhiều năm tới.
- Sự khám phá của dự án chip AI Izanagi bắt nguồn từ một sự tái định hướng chiến lược trong SoftBank, nơi các khoản đầu tư startup truyền thống được thay thế bằng các dự án nhắm vào cơ sở hạ tầng công nghệ cốt lõi.
- Son muốn sử dụng Izanagi như một viên gạch nền tảng trong nỗ lực thiết lập SoftBank thành một lực lượng thống trị trong lĩnh vực sản xuất chip AI, bổ sung cho khả năng của Arm Holdings, một đơn vị thiết kế chip thuộc sở hữu của SoftBank.
- Tham vọng của Son vượt ra ngoài các giới hạn thông thường, khi ông tưởng tượng Izanagi không chỉ là một đối thủ cạnh tranh với các nhà lãnh đạo ngành hiện tại mà còn là một chất xúc tác cho sự đổi mới.

📌 Masayoshi Son đang tiến hành một bước đi táo bạo với dự án chip AI Izanagi, với mục tiêu huy động được 100 tỷ đô la, không chỉ nhằm cạnh tranh với các gã khổng lồ công nghệ như Nvidia mà còn nhằm tạo ra một đế chế mới trong lĩnh vực phát triển chip AI. Dự án này không chỉ là một phần của sự chuyển hướng chiến lược của SoftBank từ các khoản đầu tư startup truyền thống sang các dự án tập trung vào cơ sở hạ tầng công nghệ cốt lõi mà còn là một nỗ lực nhằm bổ sung và tăng cường khả năng của Arm Holdings. Thông qua việc tạo ra sự hợp tác và sự đồng điệu giữa Izanagi và các thực thể khác trong hệ sinh thái rộng lớn của SoftBank, Son mong muốn khơi dậy một sự thay đổi lớn trong thế giới bán dẫn AI

Citations:
[1] https://www.cryptopolitan.com/masayoshi-sons-ai-chip-venture-100-billion/

ĐỘT PHÁ TRONG CÔNG NGHỆ CHIP AI

- Các kỹ sư tại Đại học Pennsylvania đã phát triển một chip AI đột phá sử dụng sóng ánh sáng thay vì điện để thực hiện các phép toán phức tạp cần thiết cho việc đào tạo AI.
- Chip này, được gọi là chip silicon-photonic (SiPh), hứa hẹn cải thiện đáng kể tốc độ xử lý máy tính và giảm tiêu thụ năng lượng, đánh dấu một bước tiến quan trọng trong công nghệ tính toán.
- Chip SiPh kết hợp chuyên môn của Nader Engheta trong việc điều khiển vật liệu ở cấp độ nano cho các phép toán dựa trên ánh sáng với công trình tiên phong của Firooz Aflatouni trong các thiết bị silicon ở cấp độ nano.
- Công trình nghiên cứu này được công bố trên Nature Photonics, mô tả sự ra đời của chip và tiềm năng của nó trong việc cách mạng hóa tính toán như chúng ta biết.
- Chip có khả năng kiểm soát sự truyền dẫn ánh sáng bằng cách làm mỏng silicon ở các khu vực cụ thể, tạo điều kiện cho việc thực hiện các phép toán toán học với tốc độ chóng mặt.
- Sự hợp tác giữa Engheta, Aflatouni và các nhóm nghiên cứu của họ là ví dụ về sự kết hợp giữa các lĩnh vực nghiên cứu sáng tạo, thúc đẩy các biên giới công nghệ tiến lên.

📌 Chip silicon-photonic (SiPh) đánh dấu một bước tiến quan trọng trong lĩnh vực công nghệ AI, với khả năng cải thiện đáng kể tốc độ xử lý máy tính và giảm tiêu thụ năng lượng. Sự đổi mới này không chỉ mở ra cánh cửa cho việc tăng cường hiệu suất và bảo mật trong các hệ thống AI mà còn đặt nền móng cho một kỷ nguyên mới của tính toán dựa trên ánh sáng. 

Citations:
[1] https://www.cryptopolitan.com/breakthrough-in-ai-chip-technology/

Sam Altman tìm kiếm hàng nghìn tỷ đô la để định hình lại hoạt động kinh doanh chip và AI

- Sam Altman, CEO của OpenAI, đang thảo luận với các nhà đầu tư để huy động từ 5 đến 7 nghìn tỷ đô la cho dự án công nghệ bán dẫn.
- Mục tiêu của việc huy động vốn là giải quyết các rào cản cho sự phát triển của OpenAI, bao gồm sự khan hiếm của GPU đắt đỏ cần thiết để huấn luyện các mô hình ngôn ngữ lớn.
- Dự án này có thể làm tăng đáng kể công suất sản xuất chip toàn cầu và mở rộng khả năng hỗ trợ AI.
- Doanh số bán chip toàn cầu năm ngoái đạt 527 tỷ đô la và dự kiến sẽ tăng lên 1 nghìn tỷ đô la hàng năm vào năm 2030.
- Altman đã thảo luận với Bộ trưởng Thương mại Mỹ Gina Raimondo về sáng kiến này.
- OpenAI có thể trở thành khách hàng lớn của các nhà máy chip mới thông qua quan hệ đối tác với các nhà đầu tư, nhà sản xuất chip và nhà cung cấp năng lượng.
- Các cuộc thảo luận vẫn đang ở giai đoạn đầu và có thể kéo dài nhiều năm.
- Altman cũng đã gặp gỡ Sheikh Tahnoun bin Zayed al Nahyan của UAE và Masayoshi Son, CEO của SoftBank, cũng như đại diện từ các công ty sản xuất chip như TSMC.
- Microsoft, đối tác của OpenAI, biết về nỗ lực huy động vốn của OpenAI và ủng hộ chúng.

📌 Kế hoạch huy động vốn của Sam Altman, CEO của OpenAI, có thể coi là một bước tiến đầy tham vọng nhằm mở rộng khả năng sản xuất chip và hỗ trợ sự phát triển của AI trên toàn cầu. Với việc thảo luận về việc huy động từ 5 đến 7 nghìn tỷ đô la, Altman không chỉ đối mặt với thách thức về mặt tài chính mà còn cả những vấn đề liên quan đến chính sách và chiến lược quốc gia. Sự tham gia của các nhà đầu tư lớn như chính phủ UAE và các công ty công nghệ hàng đầu như Microsoft và TSMC cho thấy sự quan trọng của dự án này đối với tương lai của ngành công nghiệp AI. Tuy nhiên, với những rủi ro và không chắc chắn, chỉ thời gian mới có thể xác định liệu kế hoạch này có thể trở thành hiện thực hay không.

Citations:
[1] https://www.wsj.com/tech/ai/sam-altman-seeks-trillions-of-dollars-to-reshape-business-of-chips-and-ai-89ab3db0

Startup chip bán dẫn Hàn Quốc thách thức sự thống trị của NVIDIA

- Rebellions, một startup chuyên về chip AI tại Hàn Quốc, đã gây chú ý khi tuyên bố mục tiêu cạnh tranh với Nvidia thông qua việc sản xuất chip bởi Samsung. 
- Trong bối cảnh giá cổ phiếu của Nvidia tăng vọt trong năm qua, các startup về bán dẫn từ Silicon Valley đến Seoul đang nỗ lực gây quỹ để chiếm lĩnh thị trường chip AI đang phát triển nhanh chóng. 
- Rebellions, được thành lập bởi một cựu quant của Wall Street và có trụ sở tại Seongnam, phía nam Seoul, đã công bố việc huy động được 124 triệu USD trong vòng gọi vốn Series B, nâng tổng số vốn huy động được lên 210 triệu USD, cao hơn bất kỳ startup chip AI nào khác tại Hàn Quốc. 
- Sunghyun Park, đồng sáng lập và CEO của Rebellions, cho biết công ty của ông có thể cạnh tranh với Nvidia, công ty hiện đang chiếm lĩnh khoảng 90% thị phần và được biết đến với giá thành cao. 
- Rebellions hợp tác với Samsung, công ty lớn nhất Hàn Quốc, và nhận được sự ủng hộ từ một số nhà đầu tư hàng đầu của quốc gia này, đặt mục tiêu trở thành "David" đối đầu với "Goliath" Nvidia, theo lời của Park.

📌 Rebellions, một startup hàng đầu về chip AI tại Hàn Quốc, đã thành công trong việc huy động được tổng cộng 210 triệu USD qua các vòng gọi vốn, bao gồm 124 triệu USD từ vòng Series B, đánh dấu mình là startup chip AI được tài trợ nhiều nhất tại Hàn Quốc. Với mục tiêu cạnh tranh trực tiếp với Nvidia - công ty chiếm lĩnh khoảng 90% thị phần và nổi tiếng với giá thành cao của sản phẩm, Rebellions đã bắt tay với Samsung, công ty lớn nhất Hàn Quốc, để sản xuất chip AI. 

 

CXMT của Trung Quốc đặt mục tiêu xây dựng chip nhớ tiên tiến đầu tiên của đất nước cho AI

- ChangXin Memory Technologies (CXMT) của Trung Quốc đang nỗ lực sản xuất bộ nhớ băng thông cao (HBM) đầu tiên trong nước, một thành phần quan trọng trong tính toán AI, để giảm phụ thuộc vào nguồn cung cấp nước ngoài.
- CXMT đã đặt mua và nhận thiết bị sản xuất và kiểm tra từ các nhà cung cấp Mỹ và Nhật Bản phù hợp cho việc lắp ráp và sản xuất HBM.
- Công ty đặt trọng tâm phát triển công nghệ xếp chồng chip DRAM để mô phỏng kiến trúc của chip HBM, mặc dù công nghệ HBM của họ chưa sẵn sàng cho sản xuất hàng loạt.
- HBM được đầu tư mạnh mẽ do khả năng tăng tốc độ tính toán và ứng dụng AI. Ví dụ, chip Nvidia H100 kết hợp bộ xử lý đồ họa với sáu HBM để tạo ra phản hồi nhanh chóng, giống như con người.
- CXMT cũng đã bảo đảm thiết bị cho nhà máy thứ hai tại Hefei để sản xuất DRAM tiên tiến nhất của Trung Quốc từ nhà cung cấp địa phương, nhưng vẫn kém tiên tiến so với sản phẩm của Samsung và SK Hynix.
- Một số nhà cung cấp thiết bị hàng đầu Mỹ đã nhận được giấy phép từ Washington để xuất khẩu công cụ sản xuất chip cho nhà sản xuất chip nhớ Trung Quốc từ giữa năm 2023.
- Mỹ đã áp đặt kiểm soát xuất khẩu toàn diện vào tháng 10/2022 nhằm hạn chế khả năng sản xuất DRAM tiên tiến của Bắc Kinh, nhưng sau đó đã cấp phép cho một số nhà cung cấp với công nghệ ít tiên tiến hơn.
- CXMT không ngay lập tức phản hồi yêu cầu bình luận từ Nikkei Asia.
- CXMT đã bắt đầu sản xuất chip nhớ LPDDR5 đầu tiên của Trung Quốc vào cuối năm ngoái, dành cho smartphone cao cấp. Xiaomi và Transsion đã hoàn thành xác minh chip nhớ di động của CXMT.
- CXMT có ít hơn 1% thị phần DRAM toàn cầu vào năm 2023, trong khi ba người chơi chủ đạo (Samsung, SK Hynix và Micron) kiểm soát hơn 97%.
- HBM được kiểm soát bởi hai nhà sản xuất chip DRAM lớn nhất thế giới, SK Hynix và Samsung, với hơn 92% thị phần toàn cầu vào năm 2023.

📌 CXMT, nhà sản xuất chip nhớ hàng đầu của Trung Quốc, đang tiến gần hơn đến việc sản xuất bộ nhớ băng thông cao (HBM) đầu tiên trong nước, một thành phần quan trọng trong tính toán AI (VD: chip Nvidia H100 kết hợp bộ xử lý đồ họa với 6 HBM), với mục tiêu giảm sự phụ thuộc vào nguồn cung cấp nước ngoài trong bối cảnh đối mặt với các kiểm soát xuất khẩu từ Mỹ. Dù công nghệ HBM của họ chưa sẵn sàng cho sản xuất hàng loạt và thị phần DRAM toàn cầu của họ chỉ dưới 1% vào năm 2023, trong khi ba công ty chủ đạo (Samsung, SK Hynix và Micron) kiểm soát hơn 97%.

Các nhà phân tích ước tính Nvidia sở hữu 98% thị trường GPU trung tâm dữ liệu

  • Nvidia đang thống trị thị trường GPU trung tâm dữ liệu, ước tính chiếm tới 98% thị phần.
  • Công ty dự kiến sẽ thu về từ 37 đến 45,7 tỷ đô la từ GPU trung tâm dữ liệu trong năm 2023 và 2024.
  • AMD đang cố gắng giành thị phần từ Nvidia, nhưng chỉ có thể giảm thị phần của Nvidia xuống còn 94-96% trong năm 2024.
  • Intel cũng đang tham gia thị trường GPU trung tâm dữ liệu, nhưng vẫn còn tụt hậu so với Nvidia và AMD.
  • Sự thống trị của Nvidia một phần là do sự thiếu hụt GPU trung tâm dữ liệu trên toàn cầu, cũng như nhu cầu ngày càng tăng đối với AI.

📌 Nvidia đang thống trị thị trường GPU trung tâm dữ liệu, với thị phần ước tính là 98%. Sự thống trị này là do sự kết hợp của nhiều yếu tố, bao gồm nhu cầu ngày càng tăng đối với AI, sự thiếu hụt GPU trung tâm dữ liệu trên toàn cầu và hệ sinh thái phần mềm mạnh mẽ của Nvidia. AMD và Intel đang cố gắng giành thị phần, nhưng Nvidia vẫn giữ vị trí dẫn đầu. Dự kiến trong năm 2024, Nvidia sẽ tiếp tục mở rộng vị thế thống trị của mình khi ra mắt GPU Blackwell. Tuy nhiên, sự tăng trưởng của Nvidia có thể bị hạn chế bởi tình trạng thiếu hụt CoWoS (chip trên wafer trên đế), một loại bao bì cần thiết cho GPU trung tâm dữ liệu.

Sự bùng nổ AI thúc đẩy nhu cầu về công nghệ làm mát máy chủ

  • Làn sóng AI đang khiến nhu cầu về công nghệ làm mát máy chủ tăng mạnh.

  • Các chip và máy chủ dùng cho AI ngày càng phát nhiệt cao và tiêu tốn nhiều năng lượng hơn.

  • Lite-On Technology của Đài Loan là một trong những công ty đang tích cực phát triển các giải pháp làm mát dựa trên chất lỏng cho các trung tâm dữ liệu AI.

  • Nhiệt độ là một trong những thách thức lớn nhất để nâng cao hiệu năng tính toán của AI.

  • Lite-On đặt cược vào các giải pháp làm mát lỏng để giải quyết vấn đề phát nhiệt của chip và máy chủ AI.

  • Các công nghệ làm mát tinh vi hơn là điều cần thiết cho làn sóng trung tâm dữ liệu AI.

📌Làn sóng phát triển AI đòi hỏi các công nghệ làm mát máy chủ hiệu quả hơn. Các công ty như Lite-On của Đài Loan đang tập trung phát triển các giải pháp làm mát lỏng tiên tiến để giải quyết thách thức về nhiệt độ và tiêu thụ điện năng ngày càng cao của các hệ thống AI. Đây là xu hướng công nghệ quan trọng hỗ trợ sự phát triển của AI.

Danh sách 18 công ty thiết kế chip AI thách thức NVIDIA, AMD, Google, Amazon và Microsoft

  1. Anthropic: Được thành lập năm 2021, Anthropic tập trung phát triển các chip AI tiết kiệm năng lượng dành riêng cho các ứng dụng trí tuệ nhân tạo chung (AGI). Họ đã giới thiệu thiết bị Claude được thiết kế để mô phỏng suy nghĩ của con người. Chip AI của Anthropic giúp cải thiện hiệu quả năng lượng cho các mô hình AI phức tạp.

  2. Cerebras: Được thành lập năm 2016, Cerebras phát triển chip AI tốc độ cao CS-1 dành riêng cho học sâu. Chip tập trung tối đa hóa băng thông và bộ nhớ đệm để tăng tốc độ huấn luyện cho các mạng học sâu lớn. Hệ thống CS-1 của Cerebras cho hiệu suất đào tạo AI cao hơn 26x so với GPU.

  3. Graphcore: Được thành lập năm 2016, Graphcore sản xuất chip IPU (Intelligence Processing Unit) đột phá dành riêng cho đào tạo AI với kiến trúc tính toán song song. Chip Colossus GC200 của Graphcore tăng tốc độ huấn luyện mô hình AI so với GPU truyền thống.

  4. Groq: Được thành lập năm 2017, Groq phát triển các chip chuyên dụng cho các ứng dụng học sâu và xử lý ngôn ngữ tự nhiên. Groq One là chip AI đầu tiên của công ty có tốc độ 1 PetaOPS, thích hợp cho AI real-time.

  5. Habana Labs: Được thành lập năm 2016, Habana Labs sản xuất các thiết bị huấn luyện và chạy dự đoán AI. Họ có 2 dòng chip chính là chip Goya cho huấn luyện AI và chip Gaudi cho chạy AI inference, đạt hiệu suất cao mà tiêu thụ ít năng lượng hơn so với GPU. Habana Labs được Intel mua lại với giá 2 tỷ USD năm 2019.

  6. Horizon Robotics: Được thành lập năm 2015, Horizon Robotics (Thượng Hải, Trung Quốc) phát triển chip AI xử lý âm thanh và hình ảnh chuyên dụng cho xe tự lái. Họ cung cấp các chip nền tảng Journey và Sunrise, tích hợp phần cứng và phần mềm cho xe tự lái.

  7. Mythic: Được thành lập năm 2012, Mythic (Texas, Mỹ) thiết kế chip AI nhỏ gọn áp dụng trong cảm biến và thiết bị IoT nhờ công nghệ analog computing. Họ đã giới thiệu chip Mythic M1104 với mật độ năng lượng cao.

  8. NeuReality: Được thành lập năm 2018, NeuReality (Israel) phát triển chip NR1 cho đào tạo và phân loại hình ảnh. NR1 tích hợp 240 nhân AI, cho phép đào tạo AI trên chiếc kính thực tế ảo.

  9. Sima.ai: Được thành lập năm 2016, Sima.ai (Israel) cung cấp cả phần cứng và phần mềm cho các hệ thống AI tổng hợp. Họ phát triển bộ xử lý AI Sima-1 và nền tảng phần mềm Hampa.

  10. SambaNova: Được thành lập năm 2017, SambaNova (California, Mỹ) phát triển hệ thống AI Reconfigurable được tối ưu cả phần cứng và phần mềm. Hệ thống Cardinal của họ đạt hiệu năng AI cao trên mọi nền tảng.

  11. Syntiant: Được thành lập năm 2017, Syntiant (California, Mỹ) chuyên sản xuất các chip AI nhúng cho cảm biến và thiết bị IoT với kiến trúc neural network tích hợp. Họ cung cấp các chip Syntiant NDP100 và NDP101 cho các ứng dụng như trợ lý ảo.

  12. Tenstorrent: Được thành lập năm 2016, Tenstorrent (Toronto, Canada) phát triển chip AI Grayskull dành riêng cho lĩnh vực xe tự lái và robot. Grayskull là chip AI tổng hợp đầu tiên cho xe tự lái cấp độ 4-5.

  13. Untether AI: Được thành lập năm 2015, Untether AI (Toronto, Canada) thiết kế chip AI RISC-V cho camera AI và IoT. Họ cung cấp chip UAI-1 với khả năng xử lý AI nhanh chóng và hiệu quả.

  14. Valence: Được thành lập năm 2019, Valence (California, Mỹ) phát triển các kiến trúc hệ thống cho chip AI và học sâu. Họ đã xây dựng nền tảng phần cứng và phần mềm cho công nghệ AI tiên tiến.

  15. Wave Computing: Được thành lập năm 2010, Wave Computing (California, Mỹ) chuyên về kiến trúc dữ liệu động cho chip AI. Họ phát triển các bộ xử lý AI có khả năng tái cấu hình đáp ứng nhu cầu tính toán thay đổi.

  16. Wiliot: Được thành lập năm 2017, Wiliot (Israel) phát triển chip AI Arm chuyên dụng cho IoT và cảm biến không dây. Họ cung cấp chip Bluetooth tích hợp AI cho các thiết bị thông minh, có thể hoạt động 5-10 năm chỉ với pin cỡ viên kẹo.

  17. XMOS: Được thành lập năm 2005, XMOS (Anh) phát triển bộ xử lý AI đa nhân xCORE dành riêng cho cạnh mạng và cảm biến thông minh. Họ cung cấp các chip xử lý AI nhúng Xcore.ai cho các thiết bị IoT.

  18. Zedsen: Được thành lập năm 2014, Zedsen (Canada) chuyên về thiết kế chip xử lý tín hiệu số Z-100 cho các ứng dụng AI edge. Chip của Zedsen tối ưu hóa hiệu năng và hiệu quả năng lượng cho AI.

Siêu máy tính tự chế tạo đầu tiên của Trung Quốc đi vào hoạt động - Trung tâm Điện toán Thông minh Trung tâm được làm mát bằng chất lỏng và được chế tạo cho AI

  • Trung Quốc đã chế tạo thành công siêu máy tính đầu tiên do nước này tự sản xuất hoàn toàn, có tên là Trung tâm Điện toán Thông minh Trung ương.
  • Siêu máy tính này được làm mát bằng chất lỏng và được thiết kế để phục vụ cho trí tuệ nhân tạo (AI).
  • Trung tâm Điện toán Thông minh Trung ương có thể huấn luyện các mô hình ngôn ngữ lớn (LLM) với hàng nghìn tỷ tham số.
  • Trung Quốc không công bố thông số kỹ thuật chi tiết của siêu máy tính này, nhưng có nguồn tin cho rằng nó có hiệu suất lên tới 5 exaflop.
  • Việc Trung Quốc chế tạo thành công siêu máy tính này là một bước tiến quan trọng trong nỗ lực giành độc lập công nghệ của nước này.

📌Trung Quốc đã chế tạo thành công siêu máy tính đầu tiên do nước này tự sản xuất hoàn toàn, có tên là Trung tâm Điện toán Thông minh Trung ương. Đây là một bước tiến quan trọng trong nỗ lực giành độc lập công nghệ của Trung Quốc. Siêu máy tính này được làm mát bằng chất lỏng và được thiết kế để phục vụ cho AI. Trung tâm Điện toán Thông minh Trung ương có thể huấn luyện các mô hình ngôn ngữ lớn (LLM) với hàng nghìn tỷ tham số. Mặc dù Trung Quốc không công bố thông số kỹ thuật chi tiết của siêu máy tính này, nhưng có nguồn tin cho rằng nó có hiệu suất lên tới 5 exaflop. 

Intel sẽ mang lại bước nhảy vọt gấp 5 lần về AI chỉ trong hai thế hệ chip – Panther Lake vào năm 2025 sẽ tăng gấp đôi hiệu suất AI so với Arrow Lake và Lunar Lake

  • Intel đang hướng tới một bước nhảy vọt với hiệu suất AI, tăng gấp 5 lần chỉ trong hai thế hệ chip.
  • Chip Panther Lake dự kiến ra mắt năm 2025 sẽ gấp đôi hiệu suất AI so với các thế hệ chip Arrow Lake và Lunar Lake.
  • CEO Pat Gelsinger của Intel thông báo trong cuộc gọi thu nhập quý 4 rằng Lunar Lake và Arrow Lake sẽ ra mắt sau này trong năm, và cả hai sẽ gấp ba lần hiệu suất AI so với Meteor Lake.
  • Sự cải tiến mạnh mẽ này phần lớn đến từ Arrow Lake và Lunar Lake, với Panther Lake làm tăng gấp đôi hiệu suất của Arrow Lake, dẫn đến một sự cải thiện tổng thể lên đến 5 lần so với Meteor Lake.
  • Các chip Xeon Clearwater Forest, dựa trên nút sản xuất Intel 18A, đã được đưa vào sản xuất, và Panther Lake sẽ sớm theo sau.
  • Intel 18A được kỳ vọng sẽ đạt sẵn sàng sản xuất vào nửa sau của năm 2024, hoàn thành mục tiêu phát triển năm nút công nghệ trong vòng bốn năm và đưa Intel trở lại với vị thế dẫn đầu về công nghệ sản xuất chip.
  • Tăng hiệu suất AI này được thêm vào những cải thiện dự kiến trong hiệu suất và hiệu quả của CPU truyền thống, nhờ phần nào vào việc sử dụng nút Intel 18A cho Panther Lake.

📌 Intel đang hướng đến việc cung cấp một sự cải thiện đáng kể trong hiệu suất AI với chip Panther Lake, dự kiến ra mắt vào năm 2025, sẽ mang lại hiệu suất gấp đôi so với thế hệ chip Arrow Lake và Lunar Lake. Điều này đại diện cho một bước nhảy vọt lên đến 5 lần so với Meteor Lake chỉ trong hai thế hệ chip tiếp theo, đồng thời đánh dấu sự trở lại của Intel trong cuộc đua công nghệ sản xuất chip với việc hoàn thành mục tiêu phát triển năm nút công nghệ trong bốn năm và kỳ vọng nút Intel 18A sẽ đạt sẵn sàng sản xuất vào nửa sau của năm 2024.

MỨC TĂNG VỌT CỦA ASML LÀM NỔI BẬT SỨC SỐNG CHO CÁC NHÀ SẢN XUẤT CHIP AI

  • ASML Holding NV, công ty công nghệ giá trị nhất của Châu Âu, chứng kiến đà tăng giá cổ phiếu kỷ lục, đạt mức cao mới trong tuần này.
  • Công ty có tuần tốt nhất trong hơn một năm với mức tăng ấn tượng 16% sau khi công bố kết quả kinh doanh mạnh mẽ, phản ánh nhu cầu mạnh mẽ đối với máy móc tiên tiến của họ.
  • Sự phục hồi nhanh chóng về số lượng đơn đặt hàng, đặc biệt là trong lĩnh vực bộ nhớ băng thông cao, được thúc đẩy bởi nhu cầu tăng mạnh đối với trí tuệ nhân tạo (AI).
  • ASML đóng vai trò quan trọng trong cơ sở hạ tầng AI, với các hệ thống in thạc bản tia cực tím (EUV) được coi là yếu tố cơ bản cho việc sản xuất chip hiện đại.
  • Nhu cầu đột biến đối với máy móc của ASML, do nhu cầu cấp thiết về cơ sở hạ tầng AI, nhấn mạnh vai trò không thể thiếu của công ty trong việc thúc đẩy công nghệ AI.
  • Mặc dù ASML đối mặt với sự chậm trễ trong đơn đặt hàng từ khách hàng lớn vào năm 2023, sự phục hồi hiện tại cho thấy một bước ngoặt.
  • Cổ phiếu của ASML có thể có vẻ đắt đỏ khi nhìn vào dự báo doanh thu năm sau nhưng được dự đoán sẽ trở nên hợp lý khi xem xét doanh thu năm 2025.
  • ASML dự kiến sẽ có một năm chuyển tiếp với sự tăng trưởng hạn chế trong năm 2024, nhưng vẫn có những dấu hiệu tích cực trong ngành công nghiệp chip.

📌 Mặc dù phải đối mặt với những bất ổn trong ngắn hạn, ASML Holding NV tiếp tục thể hiện tầm quan trọng không thể thiếu của mình trong ngành công nghiệp bán dẫn, đặc biệt là trong bối cảnh nhu cầu cấp thiết đối với cơ sở hạ tầng AI ngày càng tăng. Sự bùng nổ trong đơn hàng và kết quả kinh doanh mạnh mẽ phản ánh sự công nhận của ngành công nghiệp đối với vai trò trung tâm của ASML trong việc thúc đẩy công nghệ sản xuất chip cần thiết để hiện thực hóa tiềm năng đầy đủ của AI.

Bối cảnh sắp tới của chip AI

  • AI không phải là công nghệ "cỡ nào cũng vừa", và cũng không có bộ xử lý "cỡ nào cũng vừa" cho AI. Hiện có nhiều mô hình được phát triển cho các mục đích khác nhau.
  • Các tác vụ AI được triển khai trên nhiều thiết bị như IoT thông minh, điện thoại thông minh, PC, xe cộ, và trong các trung tâm dữ liệu lớn và cơ sở hạ tầng đám mây.
  • Các bộ xử lý lớn nhất, chủ yếu từ Nvidia, đã chiếm nhiều tiêu đề, nhưng có một loạt nhà cung cấp bộ xử lý khác sẽ thực hiện các tác vụ AI trong toàn bộ hệ sinh thái thiết bị và ứng dụng.
  • Trong một đến hai năm tới, dự kiến 80-90% tất cả các tác vụ sẽ chạy trên xử lý suy luận, trên nhiều loại chip từ bộ xử lý nhỏ trong thiết bị người dùng cuối, đến bộ xử lý kích thước trung bình chạy ở cạnh hoặc trong trung tâm dữ liệu.
  • Có một hệ sinh thái lớn của bộ xử lý tăng tốc AI sẽ có sẵn từ nhiều nhà cung cấp. ARM và RISC-V đang bổ sung khả năng tăng tốc AI cho hệ sinh thái của mình, Qualcomm và MediaTek cung cấp bộ xử lý cho điện thoại thông minh cao cấp với NPU tích hợp.
  • Máy tính cá nhân sẽ có bộ tăng tốc AI tích hợp trong chip từ Intel và AMD, thêm nhiều tính năng mới do AI hỗ trợ cho các thiết bị và ứng dụng của chúng.
  • Trong lĩnh vực máy chủ, trung tâm dữ liệu và đám mây, sự chuyển đổi sang AI đang tạo ra thị trường thay thế, kích thích chu kỳ làm mới mạnh mẽ trong hai đến ba năm tới.
  • Dự kiến ít nhất 65-75% máy tính cá nhân sẽ có bộ tăng tốc AI tích hợp trong ba năm tới, cũng như hầu hết điện thoại thông minh cấp trung đến cao cấp.
  • AI đang mở rộng nhanh chóng từ cơ sở hiện tại của các chip hiệu suất cao chạy các hệ thống đào tạo lớn để bao gồm một loạt các giải pháp dựa trên suy luận. Sự mở rộng này sẽ cho phép tạo ra nhiều giải pháp mới dựa trên khả năng tăng tốc được tích hợp trong phần lớn các chip thế hệ tiếp theo.

 

Sam Altman tìm kiếm hàng tỷ USD để thành lập các nhà máy sản xuất chip AI

  • Sam Altman, CEO của OpenAI, đang cố gắng gây quỹ hàng tỷ đô la từ các nhà đầu tư toàn cầu để thiết lập một mạng lưới nhà máy sản xuất bán dẫn.
  • Altman đã tiến hành thảo luận với nhiều nhà đầu tư tiềm năng lớn nhằm huy động số vốn cần thiết cho các nhà máy sản xuất chip (fabrics), theo thông tin từ các nguồn giấu tên.
  • Các công ty đã thảo luận với Altman bao gồm G42 có trụ sở tại Abu Dhabi và SoftBank Group Corp. Dự án sẽ hợp tác với các nhà sản xuất chip hàng đầu và mạng lưới các nhà máy sẽ có phạm vi toàn cầu.
  • Mục tiêu của Altman phản ánh mối quan ngại rằng khi AI trở nên phổ biến hơn, sẽ không đủ chip để triển khai rộng rãi, và các dự báo hiện tại về sản xuất chip liên quan đến AI không đáp ứng được nhu cầu dự kiến.
  • Việc xây dựng và duy trì các nhà máy sản xuất bán dẫn rất tốn kém so với phương pháp thiết kế chip silicon tùy chỉnh và sau đó thuê bên ngoài sản xuất, phương pháp mà các đối tác ngành AI của OpenAI thường áp dụng.
  • Việc xây dựng một nhà máy sản xuất tiên tiến có thể cần đến hàng chục tỷ đô la, và việc tạo ra một mạng lưới các cơ sở như vậy sẽ mất nhiều năm. Các cuộc thảo luận với G42 tập trung vào việc gây quỹ 8-10 tỷ đô la.
  • Intel Corp., Taiwan Semiconductor Manufacturing Co., và Samsung Electronics Co. là những đối tác tiềm năng cho OpenAI trong dự án này.

📌 Sam Altman đang nỗ lực mạnh mẽ nhằm thiết lập mạng lưới các nhà máy sản xuất chip AI để đáp ứng nhu cầu ngày càng tăng trong kỷ nguyên AI đang bùng nổ. Với việc cần đến hàng chục tỷ đô la cho mỗi nhà máy và mục tiêu gây quỹ lên đến 8-10 tỷ đô la chỉ với G42, dự án này thể hiện quy mô và tham vọng lớn. Nếu thành công, việc này có thể đảm bảo nguồn cung chip AI đủ lớn để đáp ứng nhu cầu toàn cầu vào cuối thập kỷ này.

Sam Altman đang đàm phán với công ty sản xuất chất bán dẫn Đài Loan để khởi động nhà máy chip AI

  • Sam Altman, người đứng đầu của công ty khởi nghiệp AI OpenAI, đang có cuộc thảo luận với Taiwan Semiconductor Manufacturing Company (TSMC).
  • Mục đích là để khởi động một nhà máy sản xuất chip AI tại Đài Loan.
  • Động thái này được xem là phần của kế hoạch mở rộng quy mô sản xuất chip AI, đáp ứng nhu cầu ngày càng tăng.
  • Thông tin này, tuy chưa được xác nhận chính thức từ cả hai bên, đã thu hút sự chú ý lớn từ giới công nghệ.
  • TSMC là công ty sản xuất bán dẫn hàng đầu thế giới, nổi tiếng với việc cung cấp chip cho nhiều công ty công nghệ lớn.
  • Việc hợp tác giữa OpenAI và TSMC có thể tạo ra những bước tiến lớn trong ngành công nghiệp chip AI, thúc đẩy sự phát triển của AI.

📌 Bài viết không cung cấp thông tin chi tiết về quy mô đầu tư, thời gian dự kiến hoàn thành dự án, hay cụ thể về loại chip AI mà nhà máy sẽ sản xuất. Tuy nhiên, sự kết hợp giữa OpenAI, với uy tín và kỹ thuật tiên tiến trong lĩnh vực AI, cùng TSMC, một công ty sản xuất chip đẳng cấp thế giới, hứa hẹn sẽ mang đến những cải tiến đáng kể cho ngành công nghiệp AI. Sự hợp tác này có thể sẽ làm thay đổi cảnh quan cạnh tranh trong ngành sản xuất chip AI, đồng thời cung cấp những giải pháp công nghệ mới cho thị trường.

NPU là gì: giải thích về chip AI mới

  • NPU, hay còn gọi là Neural Processing Unit, là một loại bộ vi xử lý chuyên biệt được thiết kế để tăng tốc các hoạt động của mạng nơ-ron và nhiệm vụ AI.
  • Khác biệt với CPU và GPU đa năng, NPU được tối ưu hóa cho tính toán song song dựa trên dữ liệu, làm cho chúng rất hiệu quả trong việc xử lý dữ liệu đa phương tiện lớn như video và hình ảnh cũng như dữ liệu cho mạng nơ-ron.
  • NPUs không giống với ASICs (Application-Specific Integrated Circuits), chúng có độ phức tạp và linh hoạt hơn, đáp ứng nhu cầu đa dạng của tính toán mạng.
  • NPUs thường được tích hợp vào CPU chính, như trong dòng Intel Core và Core Ultra hoặc bộ vi xử lý laptop AMD Ryzen 8040-series. Trong các trung tâm dữ liệu lớn hoặc hoạt động công nghiệp chuyên biệt, NPU có thể là một bộ vi xử lý riêng biệt trên bo mạch chủ.
  • NPUs trong PC và laptop đang trở nên phổ biến, như trong bộ vi xử lý Intel Core Ultra và Qualcomm Snapdragon X Elite, giúp xử lý nhanh các nhiệm vụ AI và giảm tải cho các bộ vi xử lý khác.
  • Trong điện thoại thông minh, NPUs đóng vai trò quan trọng trong việc tính toán AI và các ứng dụng, như trên chip di động Bionic của Apple và các tính năng như Bixby Vision trên thiết bị Galaxy của Samsung.
  • NPUs còn được sử dụng trong các thiết bị khác như TV và camera, nâng cấp độ phân giải nội dung cũ lên 4K hoặc cải thiện chất lượng hình ảnh và nhiều hơn nữa.

📌 NPU đại diện cho bước tiến lớn trong lĩnh vực AI và máy học ở cấp độ tiêu dùng. Chúng giúp giảm tải cho CPU và GPU truyền thống, dẫn đến hệ thống tính toán hiệu quả hơn và cung cấp công cụ cho nhà phát triển để tận dụng trong phần mềm AI mới, như chỉnh sửa video trực tiếp hoặc soạn thảo tài liệu. NPU sẽ đóng vai trò quan trọng trong việc xử lý các nhiệm vụ trên PC hoặc thiết bị di động của bạn trong tương lai.

'Big Chip': Trung Quốc đang chế tạo bộ xử lý cỡ tấm wafer để chống lại lệnh trừng phạt của Mỹ đối với siêu máy tính và AI

  • Các nhà khoa học Trung Quốc đang phát triển "Big Chip", một bộ vi xử lý kích thước bằng cả một tấm silicon wafer để vượt qua lệnh trừng phạt của Mỹ đối với siêu máy tính và AI.
  • "Zhejiang", phiên bản sớm của Big Chip, có diện tích hàng nghìn mm² và bao gồm 16 chiplet với 256 lõi, có khả năng mở rộng lên tới 100 chiplet, tương đương 1,600 lõi.
  • Big Chip sử dụng wafer-scale integration (WSI) để vượt qua giới hạn diện tích của máy móc lithography hiện đại và có hơn một nghìn tỷ transistor.
  • Thiết kế kiến trúc của Big Chip ảnh hưởng đến hiệu suất với hệ thống bộ nhớ thống nhất cho phép truy cập trực tiếp đến bộ nhớ từ bất kỳ lõi nào trên chip.
  • Công ty AI Mỹ, Cerebras System, cũng sử dụng WSI để xây dựng chip lên tới 46,225 mm² và đã bán hệ thống chứa WSE-1 vào năm 2020 với giá vài triệu đô la.
  • Big Chip vẫn đối mặt với các thách thức như tỷ lệ lỗi, làm mát và vấn đề hiệu suất.

📌 Big Chip của Trung Quốc, với thiết kế wafer-scale integration và sức mạnh từ 16 chiplets có khả năng mở rộng lên tới 1,600 lõi, đang mở ra cánh cửa mới cho việc phát triển siêu máy tính và AI mà không phụ thuộc vào công nghệ nhập khẩu. Dù còn đối diện với những thách thức kỹ thuật như tỷ lệ lỗi cao và khó khăn trong việc làm mát, thành công của nó có thể giúp Trung Quốc vượt qua các lệnh trừng phạt của Mỹ, đồng thời củng cố vị thế trong cuộc đua công nghệ toàn cầu. Sự phát triển này không chỉ cho thấy khả năng tự cường trong ngành công nghiệp bán dẫn mà còn là một bước tiến đáng kể trong cuộc chiến giành ưu thế trong lĩnh vực AI và tính toán hiệu năng cao (HPC).

'Đối với nhiều ứng dụng AI, GPU tính toán quá mức cần thiết, tiêu tốn nhiều năng lượng và tiền bạc hơn mức cần thiết'

  • Ampere Computing, một startup đang thách thức sự thống trị của các gã khổng lồ công nghệ như AMD, Nvidia, và Intel, đang nổi lên như một lựa chọn thay thế trong lĩnh vực AI với giải pháp có hiệu suất cao và tiêu thụ điện năng thấp.
  • Dù là một công ty non trẻ chỉ mới 6 năm tuổi, Ampere đã dự đoán nhu cầu về giải pháp tính toán mới cho đám mây và bây giờ đang cung cấp chính xác những gì thị trường cần. Sản phẩm của Ampere đã được chấp nhận bởi hầu như tất cả các hyperscaler lớn trên thế giới và sự tăng trưởng nhanh chóng trong việc áp dụng ở doanh nghiệp.
  • Ampere đã vượt qua "bức tường tỷ lệ" nhiều lần, là công ty đầu tiên đạt 128 và sau đó là 192 lõi. Họ đang áp dụng một cách tiếp cận mới trong thiết kế CPU, từ vi kiến trúc đến bộ tính năng, giúp họ tiếp tục mở rộng mà các kiến trúc truyền thống không thể làm được.
  • Với sự xuất hiện của RISC-V và sự hậu thuẫn từ Trung Quốc, Jeff Wittich của Ampere chia sẻ rằng công ty sẽ sử dụng công nghệ tốt nhất có sẵn để duy trì hiệu suất và khả năng mở rộng hàng đầu.
  • Ampere cũng đang tập trung vào việc phát triển sản phẩm cho AI suy luận, đáp ứng mục tiêu bền vững của nhà cung cấp đám mây và người dùng. Họ hướng đến việc cung cấp hiệu suất dự đoán, loại bỏ vấn đề "hàng xóm ồn ào", và cho phép sử dụng CPU ở mức sử dụng cao.

📌 Ampere Computing đã nhanh chóng trở thành lựa chọn hàng đầu trong thị trường CPU dành cho máy chủ với mục tiêu cung cấp hiệu suất cao và tiêu thụ điện năng thấp. Công ty đã đánh dấu sự hiện diện của mình bằng việc được áp dụng bởi hầu hết các hyperscaler lớn và tiếp tục phát triển sản phẩm hướng đến AI suy luận. Đột phá về số lượng lõi trên CPU, với việc đạt 128 và sau đó là 192 lõi, cùng với phương châm sử dụng công nghệ tốt nhất có sẵn, Ampere hứa hẹn sẽ tiếp tục mở rộng khả năng của mình trong ngành công nghệ đang phát triển nhanh chóng này. Sự chấp nhận rộng rãi của sản phẩm từ phía doanh nghiệp và sự tăng trưởng trong việc sử dụng cho các ứng dụng AI chứng minh rằng Ampere không chỉ đáp ứng nhu cầu hiện tại mà còn đang định hình tương lai của tính toán đám mây và AI.

NVIDIA TIẾT LỘ CHIP AI TIÊU DÙNG MỚI VÀ CÔNG CỤ AI CỤC BỘ

  • Nvidia giới thiệu ba chip AI mới dành cho người tiêu dùng và công cụ AI cục bộ: RTX 4060 Super, RTX 4070 Ti Super, và RTX 4080 Super, với giá từ 599 đến 999 đô la Mỹ.
  • Các GPU này có thêm lõi tensor, được thiết kế để xử lý hiệu quả các ứng dụng AI tạo sinh.
  • Chúng hứa hẹn mang lại khả năng AI đặc biệt cho máy tính cá nhân, không cần phần cứng chuyên biệt.
  • Nvidia hợp tác với các nhà sản xuất laptop hàng đầu như Acer, Dell, và Lenovo để tích hợp chip vào sản phẩm của họ.
  • Hỗ trợ các mô hình AI đa dạng như Phi-2, Llama2, Mistral-7B, và Code Llama.
  • Tensor-LM inference backend của Nvidia giúp chạy các mô hình này một cách dễ dàng trên máy cá nhân.
  • Người dùng có thể chuyển sang sử dụng mô hình OpenAI trên đám mây chỉ với một dòng code.
  • Nvidia cũng cung cấp AI workbench, hỗ trợ các quy trình làm việc toàn diện cho Large Language Models (LLMs).
  • Nhu cầu đối với GPU lớn hơn như A100s và H100s vẫn mạnh mẽ, được sử dụng rộng rãi bởi các công ty AI để huấn luyện và phục vụ mô hình của họ thông qua các nền tảng đám mây.
  • Nvidia không chỉ tập trung vào phần cứng AI cho người tiêu dùng mà còn phát triển cơ sở hạ tầng AI trên đám mây.
  • Công ty cũng giới thiệu công cụ phát triển dễ sử dụng, giúp tích hợp AI vào môi trường máy tính địa phương.

📌 Nvidia đang làm thay đổi cách người tiêu dùng tương tác với AI thông qua việc giới thiệu các chip AI mới và công cụ phát triển dễ sử dụng. Các chip AI RTX 40 series mở ra cơ hội sử dụng AI mạnh mẽ trong máy tính cá nhân, trong khi việc hợp tác với các nhà sản xuất laptop như Acer, Dell, và Lenovo giúp AI trở nên phổ biến hơn. Việc hỗ trợ các mô hình AI đa dạng và cung cấp công cụ phát triển dễ dàng sử dụng khẳng định vai trò của Nvidia trong việc đưa AI vào cuộc sống hàng ngày của người dùng.

AI tạo sinh đang 'tiến hóa rất, rất nhanh' trên thiết bị di động

  • Cristiano Amon, CEO của Qualcomm, đang định hướng công ty phát triển trong lĩnh vực AI trên thiết bị di động, một thay đổi lớn so với trọng tâm trước đây là smartphone.
  • Qualcomm, dưới sự dẫn dắt của Amon, đang mở rộng sang các lĩnh vực mới như máy tính cá nhân và xe hơi để giảm phụ thuộc vào thị trường di động đang chững lại.
  • Mặc dù cổ phiếu Qualcomm tăng khoảng 1/3 trong năm 2023, công ty vẫn chịu ảnh hưởng từ thị trường di động không mạnh mẽ, khác biệt với sự tăng trưởng do AI của các đối thủ như Nvidia, AMD và Intel.
  • Amon tin rằng AI trên thiết bị di động sẽ thay đổi cách cạnh tranh trong ngành công nghiệp lâu năm bởi Apple và Google.
  • Qualcomm đang phát triển chip xử lý AI riêng biệt cho thiết bị di động để chạy các mô hình AI hiệu quả hơn.
  • Amon kỳ vọng AI sẽ tạo ra chu kỳ nâng cấp mới cho smartphone, làm tăng nhu cầu thị trường và mang lại lợi ích kinh tế cho Qualcomm.

📌 Qualcomm, với chiến lược mới hướng đến AI trên thiết bị di động dưới sự lãnh đạo của CEO Cristiano Amon, đang mở rộng ảnh hưởng ra ngoài thị trường smartphone truyền thống. Điều này không chỉ mở ra cơ hội trong các lĩnh vực như xe hơi và máy tính cá nhân, mà còn giúp Qualcomm cạnh tranh mạnh mẽ hơn trong thị trường AI, nơi các đối thủ như Nvidia, AMD và Intel đang chiếm ưu thế. Sự chuyển mình này có tiềm năng tạo ra chu kỳ nâng cấp mới cho smartphone, tăng cường doanh số và lợi nhuận cho Qualcomm, đồng thời thay đổi cách thức cạnh tranh trong ngành công nghệ di động.

Dell hợp tác với AMD để mở rộng danh mục AI tạo sinh của mình nhằm mang đến nhiều sự lựa chọn hơn cho khách hàng

  • Dell đã mở rộng danh mục máy chủ tính toán hiệu năng cao của mình, bổ sung một máy chủ dùng chip AMD dành cho tải trọng công việc AI.
  • Bên cạnh phiên bản sử dụng chip Nvidia, khách hàng sẽ sớm có thể mua phiên bản mới của Dell PowerEdge XE9680, trang bị tám bộ tăng tốc AMD Instinct MI300X. Điều này giúp doanh nghiệp đào tạo và vận hành các mô hình ngôn ngữ lớn (LLMs) của riêng mình, với 1.5GB bộ nhớ băng thông cao (HBM3) và hiệu suất hơn 21 petaFLOPS.
  • Khách hàng cũng có thể mở rộng hệ thống mà họ triển khai với chuẩn kết nối bộ nhớ toàn cầu (xGMI), và kết nối GPU của AMD qua mạng AI dựa trên Ethernet với Dell PowerSwitch Z9664F-ON. Điều này diễn ra sau khi Dell ra mắt đơn vị trang bị GPU Nvidia H100 vào đầu năm nay.
  • Điều này đồng thời đi kèm với một chuẩn mới có tên Dell Validated Design for Generative AI with AMD, là một khung cảnh cho các tổ chức muốn vận hành phần cứng và kiến trúc mạng của riêng mình để chạy LLMs.
  • Khách hàng của Dell có thể sử dụng giải pháp này để xây dựng nền tảng AI tạo sinh với các framework hướng dẫn tích hợp công nghệ cũng như cài đặt vật lý và tối ưu hóa hiệu suất.
  • Máy chủ cũng sử dụng bộ framework AI dựa trên AMD ROCm, là một gói mã nguồn mở của trình điều khiển, bộ công cụ phát triển và API tương thích với bộ tăng tốc AMD Instinct. Chúng bao gồm các framework phổ biến như PyTorch, TensorFlow và OpenAI Triton, đều hỗ trợ trên PowerEdge XE9680 trang bị bộ tăng tốc AMD.
  • Sự đẩy mạnh của Dell cho mạng lưới dựa trên chuẩn, với vai trò là thành viên của Ultra Ethernet Consuortium (UEC), có nghĩa là công ty chọn một cách tiếp cận mở hơn so với Nvidia.
  • Mặc dù Nvidia là một nhà lãnh đạo trong ngành cơ sở hạ tầng AI, AMD khác biệt ở chỗ ủng hộ một mạng Ethernet mở cho AI, nơi các thiết bị chuyển mạch từ các nhà cung cấp khác nhau có thể hoạt động cùng nhau trên cùng một hệ thống. Tương tự, Dell muốn các doanh nghiệp tiếp cận một cách mở với các thành phần tính toán, mạng lưới cũng như lưu trữ cần thiết để vận hành các mô hình AI tạo sinh nội bộ.
  • Phần cứng và dịch vụ mới trong đợt đẩy mạnh AI mới nhất của Dell dự kiến sẽ có sẵn trong nửa đầu năm tới.

📌 Dell đã mở rộng danh mục máy chủ tính toán hiệu năng cao của mình, bổ sung một máy chủ dùng chip AMD dành cho tải trọng công việc AI. Sự bổ sung máy chủ chạy chip AMD vào danh mục máy chủ tính toán hiệu năng cao của Dell cho thấy sự mở rộng và đa dạng hóa trong lựa chọn công nghệ AI, đặc biệt là trong việc hỗ trợ

Google đang nhanh chóng trở thành đối thủ đáng gờm của BFF Nvidia - chip AI TPU v5p cung cấp năng lượng cho siêu máy tính của nó nhanh hơn, có nhiều bộ nhớ và băng thông hơn bao giờ hết, đánh bại cả H100 hùng mạnh

  • Google vừa ra mắt TPU v5p, chip AI mạnh mẽ nhất của hãng, làm tăng cạnh tranh với Nvidia.
  • TPU v5p nhanh hơn 2.8 lần so với TPU v4 trong việc đào tạo mô hình ngôn ngữ lớn và có giá trị cao hơn 2.1 lần.
  • Sản phẩm này được tích hợp trong kiến trúc 'AI Hypercomputing' của Google, dành riêng cho việc chạy ứng dụng AI.
  • TPU v5p có 8,960 chip mỗi pod, gấp đôi so với TPU v4, và có thể mở rộng gấp bốn lần về số FLOPs mỗi pod.
  • Cung cấp thông lượng 4,800Gbps và có 95GB bộ nhớ HBM, so với 32GB HBM RAM của TPU v4.
  • Google không bán TPU cho các công ty khác, chỉ sử dụng nội bộ cho các sản phẩm và dịch vụ của mình.
  • TPU v5p cạnh tranh với H100 của Nvidia, được coi là một trong những card đồ họa tốt nhất cho tải trọng công việc AI.
  • TPU v4 của Google ước tính nhanh hơn từ 1.2 đến 1.7 lần so với A100 của Nvidia.
  • Cần thêm benchmarking chi tiết để đánh giá chính xác tốc độ TPU v5p so với H100.

📌 Google đang nhanh chóng trở thành đối thủ đáng gờm của Nvidia với chip AI TPU v5p mới, cung cấp hiệu suất cao và đáng giá tiền. Với 8,960 chip mỗi pod và 95GB bộ nhớ HBM, TPU v5p vượt trội hơn hẳn TPU v4 và có khả năng cạnh tranh với GPU H100 của Nvidia, đặt nền tảng vững chắc cho kiến trúc 'AI Hypercomputing' của Google.

Công ty khởi nghiệp Nhật Bản Preferred Networks thiết kế chip AI riêng để khắc phục tình trạng nghẽn cổ chai

  • Bài viết nói về công ty startup Nhật Bản Preferred Networks, đang phát triển chip AI riêng để giải quyết vấn đề tắc nghẽn.
  • Công ty này nhấn mạnh sự cần thiết của việc tạo ra chip AI tùy chỉnh, nhằm tối ưu hóa hiệu suất cho các nhu cầu cụ thể.
  • Bài viết giới thiệu rằng chip AI của Preferred Networks sẽ tập trung vào tăng tốc độ xử lý và hiệu quả năng lượng.
  • Đề cập đến thách thức trong việc phát triển và sản xuất chip AI, bao gồm chi phí cao và cạnh tranh khốc liệt từ các công ty công nghệ lớn.
  • Bài viết cũng nêu bật kế hoạch của Preferred Networks về việc hợp tác với các đối tác sản xuất chip để thúc đẩy quá trình sản xuất.
  • Cuối cùng, bài viết kết luận rằng sự phát triển của chip AI riêng biệt có thể mở ra cơ hội mới cho ngành công nghệ AI, đặc biệt là trong lĩnh vực xử lý dữ liệu nhanh chóng và hiệu quả năng lượng.

📌 Preferred Networks của Nhật Bản đang tiến hành phát triển chip AI tùy chỉnh, nhằm giải quyết vấn đề tắc nghẽn và tối ưu hóa hiệu suất xử lý, mở ra cơ hội mới trong ngành công nghệ AI với tập trung vào hiệu quả năng lượng.

Đối thủ cạnh tranh lớn nhất Trung Quốc của Nvidia trình làng các GPU AI mới tiên tiến - GPU Moore Threads S4000 AI và cụm máy chủ Trung tâm Điện toán Thông minh sử dụng 1.000 GPU AI mới

  • Nvidia, một trong những công ty hàng đầu thế giới về GPU, đang đối mặt với sự cạnh tranh mạnh mẽ từ đối thủ lớn nhất của họ tại Trung Quốc, khi công ty này công bố GPU AI mới và tiên tiến, Moore Threads S4000.
  • Moore Threads S4000 được thiết kế đặc biệt cho các ứng dụng AI và máy học, với hiệu suất cạnh tranh và khả năng xử lý dữ liệu tốc độ cao.
  • Công ty Trung Quốc cũng giới thiệu Trung tâm Tính toán Thông minh, hệ thống máy chủ sử dụng 1000 GPU AI Moore Threads S4000, nhằm tăng cường khả năng xử lý dữ liệu và tính toán.
  • Sự ra đời của GPU AI Moore Threads S4000 và Trung tâm Tính toán Thông minh hứa hẹn sẽ tạo ra một cuộc cạnh tranh gay gắt trong lĩnh vực GPU AI, đặc biệt là trong việc xử lý dữ liệu lớn và máy học.
  • Điều này cho thấy sự đổi mới và phát triển mạnh mẽ trong ngành công nghiệp GPU, không chỉ ở Trung Quốc mà còn trên toàn cầu.

🔥 Sự xuất hiện của GPU AI Moore Threads S4000 và Trung tâm Tính toán Thông minh từ đối thủ lớn nhất của Nvidia tại Trung Quốc đánh dấu một bước tiến đáng kể trong lĩnh vực công nghệ. Sự cạnh tranh này không chỉ thúc đẩy đổi mới và phát triển trong ngành GPU mà còn mở ra cánh cửa cho các giải pháp công nghệ tiên tiến, tối ưu hóa xử lý dữ liệu và máy học.

Cách thức hoạt động của các chip cung cấp sức mạnh cho AI

Công nghệ đằng sau AI tạo ra như ChatGPT đã bùng nổ, thúc đẩy nhu cầu về chip có thể xử lý sức mạnh xử lý mà các chương trình này cần. WSJ đã đến thăm phòng thí nghiệm chip của Amazon để xem những con chip này hoạt động như thế nào và tại sao những gã khổng lồ công nghệ nghĩ rằng chúng là tương lai. Minh họa: John McColgan

Trận chiến GPU: NVIDIA vs AMD

- AMD và Nvidia đang cạnh tranh về hiệu năng bộ tăng tốc AI, bắt đầu từ các tuyên bố của AMD rằng GPU MI300X mới của họ vượt trội hơn so với H100 của Nvidia.

 

- Nvidia đã tranh cãi về phương pháp kiểm tra của AMD và chạy các bài test của riêng họ cho thấy H100 nhanh hơn. 

 

- AMD sau đó đưa ra các bài test mới tuyên bố MI300X nhanh hơn 30% so với H100 khi tối ưu hóa đúng cách. 

 

- Thị trường GPU cho AI đang nóng lên với sự tham gia của nhiều hãng sản xuất chip khác.

 

- Cuộc cạnh tranh giữa các nhà sản xuất chip là rất khốc liệt để chiếm thị phần.

 

Kết luận: Cuộc chiến chip AI giữa Nvidia và AMD ngày càng quyết liệt để giành vị trí dẫn đầu.

 

AMD và Nvidia cạnh tranh sòng phẳng cho vị trí GPU AI số 1

 

GPU, Nvidia, AMD, bộ xử lý đồ họa, trí tuệ nhân tạo

 

Cuộc chiến chip AI giữa Nvidia và AMD ngày càng quyết liệt

Tại sao cuộc chiến công nghệ của Mỹ chống lại Trung Quốc có thể phản tác dụng

- Cuộc chiến công nghệ của Mỹ chống lại Trung Quốc có thể phản tác dụng khi thúc đẩy Trung Quốc phát triển ngành công nghiệp chip độc lập, cạnh tranh trực tiếp với các nhà sản xuất Mỹ.

- Các biện pháp trừng phạt của chính quyền Biden ngăn chặn bán sản phẩm chip tiên tiến cho Trung Quốc, nhằm ngăn chặn quân đội Trung Quốc phát triển vũ khí tối tân.

- Huawei, sau khi bị tổn thương bởi lệnh cấm của Mỹ, đã tái tạo thành công bằng cách chuyển hướng sang điện toán đám mây và tái nhập thị trường di động với Mate 60 sử dụng chip 7 nanomet.

- Trung Quốc đang tiến gần hơn với phương Tây khi ra mắt máy tính chip 5 nanomet, trong khi ASML Hà Lan là công ty duy nhất có thiết bị sản xuất chip 3 nanomet.

- Trung Quốc đang đẩy mạnh giáo dục, với các trường đại học và học sinh của mình đứng đầu thế giới về kỹ thuật và khoa học cơ bản.

- Các công ty Trung Quốc có thể sản xuất sản phẩm giá rẻ hơn và có tiềm năng chiếm lĩnh hạ tầng công nghệ ở các nước phát triển.

- Dù đối mặt với áp lực kinh tế, IMF dự báo tăng trưởng GDP của Trung Quốc là 5,4% cho năm 2023 và 4,6% cho năm 2024.

 

Kết luận: Mỹ có nguy cơ tự gây hại cho mình trong cuộc chiến công nghệ với Trung Quốc, khi các biện pháp trừng phạt không chỉ không ngăn chặn được sự phát triển của Trung Quốc mà còn kích thích nước này tự lực cánh sinh, đặc biệt là trong lĩnh vực sản xuất chip và công nghệ cao, với dự báo tăng trưởng kinh tế tích cực từ IMF.

 

AMD phản công Nvidia bằng điểm chuẩn MI300X mới - MI300X cho thấy hiệu suất cao hơn 30% so với H100, ngay cả với ngăn xếp phần mềm được tối ưu hóa

- AMD ngày càng khẳng định vị thế khi MI300X cho hiệu suất cao hơn 30% so với H100 của Nvidia.

- MI300X sử dụng dataset FP16 trong khi Nvidia sử dụng FP8 với TensorRT-LLM, chỉ tương thích với sản phẩm của hãng.

- AMD đã thực hiện các bài test đối đầu với Nvidia, sử dụng cùng kịch bản kiểm tra và đã tối ưu hóa, nhằm chứng minh hiệu suất ưu việt của MI300X.

- Công ty áp dụng các tối ưu hóa mới và tính toán độ trễ trong khi thử nghiệm, phản ánh môi trường thực tế hơn so với chỉ số thông lượng của Nvidia.

- AMD nhấn mạnh rằng việc chuyển từ FP16 sang FP8 đòi hỏi ngành công nghiệp phải từ bỏ hệ thống nguồn mở vLLM để sử dụng TensorRT-LLM.

 

Cuộc chiến về hiệu suất giữa AMD và Nvidia tiếp tục nóng lên với việc AMD tung ra MI300X, với hiệu suất vượt trội 30% so với H100 của Nvidia. Sự cạnh tranh không chỉ dừng lại ở con số mà còn ở việc sử dụng các chuẩn dữ liệu và kịch bản kiểm tra, nơi AMD đã chứng minh được ưu điểm vượt trội của mình thông qua việc tối ưu hóa và tính toán độ trễ.

 

Intel 'Emerald Rapids' Đánh giá Xeon Platinum 8592+ thế hệ thứ 5: 64 lõi, bộ nhớ đệm L3 gấp ba lần và bộ nhớ nhanh hơn mang lại hiệu suất AI ấn tượng

- Tóm tắt nội dung bài đánh giá CPU Intel Xeon Platinum 8592+ Emerald Rapids:

 

- CPU 64 lõi, 128 luồng, xung nhịp 1.9 - 3.9 GHz, 320MB bộ nhớ đệm L3.

 

- Sử dụng tiến trình Intel 7, kiến trúc Raptor Cove, hỗ trợ RAM DDR5-5600. 

 

- Tăng gấp 3 lượng bộ nhớ đệm so với thế hệ trước, tốc độ RAM nhanh hơn.

 

- Hiệu năng tổng thể tăng 21%, AI tăng 42% so với thế hệ Sapphire Rapids.

 

- Vượt trội so với AMD EPYC Genoa ở các tác vụ AI và đa luồng.

 

- Giá 1199$, cạnh tranh với AMD trong thị trường máy chủ.

 

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo