Meta AI phát triển MobileLLM - mô hình ngôn ngữ nhỏ gọn cho thiết bị di động

• Meta AI vừa công bố MobileLLM - một phương pháp mới để tạo ra các mô hình ngôn ngữ hiệu quả được thiết kế cho smartphone và các thiết bị có tài nguyên hạn chế khác vào ngày 27/6/2024.

• Nhóm nghiên cứu gồm các thành viên từ Meta Reality Labs, PyTorch và Meta AI Research (FAIR) tập trung vào việc tối ưu hóa các mô hình có dưới 1 tỷ tham số, chỉ bằng một phần nhỏ so với các mô hình như GPT-4 ước tính có hơn một nghìn tỷ tham số.

• Các đổi mới chính trong MobileLLM bao gồm:
- Ưu tiên chiều sâu mô hình hơn chiều rộng
- Triển khai chia sẻ embedding và grouped-query attention  
- Sử dụng kỹ thuật chia sẻ trọng số theo khối ngay lập tức mới

• Những lựa chọn thiết kế này giúp MobileLLM vượt trội hơn 2,7% đến 4,3% so với các mô hình trước đó có kích thước tương tự trong các tác vụ benchmark phổ biến.

• Đáng chú ý, phiên bản 350 triệu tham số của MobileLLM cho thấy độ chính xác tương đương với mô hình LLaMA-2 7 tỷ tham số lớn hơn nhiều trong một số tác vụ gọi API cụ thể.

• Sự phát triển của MobileLLM phù hợp với xu hướng ngày càng tăng về các mô hình AI hiệu quả hơn. Khi tiến bộ trong các mô hình ngôn ngữ rất lớn có dấu hiệu chậm lại, các nhà nghiên cứu ngày càng khám phá tiềm năng của các thiết kế nhỏ gọn, chuyên biệt hơn.

• MobileLLM được xếp vào cùng danh mục với các Mô hình Ngôn ngữ Nhỏ (SLM) mặc dù có "LLM" trong tên.

• Meta đã mở mã nguồn code pre-training, cho phép các nhà nghiên cứu khác phát triển dựa trên công việc của họ.

• Sự phát triển của MobileLLM đại diện cho một bước quan trọng trong việc làm cho AI tiên tiến trở nên dễ tiếp cận và bền vững hơn. Nó thách thức quan niệm cho rằng các mô hình ngôn ngữ hiệu quả phải rất lớn.

• Công nghệ này có thể mở ra những hướng đi mới cho các ứng dụng AI trên thiết bị cá nhân, mặc dù thời gian và khả năng chính xác vẫn chưa chắc chắn.

📌 Meta AI phát triển MobileLLM - mô hình ngôn ngữ nhỏ gọn 350 triệu tham số cho smartphone, hiệu suất tương đương LLaMA-2 7 tỷ tham số trong một số tác vụ. Đây là bước tiến quan trọng hướng tới AI hiệu quả và bền vững hơn trên thiết bị di động.

https://venturebeat.com/ai/meta-ai-develops-compact-language-model-for-mobile-devices/