Tin nóng: VinaLlama2 - Mô hình ngôn ngữ lớn đa phương thức thế hệ mới của Việt Nam
- VinaLlama2 là thế hệ thứ hai của mô hình ngôn ngữ lớn tiếng Việt, được phát triển bởi VILM và Alibaba Qwen.
- Mô hình có 4 phiên bản: Turbo, Standard, Pro và SUPER, cùng với biến thể VinaLlama2-Code dành cho các tác vụ lập trình.
- Bộ dữ liệu huấn luyện của VinaLlama2 được xây dựng từ đầu, bao gồm các nguồn sách văn học và lập trình được cấp phép hợp pháp.
- Thay vì 800 tỷ token như phiên bản đầu tiên, VinaLlama2 sử dụng 80 tỷ token dữ liệu tiếp tục tiền huấn luyện chất lượng cao.
- Các giai đoạn tinh chỉnh được kết hợp thành một quá trình duy nhất gọi là Odds Ratio Preference Optimization (ORPO).
- VinaLlama2 được huấn luyện trên 64 cụm máy tính H100 do Alibaba Cloud cung cấp.
- Phiên bản VinaLlama2-Preview sẽ ra mắt vào tháng 7, hỗ trợ đa phương thức giữa văn bản, hình ảnh và âm thanh.
- VinaLlama2-Code, dựa trên CodeQwen-7B, đảm bảo hiệu suất tốt nhất trong các tác vụ lập trình bằng tiếng Việt.
📌 VinaLlama2 đánh dấu bước tiến mới trong công nghệ mô hình ngôn ngữ lớn tại Việt Nam với khả năng đa phương thức, bộ dữ liệu huấn luyện chất lượng cao 80 tỷ token và sức mạnh tính toán từ 64 cụm H100 của Alibaba Cloud. Phiên bản VinaLlama2-Preview hứa hẹn sẽ mang đến trải nghiệm tương tác đa dạng giữa văn bản, hình ảnh và âm thanh khi ra mắt vào tháng 7 này.
Citations:
[1] https://www.vilm.org/vinallama2
Thảo luận
Follow Us
Tin phổ biến
