- Ai2 (trước đây là Allen Institute for AI) vừa ra mắt Tülu 3, một framework huấn luyện sau hoàn toàn nguồn mở dành cho các mô hình ngôn ngữ lớn (LLM)
- Quá trình huấn luyện sau đang được chứng minh là bước quan trọng tạo ra giá trị thực sự cho các mô hình AI:
+ Biến mô hình từ mạng lưới "biết tuốt" thành công cụ có ích thực tế
+ Giúp kiểm soát đầu ra của mô hình, tránh các nội dung độc hại
+ Các công ty lớn giữ bí mật quy trình này vì đây là lợi thế cạnh tranh
- Tülu 3 cung cấp nhiều cải tiến so với phiên bản trước:
+ Cho phép lựa chọn chủ đề trọng tâm cho mô hình
+ Tích hợp quy trình xử lý dữ liệu, học tăng cường
+ Tinh chỉnh các tham số và quy trình huấn luyện
+ Đạt điểm số ngang bằng các mô hình nguồn mở tiên tiến nhất
- Lợi ích của Tülu 3:
+ Giúp các tổ chức tự xây dựng mô hình AI mà không phụ thuộc công ty lớn
+ Phù hợp với các công ty y tế, nghiên cứu cần bảo mật dữ liệu
+ Tiết kiệm chi phí thuê bên thứ ba để tùy chỉnh mô hình
- Ai2 đang sử dụng Tülu 3 để phát triển một mô hình dựa trên OLMo, hứa hẹn mang lại nhiều cải tiến hơn nữa
📌 Tülu 3 là bước đột phá giúp dân chủ hóa việc huấn luyện mô hình AI, cho phép các tổ chức tự phát triển mô hình mà không cần dựa vào các "gã khổng lồ" công nghệ. Framework này đặc biệt phù hợp với các đơn vị cần bảo mật dữ liệu cao như y tế và nghiên cứu.
https://techcrunch.com/2024/11/21/ai2s-open-source-tulu-3-lets-anyone-play-the-ai-post-training-game/