Qwen2-VL: phân tích video dài hơn 20 phút, hỗ trợ đa ngôn ngữ và mở nguồn một phần

• Alibaba Cloud vừa công bố mô hình thị giác-ngôn ngữ Qwen2-VL mới nhất, nhằm nâng cao khả năng hiểu hình ảnh, video và xử lý văn bản đa ngôn ngữ.

• Qwen2-VL đạt hiệu suất ấn tượng trong các bài kiểm tra chuẩn của bên thứ ba, vượt trội so với các mô hình hàng đầu như Meta Llama 3.1, OpenAI GPT-4o, Anthropic Claude 3 Haiku và Google Gemini-1.5 Flash.

• Mô hình hỗ trợ nhiều ngôn ngữ bao gồm tiếng Anh, tiếng Trung, hầu hết các ngôn ngữ châu Âu, tiếng Nhật, tiếng Hàn, tiếng Ả Rập và tiếng Việt.

• Qwen2-VL có khả năng phân tích và nhận dạng chữ viết tay bằng nhiều ngôn ngữ, nhận diện và mô tả nhiều đối tượng trong hình ảnh tĩnh.

• Mô hình có thể phân tích video trực tiếp gần như thời gian thực, cung cấp tóm tắt hoặc phản hồi, mở ra tiềm năng sử dụng cho hỗ trợ kỹ thuật trực tiếp.

• Qwen2-VL có thể phân tích video dài hơn 20 phút và trả lời câu hỏi về nội dung.

• Mô hình được phát hành với 3 biến thể có kích thước tham số khác nhau: Qwen2-VL-72B (72 tỷ tham số), Qwen2-VL-7B và Qwen2-VL-2B.

• Các biến thể 7B và 2B được cung cấp dưới giấy phép nguồn mở Apache 2.0, cho phép doanh nghiệp sử dụng miễn phí cho mục đích thương mại.

• Mô hình 72B lớn nhất chưa được phát hành công khai và sẽ chỉ được cung cấp sau này thông qua giấy phép riêng và API từ Alibaba.

• Qwen2-VL hỗ trợ gọi hàm, cho phép tích hợp với phần mềm, ứng dụng và công cụ của bên thứ ba.

• Mô hình có thể trích xuất thông tin trực quan từ các nguồn bên thứ ba như trạng thái chuyến bay, dự báo thời tiết hoặc theo dõi gói hàng.

• Qwen2-VL giới thiệu nhiều cải tiến kiến trúc nhằm nâng cao khả năng xử lý và hiểu dữ liệu hình ảnh của mô hình.

• Hỗ trợ Naive Dynamic Resolution cho phép mô hình xử lý hình ảnh với độ phân giải khác nhau, đảm bảo tính nhất quán và chính xác trong diễn giải hình ảnh.

• Hệ thống Multimodal Rotary Position Embedding (M-ROPE) cho phép mô hình đồng thời nắm bắt và tích hợp thông tin vị trí trên văn bản, hình ảnh và video.

📌 Alibaba ra mắt Qwen2-VL, mô hình AI phân tích video 20 phút, hỗ trợ đa ngôn ngữ và mở nguồn một phần. Mô hình có 3 biến thể (72B, 7B, 2B tham số), vượt trội so với đối thủ trong các bài kiểm tra chuẩn, mở ra tiềm năng ứng dụng rộng rãi trong xử lý hình ảnh và video.

https://venturebeat.com/ai/alibaba-releases-new-ai-model-qwen2-vl-that-can-analyze-videos-more-than-20-minutes-long/