NVIDIA giới thiệu RankRAG - khung RAG mới huấn luyện một LLM duy nhất để xếp hạng ngữ cảnh top-k và tạo câu trả lời trong RAG

• NVIDIA và Georgia Tech đã giới thiệu RankRAG - một khung mới để nâng cao khả năng của các mô hình ngôn ngữ lớn (LLM) trong các tác vụ tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG).

• RankRAG huấn luyện một LLM duy nhất để thực hiện cả việc xếp hạng ngữ cảnh và tạo câu trả lời trong RAG thông qua hướng dẫn.

• Khung này mở rộng các bộ dữ liệu huấn luyện hiện có bằng cách kết hợp dữ liệu hỏi đáp phong phú về ngữ cảnh, hỏi đáp được tăng cường bởi truy xuất và xếp hạng.

• RankRAG giới thiệu một tác vụ chuyên biệt tập trung vào việc xác định các ngữ cảnh hoặc đoạn văn liên quan cho các câu hỏi đã cho.

• Trong quá trình suy luận, LLM trước tiên xếp hạng lại các ngữ cảnh được truy xuất trước khi tạo câu trả lời dựa trên top-k ngữ cảnh đã được tinh chỉnh.

• Quá trình huấn luyện RankRAG gồm hai giai đoạn: tinh chỉnh có giám sát trên các bộ dữ liệu đa dạng và thống nhất các tác vụ xếp hạng và tạo sinh.

• Tất cả các tác vụ được chuẩn hóa thành định dạng (câu hỏi, ngữ cảnh, câu trả lời) để tạo điều kiện chuyển giao kiến thức.

• RankRAG sử dụng quy trình truy xuất-xếp hạng lại-tạo sinh: truy xuất top-N ngữ cảnh, xếp hạng lại để chọn top-k liên quan nhất và tạo câu trả lời dựa trên các ngữ cảnh đã tinh chỉnh này.

• Phiên bản 8B tham số của RankRAG vượt trội so với ChatQA-1.5 8B và cạnh tranh tốt với các mô hình lớn hơn, bao gồm cả những mô hình có số tham số gấp 5-8 lần.

• RankRAG 70B vượt qua mô hình ChatQA-1.5 70B mạnh mẽ và vượt trội đáng kể so với các baseline RAG trước đó sử dụng InstructGPT.

• RankRAG cho thấy cải thiện lớn hơn trên các bộ dữ liệu thách thức như hỏi đáp dài (PopQA) và hỏi đáp nhiều bước (2WikimQA), với hơn 10% cải thiện so với ChatQA-1.5.

• Khả năng xếp hạng ngữ cảnh của RankRAG đặc biệt hiệu quả trong các tình huống mà các tài liệu được truy xuất hàng đầu ít liên quan đến câu trả lời.

• RankRAG đã được đánh giá toàn diện trên 9 bộ dữ liệu RAG lĩnh vực chung và 5 bộ dữ liệu RAG y sinh, cho thấy hiệu suất vượt trội so với các mô hình RAG tiên tiến nhất.

📌 RankRAG là một bước tiến quan trọng trong hệ thống RAG, huấn luyện một LLM duy nhất để thực hiện cả xếp hạng ngữ cảnh và tạo câu trả lời. Nó vượt trội so với các mô hình xếp hạng chuyên gia hiện có và đạt hiệu suất vượt trội trên 14 bộ dữ liệu RAG, mở ra hướng đi mới cho việc nâng cao khả năng của hệ thống RAG trong nhiều lĩnh vực.

https://www.marktechpost.com/2024/07/09/nvidia-introduces-rankrag-a-novel-rag-framework-that-instruction-tunes-a-single-llm-for-the-dual-purposes-of-top-k-context-ranking-and-answer-generation-in-rag/