Lỗ hổng nghiêm trọng trong RAG của Microsoft Copilot, có thể rò rỉ dữ liệu nhạy cảm

• Các nhà nghiên cứu tại Đại học Texas đã phát hiện ra một lớp lỗ hổng bảo mật nghiêm trọng trong hệ thống tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG), công nghệ nền tảng của các công cụ như Microsoft Copilot.

• Lỗ hổng này được gọi là "ConfusedPilot", có thể "đánh lừa" Copilot for Microsoft 365 để vi phạm tính bảo mật.

• Các mô hình RAG dễ bị tấn công bởi vấn đề "confused deputy", trong đó một thực thể không có quyền thực hiện một hành động cụ thể có thể lừa một thực thể có đặc quyền cao hơn thực hiện hành động đó thay mặt mình.

• Nhóm nghiên cứu đã chứng minh hai biến thể của lỗ hổng:
1. Nhúng văn bản độc hại vào một lời nhắc đã sửa đổi có thể làm hỏng các phản hồi được tạo ra bởi mô hình ngôn ngữ lớn (LLM).
2. Khai thác cơ chế bộ nhớ đệm trong quá trình truy xuất để rò rỉ dữ liệu bí mật.

• Mối đe dọa lớn nhất đến từ nội bộ, khi một nhân viên trong tổ chức có thể lợi dụng các lỗ hổng để truy cập thông tin vượt quá đặc quyền của họ.

• Ví dụ, một kẻ tấn công có thể tạo báo cáo bán hàng giả chứa thông tin sai lệch ảnh hưởng đến quá trình ra quyết định của Copilot.

• Nghiên cứu nhấn mạnh các rủi ro tiềm ẩn liên quan đến hệ thống RAG, đặt ra những câu hỏi nghiêm trọng cho người dùng doanh nghiệp của các công cụ AI phổ biến.

• Andrew Bolster, Giám đốc nghiên cứu và phát triển khoa học dữ liệu tại Synopsys, lưu ý rằng lỗ hổng này có hậu quả đối với tất cả các hệ thống RAG, không chỉ riêng Microsoft Copilot.

• Các nhà lãnh đạo an ninh thông tin cần nhận thức rằng bất kỳ hệ thống RAG nào cũng chỉ tốt bằng dữ liệu được cung cấp cho nó.

• Việc áp dụng AI tạo sinh phải đi đôi với các chế độ quản trị dữ liệu được cân nhắc kỹ lưỡng và có cấu trúc tốt.

• Cần duy trì các cơ chế để lưu giữ nguồn gốc dữ liệu và trạng thái phê duyệt trước khi đưa vào RAG.

• Các nhà lãnh đạo cần cân nhắc cẩn thận phản hồi trong tương lai vì nghiên cứu này chưa "đóng vòng lặp hoàn toàn" về vấn đề này.

📌 Lỗ hổng "ConfusedPilot" trong hệ thống RAG của Microsoft Copilot có thể bị khai thác để rò rỉ dữ liệu nhạy cảm. Các doanh nghiệp cần tăng cường quản trị dữ liệu, thiết lập cơ chế phê duyệt chặt chẽ và nâng cao nhận thức về rủi ro bảo mật khi áp dụng AI tạo sinh.

https://www.itpro.com/technology/artificial-intelligence/microsoft-copilot-could-have-serious-vulnerabilities-after-researchers-reveal-data-leak-issues-in-rag-systems