Microsoft LASER loại bỏ sự thiếu chính xác của LLM
- Microsoft áp dụng phương pháp Layer-Selective Rank Reduction (LASER) để cải thiện độ chính xác của các mô hình ngôn ngữ lớn (LLM).
- LASER cho phép các nhà nghiên cứu thay thế ma trận trọng số lớn bằng một ma trận nhỏ hơn, gần đúng hơn, nhưng lại tăng độ chính xác của mô hình.
- Trong quá trình nghiên cứu tại Microsoft Research Lab NYC, việc can thiệp bằng LASER không làm tăng mô hình loss (mất mát), ngược lại còn giảm nó đi, điều này nghịch lý so với kỳ vọng thông thường.
- LASER đã được thử nghiệm thành công trên ba mô hình nguồn mở khác nhau: RoBERTa, Llama 2, và Eleuther’s GPT-J.
- Cải thiện hiệu suất có thể lên đến 20-30 điểm phần trăm, ví dụ như độ chính xác của GPT-J trong dự đoán giới tính dựa trên tiểu sử tăng từ 70.9% lên 97.5% sau can thiệp LASER.
- Mặc dù các mô hình AI thường mắc lỗi về sự thật, việc tăng cường độ chính xác của LLM vẫn là một vấn đề quan trọng để giảm thiểu tác hại có thể xảy ra.
📌 Phương pháp LASER của Microsoft đã chứng minh khả năng tối ưu hóa độ chính xác của các mô hình ngôn ngữ lớn (LLM) một cách đột phá, với việc giảm mô hình loss và tăng cường độ chính xác, nổi bật là sự cải thiện từ 70,9% lên 97,5% trong dự đoán giới tính dựa trên tiểu sử bởi GPT-J sau khi can thiệp LASER.
Thảo luận
Follow Us
Tin phổ biến
TAG
AI giáo dục
AI sinh-y-duoc
AI nghệ thuật
AI pháp lý-quản trị-chủ quyền
AI models
AI xã hội
AI prompts
AI kiến thức-khóa học
AI video
AI công nghiệp-lĩnh vực
AI edge
AI viễn thông
AI tools
AI chính phủ
AI GPT Store
AI cybersecurity
AI so sánh
AI đạo đức
AI tips
AI market
AI relations
AI quân sự
AI an toàn-an ninh-techwar
AI việc làm
AGI
AI doanh nghiệp
AI No-Low Code
OpenAI ChatGPT
AI môi trường-năng lượng
AI skill-talent
AI & công nghệ khác
AI nghiên cứu
AI chips-hardware-compute
AI vs con người
AI coding assistant
AI mở-nguồn mở
AI năng suất
AI startup-M&A
AI tương lai
AI báo chí
AI data
AI bản quyền
AI PC
AI riêng tư
AI deepfake-ảo giác-ANTT
AI ảnh-video-music-âm thanh
AI detect-test
AI minh bạch
AI nhỏ
AI hồi sinh
AI kiếm tiền
AI nông nghiệp-thực phẩm
AI ngân hàng-tài chính
AI giao thông
AI marketing-kinh doanh
AI smartphone
AI robotics-auto-agents
AI consumer devices
AI ecosystem
AI manufacturing
AI benchmark
Telecom
AI thành công-thất bại
National AI links
Digital
Semi-Cloud-DC-Green
Cybersecurity
Digital Legal
HTS