Công cụ mới của Nvidia cho phép bạn chạy các mô hình AI tạo sinh trên PC

- Nvidia đang phát hành một công cụ mới, Chat with RTX, cho phép chủ sở hữu các thẻ GeForce RTX 30 Series và 40 Series chạy chatbot AI mạnh mẽ ngoại tuyến trên PC Windows.

- Công cụ này cho phép người dùng tùy chỉnh một mô hình GenAI theo kiểu ChatGPT của OpenAI bằng cách kết nối nó với tài liệu, tệp và ghi chú để truy vấn.
- Chat with RTX mặc định sử dụng mô hình nguồn mở của startup AI Mistral nhưng cũng hỗ trợ các mô hình dựa trên văn bản khác, bao gồm Llama 2 của Meta.
- Nvidia cảnh báo rằng việc tải xuống tất cả các tệp cần thiết có thể chiếm một lượng lớn bộ nhớ lưu trữ, từ 50GB đến 100GB tùy thuộc vào mô hình được chọn.
- Diễn đàn Kinh tế Thế giới (World Economic Forum) dự đoán sự tăng trưởng "đáng kể" của các thiết bị giá cả phải chăng có thể chạy mô hình GenAI ngoại tuyến, bao gồm PC, điện thoại thông minh, thiết bị Internet of Things và thiết bị mạng.
- Các mô hình ngoại tuyến không chỉ riêng tư hơn - dữ liệu họ xử lý không bao giờ rời khỏi thiết bị - mà còn có độ trễ thấp hơn và hiệu quả chi phí hơn so với các mô hình được lưu trữ trên đám mây.

📌 Nvidia đang mở ra một kỷ nguyên mới cho AI ngoại tuyến với công cụ Chat with RTX, cho phép người dùng tận hưởng sức mạnh của AI ngay trên máy tính cá nhân mà không cần kết nối internet. Công cụ này không chỉ mở rộng khả năng tùy chỉnh của người dùng với các mô hình GenAI mà còn đảm bảo quyền riêng tư và giảm độ trễ trong quá trình xử lý. Với yêu cầu về không gian lưu trữ từ 50GB đến 100GB, Chat with RTX đặt ra một tiêu chuẩn mới về cách thức tương tác với công nghệ AI, đồng thời phản ánh xu hướng tăng cường sử dụng AI ngoại tuyến trong tương lai như dự đoán của Diễn đàn Kinh tế Thế giới.

Citations:
[1] https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/