Cổng AI nguồn mở mới giúp kiểm soát tốt hơn việc sử dụng AI cho công việc
- Các tổ chức quan ngại về rò rỉ dữ liệu, hiện tượng AI ảo giác và chi phí sử dụng API AI đám mây khi triển khai mô hình ngôn ngữ lớn (LLM) cho ứng dụng AI tạo sinh.
- Kong đã tạo ra một cổng AI, tích hợp vào nền tảng quản lý API của họ, để giúp tổ chức giải quyết các thách thức này.
- Cổng AI hỗ trợ kết nối với các nhà cung cấp LLM đám mây như OpenAI, Azure AI, Anthropic, Cohere, Mistral và Meta's Llama.
- Nó cung cấp quản trị tập trung cho thông tin đăng nhập AI, phân tích AI, bảo mật AI và tường lửa để kiểm soát các loại nhắc nhở được phép.
- Cổng AI cũng quản lý lưu lượng giữa LLM tự hostđể cải thiện hiệu suất và giảm chi phí sử dụng AI.
- Xu hướng là các tổ chức lớn kết hợp sử dụng LLM tự host rẻ hơn với LLM đám mây làm phương án dự phòng.
📌 Các tổ chức quan ngại về rò rỉ dữ liệu, hiện tượng AI ảo giác và chi phí sử dụng API AI đám mây khi triển khai mô hình ngôn ngữ lớn (LLM) cho ứng dụng AI tạo sinh. Cổng AI mới của Kong hỗ trợ kết nối với 6 nhà cung cấp LLM đám mây, quản lý tập trung thông tin đăng nhập, phân tích, bảo mật và kiểm soát nhắc nhở, cũng như điều phối giữa LLM tự host và đám mây để tối ưu hiệu suất và chi phí.
https://thenewstack.io/using-ai-for-work-new-open-source-gateway-promises-better-control/
Thảo luận
Follow Us
Tin phổ biến
