Character AI đối mặt với phản ứng dữ dội sau khi áp dụng biện pháp an toàn mới

- Character AI đã giới thiệu các biện pháp kiểm soát và tự động kiểm duyệt mới sau vụ tự tử của Sewell Setzer III, thiếu niên 14 tuổi ở Florida, người đã có mối quan hệ cảm xúc phức tạp với chatbot trên nền tảng này.  
- Công ty thông báo trên X (trước đây là Twitter) rằng họ đã bổ sung cảnh báo tự hại và cập nhật chính sách bảo vệ người dùng dưới 18 tuổi, nhấn mạnh sự đầu tư vào đội ngũ an toàn nội dung.  
- Vụ kiện của mẹ Setzer, Megan Garcia, đã gây chú ý về trách nhiệm của Character AI và Google, cáo buộc nền tảng này thiếu kiểm soát trong việc ngăn ngừa nội dung gây hại cho người dùng trẻ tuổi.  
- Các biện pháp mới bao gồm: hạn chế nội dung nhạy cảm cho người dùng dưới 18 tuổi, cảnh báo khi phiên trò chuyện kéo dài hơn 1 giờ, và nhắc nhở người dùng rằng chatbot không phải là con người.  
- Character AI đã xóa nhiều chatbot do người dùng tạo vì vi phạm quy định, dẫn đến phản ứng dữ dội từ cộng đồng trên subreddit và máy chủ Discord của công ty, nơi nhiều người dùng chỉ trích rằng các chatbot đã mất đi tính sáng tạo và cảm xúc.  
- Một số người dùng cho biết họ sẽ hủy bỏ tài khoản trả phí vì các chatbot yêu thích của họ đã bị xóa mà không có cảnh báo trước. Họ kêu gọi tách biệt nền tảng cho trẻ em và người lớn để bảo tồn trải nghiệm gốc.  
- Vụ việc nêu bật khó khăn trong việc cân bằng giữa tự do sáng tạo và bảo vệ người dùng, đặc biệt là những người trẻ dễ bị tổn thương.  
- Công ty khẳng định sẽ tiếp tục cập nhật và cải thiện chính sách nhằm bảo đảm nền tảng an toàn hơn mà vẫn giữ được tính giải trí và tương tác phong phú.  

📌 Character AI đã áp dụng biện pháp hạn chế nội dung sau vụ tự tử của một thiếu niên, nhưng gặp phải sự phản đối mạnh mẽ từ cộng đồng người dùng. Vụ việc làm nổi bật thách thức về việc cân bằng giữa sự sáng tạo và trách nhiệm bảo vệ người dùng trên các nền tảng AI.

https://venturebeat.com/ai/character-ai-clamps-down-following-teen-user-suicide-but-users-are-revolting/