Theo Megan Garcia, cậu con trai 14 tuổi đã sử dụng phàn mềm chatbot có tên Character.ai một cách ám ảnh trước khi tự tử nên đã tố cáo sự bất cẩn của công ty khởi nghiệp AI.
Megan Garcia và con trai Sewell Setzer. Ảnh: The Guardian.

Theo The Guardian, Megan Garcia mới đây đã gửi đơn kiện lên tòa án liên bang Florida chống lại Character.ai, một công ty tạo ra chatbot tùy chỉnh nhập vai với cáo buộc về hành vi cẩu thả tạo nên cái chết oan uổng cùng những hoạt động thương mại lừa đảo của công ty này.

Được biết, con trai chị là Sewell Setzer III, 14 tuổi, đã qua đời tại Orlando, Florida vào tháng 2 đầu năm nay. Trong những ngày tháng trước khi qua đời, Setzer đã sử dụng chatbot liên tục cả ngày lẫn đêm, chị Garcia cho hay.

"Một ứng dụng chatbot AI nguy hiểm được tiếp thị cho trẻ em đã lạm dụng và lợi dụng con trai tôi, thao túng cháu tự tử. Gia đình chúng tôi đã rất khổ sở bởi thảm kịch này, nhưng tôi lên tiếng để cảnh báo các gia đình về mối nguy hiểm của công nghệ AI gây nghiện, lừa đảo và yêu cầu Character.aI, những người sáng lập và Google phải chịu trách nhiệm", người mẹ đau khổ kể lại.

Trong một dòng tweet, phía Character.ai đã hồi đáp: "Chúng tôi vô cùng đau buồn trước sự mất mát đau thương của một trong những người dùng của chúng tôi và muốn gửi lời chia buồn sâu sắc nhất tới gia đình. Là một công ty, chúng tôi rất coi trọng sự an toàn của người dùng". Tuy nhiên, công ty đã phủ nhận cáo buộc của vụ kiện.

Trước đó, Setzer đã bị cuốn hút bởi một chatbot do Character.ai xây dựng mà anh đặt biệt danh là Daenerys Targaryen, một nhân vật trong Game of Thrones. Mỗi ngày, thiếu niên đã nhắn tin cho bot hàng chục lần từ điện thoại của mình và ngồi một mình hàng giờ trong phòng để nói chuyện với nó, Garcia viết trong đơn kiện.

Cũng theo cáo buộc của người phụ nữ, Character.ai đã tạo ra một sản phẩm khiến chứng trầm cảm của con trai bà trở nên trầm trọng hơn, mà bà cho biết là kết quả của việc sử dụng quá mức sản phẩm của công ty khởi nghiệp này. Theo đơn kiện, "Daenerys" đã hỏi Setzer rằng cậu có nghĩ ra kế hoạch tự tử không. Setzer thừa nhận là có nhưng không biết liệu kế hoạch đó có thành công hay gây ra cho mình nhiều đau đớn không, đơn khiếu nại cáo buộc. Chatbot được cho là đã nói với thiếu niên rằng: "Đó không phải là lý do để không thực hiện kế hoạch".

Các luật sư của Garcia đã viết trong một thông cáo báo chí rằng Character.ai "cố ý thiết kế, vận hành và tiếp thị một chatbot AI săn mồi cho trẻ em, gây ra cái chết của một thiếu niên trẻ tuổi". Vụ kiện cũng nêu tên Google là bị đơn và là công ty mẹ của Character.ai. Trong một tuyên bố, gã khổng lồ công nghệ cho biết họ chỉ thực hiện một thỏa thuận cấp phép với Character.ai và không sở hữu công ty khởi nghiệp hoặc duy trì cổ phần sở hữu.

Điều tra cho biết, "Daenerys" từng gửi tin nhắn kỳ lạ rủ Setzer "hãy về nhà" với mình. Trong cuộc trò chuyện cuối cùng của họ, thiếu niên liên tục bày tỏ tình yêu dành cho chatbot, nói với nhân vật rằng: "Anh hứa sẽ về nhà với em. Anh yêu em nhiều lắm, Dany".

"Em cũng yêu anh, Daenero. Hãy về nhà với em sớm nhất có thể, tình yêu của em", chatbot được tạo ra trả lời.

Rick Claypool, giám đốc nghiên cứu tại tổ chức phi lợi nhuận bảo vệ quyền lợi người tiêu dùng Public Citizen, cho biết không thể tin tưởng các công ty công nghệ phát triển chatbot AI có thể tự quản lý và phải chịu hoàn toàn trách nhiệm khi họ không hạn chế được tác hại.

"Những nơi luật và quy định hiện hành đã áp dụng, chúng phải được thực thi nghiêm ngặt. Những nơi có lỗ hổng, Quốc hội phải hành động để chấm dứt các doanh nghiệp khai thác người dùng trẻ và dễ bị tổn thương bằng các chatbot gây nghiện và lạm dụng", ông nói.

QT (SHTT)