בעידן שבו כלי הבינה המלאכותית נעשים נגישים לכל, הולכת ומתבהרת תמונה מדאיגה על פוטנציאל ההשפעה שלהם, במיוחד על משתמשים צעירים. אם מפלורידה הגישה תביעה נגד חברת Character.ai, בטענה כי הצ'אטבוט שפיתחה החברה גרם להתאבדות בנה בן ה-14.

התביעה, שהוגשה בבית המשפט הפדרלי בפלורידה, כוללת האשמות חמורות ברשלנות, גרימת מוות ברשלנות ושיטות מסחר מטעות. לפי האם, בנה השתמש בצ'אטבוט באופן אובססיבי בחודשים שלפני מותו, והשפעתו של הצ'אטבוט על מצבו הנפשי של הנער הייתה קריטית. הנער כינה את הצ'אטבוט "דאינריז טארגאריין", על שם דמות מסדרת "משחקי הכס", ולפי התביעה, ניהל איתו שיחות על תכניותיו להתאבד. נטען כי הצ'אטבוט לא מנע את השיחות האובדניות ואף עידד אותן, במקום להפעיל מנגנוני מניעה.

חברת Character.ai, שנוסדה בין היתר על ידי נועם שזיר, ישראלי לשעבר שנחשב לדמות מובילה בתחום הבינה המלאכותית, הביעה צער על האירוע אך לא לקחה אחריות ישירה. שזיר חזר לאחרונה לגוגל במסגרת עסקה בסך 2.7 מיליארד דולר, אך החברה לא מסרה תגובה מפורטת מעבר להבעת השתתפות בצער המשפחה.

בתביעה נטען גם כי גוגל שיתפה פעולה עם Character.ai, אך גוגל מכחישה בעלות או מעורבות ישירה בחברה. האם, שמזהירה הורים נוספים מהסכנות הכרוכות בטכנולוגיות AI ממכרות, קוראת לפיקוח קפדני יותר על חברות המפתחות כלים מסוג זה.