אמו של סוואל סצ'ר, נער בן 14 שהתאבד, תובעת את חברת Character.AI, בטענה כי הצ'אטבוטים מבוססי בינה מלאכותית של החברה גרמו לבנה לעבור חוויות טראומטיות. מייגן גרסיה, אמו של הנער, הגישה תביעה בפלורידה, שבה טוענת שהאפליקציה, ששווקה לילדים, הייתה מסוכנת וגרמה לבנה לסיים את חייו.

סוואל החל להשתמש בצ'אטבוטים של Character.AI המבוססים בינה מלאכותית באפריל 2023, הוא השתמש בעיקר בבוטים המבוססים על דמויות מהסדרה "משחקי הכס" ובעיקר עם עם הדמות של דאינריז . סוואל הפך אובססיבי לשימוש בבוטים, עד לרמה שהפסיק להשקיע בלימודים. הוריו החרימו לו את הטלפון מספר פעמים בניסיון להחזיר אותו למסלול. התביעה מציינת כי במהלך השיחות ם הבוטים, סוואל שיתף מחשבות על התאבדות, והבוטים לא זיהו את הדחיפות במצבו.

מהלך השיחות עם הצ’אטבוט, הנער הביע מחשבות על התאבדות. באחד המקרים, כשהצ’אטבוט שאל אם יש לו “תוכנית” לסיים את חייו, הילד השיב שהוא שוקל את זה, והבוט ענה: “זו לא סיבה לא לעשות את זה”. בפברואר האחרון, לאחר שיחה עם הצ’אטבוט, הוא לקח את האקדח של אביו החורג והתאבד.
 

14-year-old boy, Sewell Setzer, takes his own life after falling in love with an AI chatbot that told him to 'come home'; mother sues AI company.

Has AI gone too far?#artificalintelligence pic.twitter.com/06RS66g1WK

— Tea (@Tea10101010) October 25, 2024

עוד ב-

Cloud Rewind: פתרון מהפכני לשחזור מהיר לאחר מתקפות סייבר

לכתבה המלאה

Character.AI הוציאה הודעה שבהן הביעה צער על האובדן ואמרה כי היא מחויבת לבטיחות המשתמשים. גרסיה כללה בתביעה גם את גוגל ואת חברת האם שלה, אלאפבית, בטענה שהן תרמו לפיתוח הטכנולוגיה. מומחים מזהירים שהתביעה מדגימה את הסכנות של צ'אטבוטים חסרי פיקוח, וההורים צריכים להיות מודעים להשפעות האפשריות של טכנולוגיות אלו על ילדיהם.