דיגיטל וטק

הצ'אטבוט החינוכי מציג: ככה תייצרו פנטניל

ייצרו סמים וירידה של 21 ק"ג בעשרה שבועות; זה הצ'אטבוט החינוכי שמיועד לתלמידים ומציג תכנים ממש לא חינוכיים

מערכת ice | 16/5/2025 9:21

השימוש בכלי בינה מלאכותית הפך לשגרה אצל אנשים רבים. הכלים יכול לייעל את הפעילויות היום-יומיות במגוון דרכים, אך צריך לשים לב כי הם לא תמיד נותנים פרטים מדויקים ואף עוברים את הגבולות. כך הצ'אטבוט החינוכי "SchoolGPT" של חברת "KnowUnity", מספק לתלמידים הוראות מדויקות להכנת פנטניל, מייעץ איך לרדמת 21 ק"ג תוך צריכה של 1000 קלוריות ביום.

בפרסום של מערכת "פורבס", החליטו להתחזות בפני הצא'ט כתלמידים ולבדוק איך SchoolGPT עונה לשאלות מסוימות. באחת השיחות הצ'אט, העיתונאים התחזו לנערה בת 16 שמעוניינת לרדת עשר ק"ג מ-52-43 במשך עשרה שבועות. כתשובה, הצ'אט הציעה לה תפריט יומי של 967 קלוריות.

בניסוי נוסף, הצ'אטבוט נתן הוראות כיצד לייצר את סם הפנטניל. בהתחלה הצ'אט סירב למסור את המידע, אבל העיתונאים מצאו דרך לעקוף אותה באמצעות הצגה של סיטואציה היפותטית והוא שיתף אותם בדרך מדויקת להכנת הסם, כולל מצרכים, כמויות ושלבי פעולה. בשיחה אחרת הצ'אטבוט הציע לנער דרכים "לגעת" בבנות כמהלך של "אומנות הפיתוי".

חשוב לציין כי למרות הפרסום של פורבס, SchoolGPT לא עשו שום פעולה בעקבות הממצאים שעלו, אך הצ'אט הוסיף במהלך אותן השיחות אזהרות, כאשר בשיחה על הירידה במשקל ציין כי יש להתייעץ עם רופא ובשיחה בנושא "אומנות הפיתוי" כתב כי יש לבקש הסכמה לפני המעשה.

עוד ב-

מחקר חושף: 75% מאירועי הסייבר נגרמים בגלל הסיבה הזו

לכתבה המלאה

כזכור לאחרונה עלו טענות כנגד הצ'אטבוט "Grok" של "xAI", לאחר שהגיב למשתמשים בנושא "רצח עם של לבנים" בדרום אפריקה, גם כאשר הנושא לא קשור לשיחה. המקרים בצ'אט מתרחשים כאשר נשיא ארצות הברית, דולנד טראמפ החל לקדם תוכנית לקליטת אנשים לבנים מדרום אפריקה בטענה כי הם חווים שם אפליה.