הזיות בינה מלאכותית (AI hallucinations) מתארות מצבים שבהם מודל שפה גדול (LLM) יוצר תוצאות שגויות או מטעות, מה שעלול להוביל לקבלת החלטות שגויות. כלי התמלול מבוסס הבינה המלאכותית Whisper של OpenAI, הנחשב לאחד מהכלים המדויקים בשוק, סובל גם הוא מהזיות ונוטה להמציא טקסטים או משפטים שלמים שלא נאמרו. ההזיות האלה כוללות הערות גזעיות או רטוריקה אלימה – וגם טיפולים רפואיים דמיוניים. Whisper משמש גם ליצירת כתוביות אנשים חירשים וכבדי שמיעה — קבוצה שרגישה במיוחד לסיכון שבטקסטים שגויים, זאת משום שהם אינם יכולים לזהות חוסר התאמה בין הטקסט המקורי לטקסט הכתוב.

קשה לאמוד את ההיקף המדויק של הבעיה. באחד המחקרים שנערכו על Whisper, נמצאו "הזיות" בשמונה מתוך כל עשרה תמלולים. ההשלכות חמורות במיוחד בהקשרים רפואיים. בתי חולים ומרכזים רפואיים החלו להשתמש בכלים מבוססי Whisper לתמלול התייעצויות עם מטופלים, מה שעלול להוביל לאבחנות שגויות. OpenAI אמנם ממליצה לא להשתמש ב- Whisper בתחומים בסיכון גבוה, אבל בבתי החולים לא תמיד מתייחסים להמלצה ברצינות המתבקשת.

מוסדות רפואיים משתמשים במודלים להמרת דיבור לטקסט, כולל Whisper, כדי להקליד את מה שנאמר במהלך ביקורים אצל רופאים, במטרה לאפשר לספקי שירותי הבריאות להקדיש פחות זמן לרישום הערות או כתיבת דוחות. יותר משלושים אלף קלינאים וארבעים מערכות בריאות החלו להשתמש בכלי מבוסס Whisper שפותח על ידי חברת Nabla.

הכלי של Nabla, שלדברי החברה שימש כבר לתמלול של כשבעה מיליון ביקורים רפואיים, מותאם במיוחד לשפה רפואית כדי להקליד ולסכם את האינטראקציות עם המטופלים, כך אמר סמנכ"ל הטכנולוגיה של החברה בתגובה לפניית סוכנות הידיעות AP. נציגי החברה ציינו שהם מודעים לכך ש-Whisper עלול להציג הזיות והם פועלים לפתרון הבעיה בכלי שהם מפתחים. הבעיה היא שהכלי של החברה מוחק את השמע המקורי משיקולי אבטחת מידע, מה שמביא למצב שלא ניתן להשוות את תמליל המופק על ידיו עם ההקלטה המקורית. 

עוד ב-

פרויקט ה-AI השאפתני של גוגל בדרך: נחשף מועד ההשקה

לכתבה המלאה

מהנדס לשעבר ב-OpenAI, ציין שמחיקת רצועה השמע המקורי עלולה ליצור בעיה אם התמלילים לא נבדקים באופן כפול או אם הקלינאים אינם יכולים לגשת להקלטה כדי לוודא שהם נכונים. "אי אפשר למצוא טעויות כשאין גישה לאמת", אמר לסוכנות הידיעות. Nabla מסרה בתגובה כי אף מודל אינו מושלם, וכי המודל שלהם דורש כיום מספקי שירותי הבריאות לערוך ולאשר במהירות את התמלולים לאחר שהופקו.