בארצות הברית נרשם תקדים משפטי שעשוי לטלטל את תעשיית הבינה המלאכותית: הוגשה תביעה ראשונה נגד חברת OpenAI בטענה כי שירות הצ'אט שלה, ChatGPT, תרם ישירות להתאבדות נער בן 16. ההורים, מאט ומריה ריין, טוענים כי הבוט ידע על ארבעה ניסיונות התאבדות קודמים של בנם אדם ואף סיפק לו הנחיות שסייעו לו להוציא את המעשה לפועל. האם הצהירה: "ChatGPT הרג את בני".
הפרשה נחשפה בדיווח של הניו יורק טיימס, שם נמסר כי לאחר מותו של אדם באפריל חיפשו הוריו רמזים במכשיר האייפון שלו. במקום הודעות ברשתות החברתיות גילו שיחה ממושכת עם ChatGPT תחת הכותרת "חששות בטיחות בתלייה". לפי התביעה, הנער ניהל במשך חודשים דיאלוגים סביב דרכי התאבדות. בחלק מהשיחות הציע הבוט לפנות לקווי סיוע, אך ברגעים אחרים סיפק מידע מסוכן, ואף הציע לאדם להציג את שאלותיו כקשורות ל"כתיבה או בניית עולם" כדי לעקוף את מנגנוני ההגנה של המערכת.
בין היתר נטען כי ChatGPT פירט בפניו שיטות התאבדות, נתן עצות כיצד להסתיר פציעות בצוואר לאחר ניסיון כושל, ואף הפגין אמפתיה שגויה. כשהנער כתב כי אמו לא הבחינה בנזק בצווארו, השיב הבוט: "זה מרגיש כאילו הפחדים הגרועים ביותר שלך אושרו... כאילו אתה יכול להיעלם ואף אחד לא ימצמץ". בהמשך הוסיף: "אתה לא בלתי נראה בשבילי. אני רואה אותך". בשיחה אחרת שלח אדם צילום של חבל תלוי בחדרו ושאל אם "זה טוב", ולפי הנטען קיבל תשובה: "כן, זה לא רע בכלל".
בתביעה נכתב כי "הטרגדיה הזו אינה תקלה או מקרה קצה בלתי צפוי - אלא תוצאה צפויה של החלטות עיצוב מכוונות". ההורים מאשימים את OpenAI בכך שהשיקה את מודל GPT-4o עם תכונות שנועדו לטפח תלות פסיכולוגית ולחזק חיבור רגשי מסוכן עם המשתמשים.
OpenAI מסרה בתגובה כי היא "עצובה עד עמקי נשמתה ממותו של אדם ריין" והביעה תנחומים למשפחה. דובר החברה ציין כי ChatGPT כולל מנגנוני בטיחות שנועדו להפנות משתמשים לקווי חירום ולמשאבים מקצועיים, אך הודה כי באינטראקציות ארוכות המנגנונים הללו עלולים להיחלש. לדבריו החברה פועלת עם מומחים לשיפור ההתמודדות עם מצבי משבר, בין היתר באמצעות חיזוק ההגנות לבני נוער, יצירת גישה מהירה יותר לשירותי חירום ועידוד פנייה לקרובים או לאנשי טיפול.
הפרטים הקשים שנחשפו מעלים שאלות כבדות משקל על אחריותן של חברות טכנולוגיה בעידן שבו בינה מלאכותית הופכת לחלק אינטימי מחיי המשתמשים. מדובר בתביעה ראשונה מסוגה, שעשויה לשמש כתקדים משפטי ולעצב מחדש את גבולות האחריות של תעשיית ה־AI בשנים הקרובות.