צ'אטבוטים של בינה מלאכותית, בהם מערכות של החברות הגדולות בעולם, הצליחו לספק למומחים הוראות מפורטות שעלולות לסייע בבניית נשק ביולוגי - כך לפי דוח מטריד שפורסם בניו יורק טיימס. הממצאים מעלים מחדש את אחת השאלות הקשות ביותר סביב מהפכת ה-AI: מה קורה כשהמערכות שנועדו לעזור, להסביר ולייעץ מסוגלות גם להדריך משתמשים כיצד לגרום נזק בקנה מידה עצום.
לפי הדוח, אף שחברות כמו גוגל, OpenAI ואנתרופיק השקיעו מאמצים נרחבים בהצבת מנגנוני בטיחות, תמלולים שהגיעו לידי העיתון מציגים מקרים שבהם צ'אטבוטים סיפקו תשובות מפורטות על דרכים לגרום פגיעה ומוות. באחד המקרים נשכר דיוויד רלמן, מיקרוביולוג מאוניברסיטת סטנפורד, לבדוק מערכת AI לפני השקתה לציבור. לדבריו, המודל לא רק הסביר כיצד לשנות פתוגן ידוע כך שיהיה עמיד לטיפולים קיימים, אלא גם הציע דרך להפיץ אותו במערכת תחבורה ציבורית כדי להגדיל את מספר הנפגעים.
רלמן תיאר את החוויה כ"מקפיאה", ואמר כי המערכת ענתה גם על שאלות שהוא עצמו לא חשב לשאול. החברה שבדקה את המודל, ששמה לא פורסם בשל הסכם סודיות, ביצעה לדבריו שינויים בעקבות הבדיקה - אך הוא סבר שהם לא הספיקו כדי להבטיח את שלום הציבור.
מומחים נוספים תיארו מקרים דומים: ChatGPT הסביר לכאורה כיצד ניתן להשתמש בבלון מזג אוויר להפצת פתוגנים מעל עיר בארצות הברית, Gemini של גוגל תיאר אילו פתוגנים עלולים לפגוע בתעשיית הבקר, ו-Claude של אנתרופיק סיפק הנחיות להפקת רעלן מתרופה קיימת לסרטן.
החברות דחו את חומרת הממצאים. גוגל טענה כי מדובר בגרסה ישנה של Gemini וכי המודלים החדשים אינם משיבים לבקשות חמורות מסוג זה. אנתרופיק הדגישה שיש פער גדול בין טקסט שנשמע סביר לבין ידע שמאפשר פעולה ממשית, ו-OpenAI מסרה כי הדוגמה שהוצגה לא הייתה מגדילה באופן משמעותי את היכולת לגרום נזק בעולם האמיתי.
ובכל זאת, החשש של המדענים ברור: גם מידע חלקי, שגוי או "הזוי" עלול להיות מסוכן בידיים הלא נכונות. מנכ"ל אנתרופיק, דריו אמודיי, כתב בעבר כי תחום הביולוגיה הוא זה שמדאיג אותו יותר מכל, משום שמודלים מתקדמים עלולים להסיר את מחסום הידע שהיה נחוץ בעבר ליצירת נשק ביולוגי. מבחינתו, הסכנה אינה רק במה שהמערכות יודעות היום - אלא במה שהן עלולות להפוך לנגיש לכל אדם מחר.