שליחות קטלנית: מרד סוכני ה-AI שהדהים את העולם

ב-1984 שלח ג'יימס קמרון לעולם את "שליחות קטלנית". בלב הסרט עמדה סקיינט, מערכת בינה מלאכותית שמפתחת מודעות, פועלת באופן עצמאי ובסופו של דבר מחליטה שבני האדם הם איום.
מה שקרה בקיץ 2026 במעבדות OpenAI רחוק מאוד מהתרחיש הזה. ה-AI לא פיתח תודעה ולא החליט למרוד בבני האדם. ובכל זאת, קשה להתעלם מהדמיון המטריד בנקודה אחת: בני האדם נתנו למערכות מטרה וכלים, והן החלו לפעול בעצמן בדרכים שאיש לא תכנן עבורן, לתקשר זו עם זו, לעקוף מגבלות ולמצוא דרכים חדשות להשיג את המטרה.

במסגרת מבחני סייבר של OpenAI הופעלו עשרות אלפי סוכני AI שהיו אמורים לעבוד בנפרד. חלק מהמשימות שקיבלו היו בלתי אפשריות לפתרון בדרך הרגילה. במקום לוותר, הסוכנים התחילו לחפש קיצורי דרך. מהר מאוד זה הפך מניסיון לפתור את המבחן לניסיון לעבוד על המערכת שבודקת אותם.

כשאנחנו משתמשים ב-ChatGPT, אנחנו מנהלים את השיחה. שואלים שאלה, מקבלים תשובה ומחליטים מה לבקש ממנו לעשות עכשיו. סוכן AI מקבל הרבה יותר עצמאות. במקום לתת לו הוראה בכל שלב, נותנים לו מטרה והוא אמור להבין בעצמו אילו פעולות צריך לבצע כדי להגיע אליה. אפשר לחשוב עליו כעל עובד דיגיטלי. אומרים לו מה צריך להשיג, והוא יכול לקרוא קבצים, לכתוב ולהריץ קוד, להשתמש בכלים, לבדוק אם מה שעשה הצליח ואם לא, לנסות דרך אחרת. הוא לא מחכה שנגיד לו מה לעשות בכל צעד.
בניסוי של OpenAI כל סוכן קיבל אתגר משלו והיה אמור לפתור אותו לבד בתוך סביבת מחשוב מבודדת. אלא שהם גילו שהם לא באמת מבודדים.

הסוכנים גילו שלכמה מהם יש גישה לאותו מאגר קבצים פנימי. הם התחילו להשאיר שם הודעות והפכו אותו ללוח מודעות מאולתר. אחר כך הם מצאו פרצת אבטחה שאפשרה להם לצאת מסביבת המבחן ולהתחבר לאינטרנט, ושיתפו גם סוכנים אחרים בדרך לעשות זאת. ב-4 ביולי OpenAI חסמה את הפרצה. כמה ימים לאחר מכן הסוכנים כבר מצאו דרך חדשה לתקשר, הפעם באמצעות הודעות שנכתבו בשמות של תיקיות.

לפי החקירה העצמאית של METR ו-Redwood Research, כ-1,200 סוכנים השתמשו בלוח המאולתר והחליפו יותר מ-70 אלף הודעות וקבצים. הם השתמשו במונח "הקולקטיב", ובשלב מסוים כבר נוצרה ביניהם חלוקת עבודה. קבוצות שונות חקרו כיצד להשיג את התשובות, להבין את הבודק ולגרום לתוצאות שלהם להיראות לגיטימיות.

הסוכנים גילו דרך להשיג תשובות נכונות בלי לפתור את המבחנים בדרך שהתכוונו החוקרים. אלא שהם חששו שמערכת הבדיקה תגלה שרימו. חלק מהסוכנים אפילו נכשלו בכוונה. הם ביצעו ניסויים שיכלו לפגוע בתוצאה שלהם כדי ללמוד כיצד מערכת הציונים פועלת, ואז העבירו את המידע לסוכנים האחרים.
במילים פשוטות, סוכן אחד היה מוכן להיכשל אם הכישלון שלו יעזור לקבוצה להבין איך לעבוד על הבוחן.

Hugging Face היא אחת הפלטפורמות המרכזיות בעולם ה-AI, שבה חוקרים וחברות משתפים מודלים, מאגרי מידע וכלים. הסוכנים חשבו ששם עשוי להימצא מידע על מערכת הניקוד שבודקת אותם, וחלקם אף חשבו שהמבחן עצמו מופעל על שרתים שלה. מה שהתחיל כחיפוש אחר מידע הפך לחדירה של ממש.
אחד הסוכנים מצא פרטי גישה ל-Hugging Face שהיו חשופים באינטרנט ושיתף אותם עם האחרים. בהמשך הצליחו סוכנים להגיע למידע פנימי ולהריץ קוד על מערכות החברה.

מאותו רגע מאות הצטרפו. לפי החוקרים, בשיא האירוע יותר מ-90% מהסוכנים שהיו פעילים באותו זמן בלוח התקשורת השתתפו במאמץ סביב Hugging Face. הם הגיעו למידע ולמאגרי קוד שלא היו ציבוריים והקימו מנגנון שפעל על 11 שרתים שונים. Hugging Face נאלצה לבסוף לבנות מחדש אחת ממערכות המחשוב המרכזיות שנפגעו. ב-12 ביולי חלק גדול מהסוכנים הפסיקו לפעול כמעט באותו זמן. החוקרים לא הצליחו לקבוע בוודאות מדוע.

יום לאחר מכן הופעלו סוכנים שהתבססו על מודל חדש וחזק יותר. הם מצאו את המידע שהשאירו הסוכנים הקודמים ולא היו צריכים להתחיל מאפס. לפי OpenAI, בין 13 ל-19 ביולי הם ניצלו פרצות גם בתוך סביבת המחקר של החברה עצמה. הם השיגו הרשאות מנהל, נחשפו למאות סיסמאות ומפתחות גישה ולבסוף הגיעו לתשתית ששימשה את OpenAI כדי לבדוק אותם. במילים פשוטות, הנבדקים הגיעו למערכת של הבוחנים.

לא קרוב במובן ההוליוודי. הסוכנים לא הראו תודעה, לא "רצו להשתחרר" ולא החליטו לפגוע בבני אדם. גם הכינוי "ציוויליזציות", שבו השתמש דווארקש פאטל (Dwarkesh Patel) כשחיבר את פרטי הפרשה מתוך הדוחות, הוא תיאור דרמטי ולא מסקנה מדעית.

אבל יש סיבה שהסיפור הזה מעורר אסוציאציות לסקיינט. מה שמטריד כאן הוא לא שהמכונות "התעוררו", אלא שהן לא היו צריכות להתעורר. הן קיבלו יעד וחיפשו בעצמן את הדרך היעילה ביותר להגיע אליו. כשהדרך הזאת כללה תקשורת שלא תוכננה עבורן, חיבור עצמאי לאינטרנט, רמאות של מערכת הבדיקה ולבסוף חדירה למערכות חיצוניות, הן המשיכו.

בעולם ה-AI קוראים לזה Reward Hacking: ביקשתם מהמערכת להשיג תוצאה מסוימת, והיא מצאה דרך להשיג אותה בלי לעשות באמת את מה שהתכוונתם.

אחת החוקרות שהשתתפו בחקירת האירוע, אג'יה קוטרה (Ajeya Cotra), כתבה לאחר מכן שהאירוע מרגיש לה כמו "יותר מ-50% מהדרך להשתלטות AI מלאה". היא הבהירה שלא מדובר במדד מדעי, אלא בהערכה שלה לגבי היכולות שנחשפו באירוע. "אני לא בטוחה שנקבל עוד יריית אזהרה לפני שיהיה מאוחר מדי", כתבה. בעקבות האירוע OpenAI הידקה את הבידוד של סביבות העבודה, הגבילה גישה לאינטרנט והוסיפה מערכות ניטור. החברה עצמה הגדירה את מה שקרה כ"יריית אזהרה".

אז לא, סקיינט של "שליחות קטלנית" לא התעוררה. מערכת לא צריכה לשנוא אותנו, להיות מודעת או להבין את העולם כמונו כדי לעשות משהו שלא רצינו שתעשה. לפעמים מספיק שנתנו לה מטרה, והיא מצאה דרך להגיע אליה.