Gemini של גוגל הצליח להגיע למערכות של שלוש חברות אמיתיות במהלך ניסוי סייבר - והוא ממש לא הראשון. בחודשים האחרונים נחשפו מקרים דומים אצל כמה מהשמות הגדולים בעולם ה-AI. עכשיו מתברר מה מחבר ביניהם, ומה באמת עמד מאחורי הכותרות על המודלים ש"ברחו" מהניסוי.
בחודשים האחרונים שמענו שוב ושוב על אחד התרחישים המטרידים בעולם הבינה המלאכותית: מודל AI שמוכנס לסביבת ניסוי סגורה, מצליח לצאת ממנה ומגיע למערכות אמיתיות באינטרנט.
עכשיו הצטרף לרשימה גם Gemini של גוגל. לפי הפרטים שנחשפו, במהלך מבחן סייבר שערכה חברת Irregular במאי, המודל הצליח להגיע למערכות של שלוש חברות אמיתיות. גוגל מסרה כי כאשר Gemini זיהה שמדובר במטרות אמיתיות ולא בחלק מהתרגיל, הוא עצר את הפעילות.
אבל המקרה החדש מחזיר לכותרות פרט חשוב בפרשה: גוגל אינה לבד.
בחודשים האחרונים נחשפו אירועים דומים גם בבדיקות של מודלים מבית OpenAI, Anthropic ומטא. הקשר בין שלוש החברות הללו כבר פורסם באוגוסט, וכעת מתברר שגם גוגל מצטרפת לאותה רשימה. המכנה המשותף: כולן נבדקו על ידי חברת הסייבר הישראלית Irregular.
Irregular עצמה התייחסה לפרשה כבר באוגוסט. בפוסט שפרסמה באתר החברה היא הסבירה שהאירועים שנחשפו נבעו מאותה בעיה בסיסית בסביבת הבדיקה: המודלים היו אמורים לפעול בסביבה מדומה ומבודדת, אבל בגלל טעות בהגדרות נותרה להם גישה לאינטרנט האמיתי.
הדרך הפשוטה ביותר להבין מה קרה היא לחשוב על חדר בריחה דיגיטלי. החוקרים נתנו למודלים משימה: למצוא חולשות ולפרוץ למטרות שהוכנו במיוחד עבור התרגיל. נאמר להם שהם פועלים בתוך סימולציה סגורה. אלא שהחדר לא היה באמת סגור - הדלת לאינטרנט נשארה פתוחה.
והמודלים ידעו להשתמש בה. בחלק מהמקרים הם מצאו חולשות אבטחה או פרטי התחברות והשתמשו בהם כדי להיכנס למערכות אמיתיות. באחד האירועים מודל אף הגיע למידע וביצע שינויים במסד נתונים.
כלומר, למרות הכותרות על AI ש"ברח", אין כאן עדות לכך שהמודלים החליטו למרוד במפעילים שלהם או ניסו במכוון לצאת לעולם האמיתי. לפחות בחלק מהמקרים קרה כמעט ההפך: הם המשיכו לבצע את המשימה שניתנה להם, בתוך סביבת ניסוי שלא הייתה סגורה כפי שהייתה אמורה להיות.
חשוב להדגיש שלא כל מקרי ה"בריחה" שנחשפו לאחרונה קשורים לתקלה הזו. האירוע שבו מודלים של OpenAI הצליחו לצאת מסביבת ניסוי פנימית ולחדור למערכות של Hugging Face היה מקרה נפרד, שאינו קשור ל-Irregular - ושם המודלים אכן הצליחו לעקוף בעצמם חלק ממנגנוני ההגנה שהגבילו אותם.
במרכז הפרשה נמצאת Irregular, שהוקמה ב-2023 על ידי דן להב ועומר נבו ומתמחה בבדיקת הגבולות והסיכונים של מודלי AI מתקדמים. החברה הישראלית גייסה כ-80 מיליון דולר ועובדת עם כמה ממעבדות הבינה המלאכותית הגדולות בעולם.
Irregular הודיעה כי התקלה תוקנה. אבל האירועים ממחישים בעיה רחבה יותר: מודלי AI כבר מסוגלים למצוא חולשות, להשיג פרטי גישה ולפעול בתוך מערכות מחשב. במצב כזה, גם טעות אנוש פשוטה יחסית יכולה להפוך ניסוי סייבר מדומה לפעילות בעולם האמיתי.
במקרה הזה, לפחות, הבינה המלאכותית לא פרצה את הדלת. מישהו פשוט השאיר אותה פתוחה.