הרעיון מאחורי "בינה מלאכותית ריבונית" נשמע פשוט: במקום למסור מידע ומערכות AI לחברות ענן חיצוניות, המדינה או הארגון מפעילים אותם בעצמם ושומרים על שליטה מלאה. אלא שלפי מחקר שפרסמה TrendAI, החטיבה העסקית של טרנד מיקרו, יחד עם השליטה מגיעה גם אחריות גדולה הרבה יותר לאבטחה.
בשירותי ענן ציבוריים, חלק מהאחריות להגנה על התשתיות נמצאת אצל ספקית הענן. כשארגון מחליט להפעיל מערכת AI בעצמו, האחריות הזו עוברת אליו. והוא כבר לא צריך להגן רק על השרתים והרשת הארגונית, אלא גם על המידע שממנו ה-AI לומד, על המודל עצמו, על רכיבי התוכנה שמפעילים אותו ועל העובדים שיכולים לגשת לכל אלה.
כאן גם מתחילה הבעיה. מערכת AI יכולה להיות מותקפת בדרכים שלא קיימות במערכת מחשוב רגילה. תוקף, למשל, יכול לנסות להחדיר מידע זדוני לתוך החומרים שמהם המערכת לומדת. התהליך הזה, המכונה "הרעלת נתונים" (Data Poisoning), עלול לגרום למודל ללמוד מידע שגוי ולהתנהג בהמשך בצורה שלא התכוונו אליה.
אפשרות אחרת היא לפגוע במודל עצמו. מודלי AI כוללים מיליארדי ערכים מספריים, המכונים "משקלים", שקובעים במידה רבה כיצד המודל מגיב למידע שהוא מקבל. שינוי זדוני שלהם עלול להשפיע על התנהגות המערכת. לפי החוקרים, תוקפים יכולים גם לנסות להשתיל במודל "דלת אחורית" - מנגנון נסתר שיגרום לו לפעול בצורה מסוימת כאשר יקבל פקודה או מידע שהוכנו מראש.
הסכנה לא מתחילה בהכרח בתוך הארגון. חברות מורידות כיום מודלים מוכנים ורכיבי תוכנה ממאגרים חיצוניים ומשלבות אותם במערכות שלהן. לפי המחקר, אם אחד הרכיבים האלה שונה בידי תוקף והארגון לא בדק את מקורו, הוא עלול להכניס את האיום בעצמו אל תוך המערכת.
ויש גם סיכון הרבה יותר מוכר: בני אדם. עובד בעל הרשאות מתאימות יכול לשנות נתוני אימון, להחליף מודל או להוציא מידע רגיש מהמערכת. ככל שמערכות AI מקבלות גישה ליותר מידע ארגוני, כך גם ההרשאות אליהן הופכות לנקודת אבטחה משמעותית יותר.
TrendAI ממליצה לכן להתייחס למערכת AI כאל שרשרת שלמה שצריך להגן עליה. בין היתר, החוקרים מציעים לוודא שמודלים וקבצים הגיעו ממקור מוכר ולא שונו בדרך, לתעד מאיפה הגיעו נתוני האימון, לעקוב אחר כל המודלים שנמצאים בשימוש ולזהות מערכות AI שעובדים מפעילים ללא אישור.
המסר של המחקר פשוט למדי: להחזיק את ה-AI אצלכם לא הופך אותו אוטומטית לבטוח יותר. זה מעניק יותר שליטה - אבל גם הופך אתכם לאחראים כמעט לכל מה שעלול להשתבש.