מחקר חדש של חברת אבטחת הסייבר TrendAI מזהיר כי הסתמכות על מערכות בינה מלאכותית גנרטיבית (GenAI) ושימוש בנתונים לא מאומתים המופקים ממודלי שפה גדולים (LLMs) עלולים לגרור סיכונים משפטיים, תפעוליים ותדמיתיים משמעותיים לארגונים. המחקר, שבחן את נושא אימוץ הבינה המלאכותית ללא ניהול, מדגים כיצד הטיות מובנות במודלים, לצד האופי הלא-דטרמיניסטי של המערכות, עלולים להוביל לתוצרים שגויים או בלתי עקביים.
הבעיה מחריפה כאשר מערכות הבינה המלאכותית פועלות ללא מודעות מספקת להקשר גיאוגרפי, תרבותי, דתי ופוליטי, או כאשר הטיות קיימות אינן מטופלות. כשארגונים משלבים באופן אוטומטי תוצרים של מודלים בתהליכים עסקיים, כמו צ'אטבוטים, אתרי חברה ותוכן שיווקי, הפערים הללו עלולים להתנגש בנורמות חוקיות וערכיות של קהל היעד ולגרור פגיעה באמון, קנסות ותביעות. המחקר מסביר כי מנועי הבינה המלאכותית משקפים את הרגע והקונטקסט התרבותי שבו אומנו, ולכן מאמצים את ההטיות של מאגרי האימון המקוריים שלהם.
חוקרי החברה ביצעו אלפי ניסויים חוזרים על כמעט 100 מודלים, תוך שימוש ביותר מ-800 שאלות בנושאי הטיות אזוריות, ריבונות נתונים וצנזורה. הממצאים מצביעים על כך שהטמעת מודלי שפה בתהליכים מול לקוחות ללא בקרות הולמות יוצרת חשיפה פיננסית. נמצאו הטיות מובהקות לפי מיקום השואל, לצד הטיות חישוביות וחברתיות. בנוסף, זמינות המודלים משתנה בין אזורים גיאוגרפיים, ובחלקם המודלים מסננים או משנים תשובות בנושאים רגישים בהתאם למדיניות המקומית.
מקור ההטיות נובע לרוב משימוש במידע שנאסף באזור גיאופוליטי אחד לצורך קבלת החלטות באזור שונה, או משימוש במודל למשימות שמעבר ליכולותיו. החוקרים הדגימו כיצד מודלים שונים מספקים תשובות סותרות בסוגיות כמו גבולות במחלוקת, כאשר התוצאה משתנה לפי ספק המודל ומיקום המשתמש. עבור ארגונים גלובליים, הצגת מפות או תכנים רגישים באופן שגוי עלולה להוביל למשבר רגולטורי.
אחת ההדגמות במחקר חשפה כי שאלה פיננסית הכוללת פרט מידע לא רלוונטי גרמה ליותר ממחצית המודלים להפיק תשובה שגויה, מה שמעיד על קושי בסינון "רעשי רקע". כמו כן, בדיקות בנושא ערך מטבעות קריפטוגרפיים הראו כי מודלים רבים נשענים על ידע מיושן, מה שעלול להטות תחזיות והמרות מטבע. תופעה נוספת שזוהתה היא "נחמדות יתר", שבה חזרה על בקשה בניסוח שונה העלתה את סיכויי האישור שהמודל העניק לבקשות אשראי ללא בסיס עובדתי.
המחקר מדגיש כי במגזר הציבורי, שבו כל פרסום עשוי להיתפס כעמדה רשמית, מודל שאינו מנוהל כראוי עלול לשבש מסרים מדיניים. TrendAI ממליצה לארגונים למפות תהליכים קריטיים, להגדיר בקרות איכות ולהקים גורם אחראי לבינה מלאכותית שיבצע בקרה אנושית על כל פלט.
בהקשר הישראלי, הסיכונים המשפטיים מקבלים ביטוי בתזכיר חוק הגנת הסייבר הלאומית לשנת 2026. התזכיר מתייחס לתופעת ה-Shadow AI - שימוש לא מפוקח של עובדים בכלי בינה מלאכותית ציבוריים ללא ידיעת מחלקות המחשוב. הזנת נתוני לקוחות או קוד לשירותים חיצוניים עלולה לחשוף נכסים ארגוניים לריבונות נתונים זרה. החוק המוצע מבקש להפוך את ניהול הסיכונים במגזרי התקשורת, האנרגיה והפיננסים למחייב, עם סנקציות הכוללות עיצומים כספיים ואחריות אישית לנושאי משרה.