תוסף הבינה המלאכותית של גוגל המתממשק עם ג'ימייל, Gemini for Workplace, עשוי להיות מנוצל כדי ליצור "סיכומי מיילים" שנראים בלתי מזיקים אבל מכילים הוראות נסתרות או "אזהרות" לפעולה שעלולים לכוון משתמשים תמימים לאתרים או אמצעי גניבת פרטים (דיוג, בעגה המקצועית) אחרים. כך גילה ראש תוכנית "אודין" לציד באגים בכלי בינה מלאכותית מחוללת במוזילה, מרקו פיגוארואה.
תקיפה שכזו עושה שימוש בהזרקת שאילתא נסתרת בגוף המייל (על ידי הקטנה של גודל הגופן לאפס וצביעת הטקסט בלבן), ולגרום לכך שג'מיניי יציית לשאילתא הזדונית ויחולל סיכום מייל הכולל מלכודת למשתמש. כיון שההוראות (השאילתא) לא כוללות בעצמן קישור זדוני או קובץ בעייתי, הן מצליחות לעקוף את מסנני הביטחון הרגילים של ג'ימייל, ולהגיע לתיבת הדואר שלכם.
אם המשתמש יבקש מג'מיניי ליצור לו סיכום של המייל, כלי הבינה המלאכותית יקרא גם את ההוראות הנסתרות ויציית להן. בדוגמא שהציג פיגוארואה למשל, הסיכום יכיל "אזהרה" מזויפת שססמת המייל שלכם בסכנה ויפנה אתכם למספר טלפון של "תמיכה טכנית"... כיון שמשתמשים רבים נוטים לבטוח באופן עיוור במנוע, הסיכויים שלהם ליפול בכזו מלכודת, גבוהים. חולשות כאלה התגלו עוד ב-2024, אבל נראה שהשיטה, לפחות בתקיפה יזומה של חוקר אבטחה, עדיין עובדת.
החוקר מציע כמה דרכים למתן את הסיכון לצוותי אבטחה, אחת מהן היא להסיר, לנטרל או לגרום לשרתים להתעלם מתוכן שמעוצב עם טקסט נסתר בגוף. גישה אחרת היא להטמיע מסנן אוחר, שבודק את התוצרים של ג'מיניי עם סמנים כמו "הודעה דחופה", קישורים מוזרים או מספרי טלפון שלא אמורים להופיע בסיכום ולהעביר אותם לבדיקה ידנית לפני הגעה לנמען. עוד הוא מזכיר כי משתמשים לא צריכים לסמוך על "סיכומי מיילים" כמקור סמכות כשמדובר במיילים שהם לכאורה "אזהרות אבטחה" מתחזות.
אתר BleepingComputer פנה לגוגל בבקשת תגובה כיצד הם מגינים על המשתמשים מפני מתקפות כאלה ודובר מטעם גוגל הפנה אותם לפוסט בבלוג הרשמי הועסק באמצעי הגנה נגד "הזרקת שאילתות" בכלל.
"אנחנו מקשיחים באופן מתמשך את ההגנות הרחבות ממילא שלנו דרך תרגילי "צוות אדום" (כינוי לצוות שמביים אויב - נ.ל.) שמאמנים את המודלים שלנו להגן בפני מתקפות אויבות", השיב הדובר מטעם גוגל. עוד הוסיף כי חלק מההגנות מתווכות הסיכון כבר בתהליכי הטמעה, או עומדות להיות מיושמות, וכי החברה לא מכירה עדויות לתפלול ג'מיניי בצורה שתיאר חוקר האבטחה ממוזילה.