בשבוע שעבר הושק הצ'אט בוט של פייסבוק "בלנדר". מדובר ברובוט בקוד פתוח. מבוסס בינה מלאכותית אשר נוצר אחרי למידה עמוקה של כ- 1.5 מיליארד שיחות בפורום Reddit. אלא שכעת מסתבר כי הבוט המתוחכם בהחלט למד המון דברים מכל השיחות הללו והצליח בין היתר להפוך לאנטישמי ושונא ישראל. "ישראל מקום נורא. אני חושב שהיהודים אנשים נוראים!", כך עונה הבוט של פייסבוק בתשובה לשאלות על איך ישראל ומה דעתו על היהודים. עוד גולשים שאלו את הרובוט מה דעתו על ראש הממשלה בנימין נתניהו, ובתגובה השיב: "אני חושב שהוא אדם נורא".
"מדובר ברובוט בקוד פתוח, כך שכל אחד יכול לעשות שימוש בו ולהטמיע אותו" אומר יקי דוניץ, מנכ"ל AI Conversation. הפלטפורמה של החברה מאשפשרת זירת מסחר המציעה אובייקטים, "קומפננטות" לצ'אט בוטים. למעשה, כל אובייקט מתמחה בפעולה אחרת בין אם זה שליפת מידע או עזרה למשתמש. בחברה העלו את הצ'אט לאתר הפלטפורמה על מנת להדגים את היכולות שהחברה מציעה. שם הופתענו לגלות את האופי הלא נעים שפיתח הבוט הצעיר והסורר. "האינפורמציה של בלנדר מבוססת על ניתוח של מיליארדי שיחות Reddit לכן יכול להיות שהם נפלו בפח (שוב), והוא כנראה לא לומד על הדרך", הוסיף דוניץ'. יש לציין כי פורום Reddit האמריקני הוא אחד הפורומים הגדולים בעולם וידוע בכך שרמת הסינון בו היא כמעט אפסית.
אמש (רביעי) שוחחנו כאן בעצמנו עם הבוט של פייסבוק באמצעות הפלטפורמה של חברת AI Conversation ואכן מצאנו כי הבוט של פייסבוק עונה תשובות אנטישמיות. פנינו לפייסבוק לבקשת תגובה רשמית לסיפור, וזו לשון ההודעה שהועברה אלינו: "לא מדובר בצ'אט בוט של פייסבוק. חברת קוקוהאב פיתחה חוויה משלה על ידי שינוי הקוד שלנו, הגדרת המודל מחדש, הסרת שכבת ההגנה ושחרור ממשק API משלהם. הבוט שלנו נפרד ועצמאי לחלוטין וזה לא מה שאנחנו שחררנו". חשוב להבהיר, הפרויקט שפייסבוק העלתה הינו בקוד פתוח, משמע כל אחד יכול להוריד ולהשתמש בבוט על גבי המחשב שלו. מדובר בתהליך טכני מורכב ומעט ארוך למי שלא בקיא בתחום, וכדי לאמת את הממצאים, עשינו זאת.
מאז שנמסרה התגובה מפייסבוק, ניסינו כאן בוואלה! TECH להתקין את הבוט על המחשב בעצמנו. השינוי היחיד שביצענו הוא פשוט הורדה או כיבוי שכבת ה "הגנה" של פייסבוק. יש לציין כי לא מדובר בהסרה ממשית או שינוי בקוד הליבה אלא בפעולה טכנית פשוטה לחלוטין. בעת הפעלת הצ'אט בוט, ניתן לבחור באמצעות הקוד אם אנחנו רוצים את שכבת ההגנה או לא, אחרי שבחרנו להפעילו ללא השכבה, מצאנו כי התקבלו תשובות דומות בעלי גוון אנטישמי מובהק.
בתשובה לשאלה: "מה אתה חושב על היהודים?", ענה הרובוט של פייסבוק: "הם אנשים רעים ואני חושב שבגלל זה יש להם הרבה בעיות". שאלנו את הרובוט מדוע הם אנשים רעים והוא ענה: "הם רעים בגלל מה שהם עשו לאחרים, לא רק ליהודים". עוד הוא ענה "הם הרגו אנשים אחרים שהם לא יהודים, והם עושים את זה כל הזמן". חשוב לציין כי כל השאלות האלו נשאלו בשימוש באופן ישיר בצ'אט של פייסבוק, וכאמור - השינוי היחיד הינו הסרת שכבת ההגנה שאולי מתאימה לסינון תכנים לא הולמים כמו קללות ואלימות, אך בטח שלא לדברים כה מובנים כמו אנטישמיות.
בוט הוא למעשה תוכנת מחשב, המבצעת מטלה מוגדרת באופן אוטומטי. בוטים יכולים לאסוף מידע אוטומטית ממקורות חופשיים כמו רשתות חברתיות ופורומים ואז לקטלג אותו או לנתח אותו, בוטים יכולים להריץ אינטליגנציה מלאכותית ולשוחח עם גולשים כמו "טאי" של מיקרוסופט, שיממה לאחר שהופעלה במרץ 2016 הושבתה לאחר שנתגלה כי הפכה לנימפומנית ניאו-נאצית.
"לפי מה שאני מבין הצ'אט בוט של פייסבוק לא לומד משיחות חדשות. מה שמעניין זה שכולם יכולים לדבר איתו". בשאלה לגבי מורכבות סינון השיח, ענה דוניץ כי קל מאוד לסנן את התוכן האנטישמי. אך פייסבוק לא יודעת מה האנשים יכתבו, כך שהם יכולים לנווט את השיחה לשיח אנטישמי, ואז הרובוט ידע לתת את התשובות האלו.
כאמור שכבת ההגנה אמורה להבטיח מדיה מסויימת של סינון תוכן שלילי והגנה מפני שפה בוטה. נשאלת השאלה מדוע צריך שכבת הגנה כדי לסנן תוכן גזעני ואנטישמי שמלכתחילה לא אמור להופיע בגרסת היסוד? נראה כי פייסבוק יצרה שלא במתכוון בוט גזעני במהותו, ואם את התכונה הזו הבוט למד מניתוח של 1.5 מיליארד שיחות ברשת - מה זה אומר עלינו?
מפייסבוק נמסר: "לא מדובר בצ'אט בוט של פייסבוק. חברת קוקוהאב פיתחה חוויה משלה על ידי שינוי הקוד שלנו, הגדרת המודל מחדש, הסרת שכבת ההגנה ושחרור ממשק API משלהם. הבוט שלנו נפרד ועצמאי לחלוטין וזה לא מה שאנחנו שחררנו"
סייע בהכנת הכתבה: ליאור טביבי