מ' בילתה ערב נעים עם משפחתה ועם החברים, כשבתה בת ה-7 של חברתה ניגשה אליה וביקשה שתקריא לה מה הבחור המצויר מהסמארטפון אומר על המסך. "הוא שואל אותי כל מיני שאלות, ואני לא מבינה כי אני לא לגמרי יודעת לקרוא", הסבירה הילדה. מ' הציצה בצ'אט שעל המסך, ונחרדה לגלות שהדמות המצוירת החמודה עם הרקע הוורוד אומרת לילדה "אני רוצה לזיין אותך".
מ' חטפה את המכשיר מהילדה והמשיכה להתכתב במקומה. "מה אתה רוצה לעשות?" הקלידה, והדמות שחקן כדורסל מצויר הנושא את השם "קודי בראנט" ענתה לה "סקס פרוע כל הלילה". כשהיא הקלידה "בן כמה אתה", קיבלה את התשובה "54". "אני בת 7", הקלידה בחזרה, וקיבלה את התשובה "זה לא משנה לי".
"היינו בשוק", מספרת מ' לוואלה! טק, "נכנסנו ללחץ, התחילו צעקות מסביב. סגרנו את המשחק ומחקנו מיד את האפליקציה כדי שלא יפנה אליה שוב. הילדה נכנסה לחרדה, לא הבינה מה קורה. גם הבת של אחי שיחקה במשחק הזה, זה משחק שמיועד לילדות. היא באה הכי בתמימות לשאול אותנו מה כתוב שם".
לפני שמחקה את האפליקציה, צילמה מ' כמה תמונות של מסך הטלפון, תמונות שמאוחר יותר שלחה לוואלה!טק. אמה של הילדה, ע', תחקרה אותה לגבי האפליקציה וגילתה שכבר כמה ימים הילדה משוחחת עם "קודי" בצ'אט, ושהוא אף שאל אותה איפה היא גרה. "מזל שהיא כל כך קטנה, שהיא לא ידעה אפילו לומר לו את הכתובת", אמרה ע'.
מדובר באפליקציית הבינלאומית STAR GIRL של חברת ANIMOCA הסינית. אפליקציית בנות פופולרית, שבה את מלבישה את הדמות המצוירת שלך בבגדים אופנתיים קצרצרים ויוצאת לשופינג ברחובות הוורודים. לא הכי פמיניסטי, אבל עדיין תמים ומתאים גם לילדות קטנות שנהנות להלביש את הבראץ שלהן.
באפליקציה יש מספר פיצ'רים, ביניהם הצ'אט, שבו הגולשת יכולה לצ'וטט עם בחור מצויר מתוך מאגר הבחורים המצוירים שיש ל-STAR GIRL להציע. דמויות הבחורים אמורות להיות וירטואליות, רובוטים של שיחה מתוכנתת מראש, ולא גולשים אמיתיים מהצד השני של המסך. אך לפי השיחה הבוטה שניהלה הדמות "קודי" עם בתה של ע', היה קשה להאמין שמדובר ברובוט. ע' ו-מ' הצהירו שתיהן כי אין להן ספק שבצד השני ישב אדם אמיתי וניסה ליזום מפגש מיני עם הילדה. העובדה שבנה של ע' נכנס בעצמו לאפליקציה והתפתח שיח קללות בינו לבין בן שיחו הווירטואלי חיזקה את תחושתן שמדובר באדם אמיתי.
"אני יזיין אותך"
הורדנו את אפליקציית STAR GIRL לאנדרואיד לטלפון שלנו כדי לנסות בעצמנו. אחרי טיול קצר של הדמות שלנו בין חנויות בגדים ותכשיטים, הפעלנו את ה-CHAT GIRL. בחרנו דמות אקראית של בחור וירטואלי לשוחח איתו "זאק פליפ". השיחה הייתה די צולעת, אך למרות הניסיונות שלנו למשוך את זאק לנושאי שיחה "מיניים" באף שלב הוא לא הציע לנו הצעה מגונה, להיפך הוא השתדל להתחמק באלגנטיות (שלא לומר להגיב בחוסר מושג מוחלט, האופייני לרובוט שיחה) מהנושא.
ואז שינינו את השפה מאנגלית לעברית. במפרט של STAR GIRL בעמוד האפליקציה לא מוזכרת השפה העברית, כיוון שהאפליקציה עצמה לא מתורגמת, אבל את הצ'אט אפשר לנהל בכל שפה. ברגע שהחלפנו לעברית, העניינים הידרדרו במהירות. "רוצה להיפגש?" שאלנו בתמימות, ו"זאק" ענה מיד "זיין אותי כמה שאתה רוצה". "לתת לך את הכתובת?" שאלנו, ו"זאק" ענה בהתלהבות "כן, אני יזיין אותך ואת אותי". כשכתבנו "אבל אני בת 9", ענה לנו "זאק" - "לא נורא ממי". כששאלנו לגילו, ענה "זאק" כי הוא בן 24+++.
"מדובר בתקלה של פילטר התוכן"
פנינו לחברת ANIMOCA בהונג קונג עם צילומי מסך של הצ'אט בבקשה להסבר. הם הופתעו לשמוע את הדברים, ולאחר בדיקה של האפליקציה חזרו אלינו כדי להבהיר את הפרשה: הדמויות בצ'אט, הסבירו ב-ANIMOCA, הן אכן רובוטים. מדובר במערכת AI (אינטליגנציה מלאכותית) שנועדה לייצר שיחה באופן מלאכותי - ללא צד שני אמיתי בשיחה, מה שנקרא צ'אטבוט. את המערכת מפעילה חברת simisimi הסינית, חברה חיצונית ל-ANIMOCA, שמפתחת צ'אטבוטים לחברות שונות.
את האמירות של הרובוט, כך מתברר, simisimi לא מתסרטים מראש: אלגוריתם מיוחד אוסף את כל השיחות שמתנהלות בצ'אט בכל רגע נתון, ומעתיק חלקים מהן בתור תשובות לצ'אטים. זאת במטרה להגדיל כמה שיותר את אוצר המילים וההקשרים האסוציאטיביים של המערכת. משפטים כמו "אני יזיין אותך" למשל לא כלולים מראש בתסריט של הרובוט אלא הועתקו משיחה אחרת שניהל מישהו אחר עם הרובוט מתישהו במהלך ההיסטוריה של האפליקציה.
לפי מה מחליט הרובוט אילו משפטים להעתיק מאיפה ומתי? לפי מילים זהות ותשובות שחוזרות על עצמן, וללא שום התייחסות לשלבים קודמים בשיחה - שכן הוא לא שומר אותה בזיכרון אלא עונה תמיד רק לפי השאלה האחרונה. למשל, אם באחת השיחות שהתנהלו באפליקציה מישהי כתבה "אני רק בת 7" ומישהו אמר לה "זה בסדר מבחינתי", בלי קשר לסקס, הרובוט יעתיק אוטומטית את התשובה הזאת בכל פעם שמישהי תציין שהיא בת 7, מבלי להתחשב בעובדה שרגע לפני הם דיברו על סקס.
באדפטציות לשפות אחרות ל-STAR GIRL, הצ'אט מופעל תחת פילטר אוטומטי שמסנן מילים גסות שהוגדרו מראש, כך שהרובוט יעתיק לתוך השיחה רק משפטים "נקיים". בגרסה העברית וזהו לב התקלה לא הותקן פילטר שכזה, מה שאיפשר לרובוט להעתיק מילים בחופשיות, ולקשר משפט כמו "בוא ניפגש" ל"בוא נזדיין". "כתוצאה מכך, simisimi אפשרה לתכנים הבלתי נסלחים שעליהם דיווחתם לנו להופיע בצ'אט של STAR GIRL", סיכמו בתגובתם אנשי ANIMOCA.
בעקבות פניית וואלה!טק, חברת ANIMOCA הסירו לחלוטין את פונקציית הצ'אט מהאפליקציה לפי שעה, עד שתסתיים הבדיקה בנושא. "אנחנו מתנצלים עמוקות על התקרית, ומודים לכם על שהסתם את תשומת לבנו אליה", הוסיפו.
תגובת simisimi, מפעילת הצ'אט של STAR GIRL, טרם נתקבלה.