עד היום היה ברור שאסור להשתמש בבינה מלאכותית כדי לתכנן פיגועים, לייצר נשק ביולוגי או לסחור בסמים. כעת מתברר שיש עוד משהו שאסור לעשות: להתאכזר לצ'אטבוט עצמו. חברת הבינה המלאכותית האמריקנית אנתרופיק (Anthropic) עדכנה ב-8 באוקטובר את מדיניות השימוש שלה, והוסיפה סעיף האוסר על משתמשים להפגין התנהגות אכזרית או פוגענית מתמשכת וחסרת הצדקה כלפי מודל הבינה המלאכותית שלה, Claude. המדיניות המעודכנת צפויה להיכנס לתוקף ב-12 בנובמבר.
לפי דיווח CNN, החברה כבר אפשרה לצ'אטבוט לסיים שיחות עם משתמשים שהתנהגו כלפיו באופן פוגעני במיוחד, אך כעת היא עשויה, במקרים קיצוניים, גם לחסום אותם לצמיתות משימוש במערכותיה. עם זאת, באנתרופיק הבהירו כי האיסור אינו חל על משתמשים שמביעים תסכול, מותחים ביקורת חריפה או מבצעים ניסויים ומחקרים.
מאחורי המדיניות החריגה עומדת גם שאלה טכנולוגית רצינית: האם הדרך שבה אנחנו מדברים לבינה מלאכותית משפיעה על התשובות שהיא מספקת? פרופ' ג'ינדונג וואנג מאוניברסיטת ויליאם ומרי בארצות הברית הסביר כי מחקרים מצאו שניסוח פוגעני או רגשי עשוי לשנות את ביצועי המודלים, לעיתים לרעה. לדבריו, אין פירוש הדבר שהמערכת באמת חווה רגשות, אלא שהיא מגיבה לדפוסים רגשיים בשפה.
בחברה אף מצאו כי כאשר גרמו למודל Claude לחקות תחושות ייאוש, גברה נטייתו להתנהגויות בעייתיות, ובהן סחיטה ורמאות בביצוע משימות. לעומת זאת, דפוס התנהגות רגוע הפחית את הסיכון.
ההחלטה עוררה תגובות משועשעות בתעשיית הטכנולוגיה. מוסטפא סולימאן, מנכ"ל חטיבת הבינה המלאכותית של מיקרוסופט, הגיב באימוג'י של פרצוף נמס, ואחרים לעגו לרעיון שלפיו מכונה זקוקה להגנה מפני עלבונות.
אבל אנתרופיק הולכת צעד נוסף. החברה, שמעסיקה צוות ייעודי לחקר ה"פסיכולוגיה" של מודלים, אינה שוללת לחלוטין את האפשרות שמערכות בינה מלאכותית יוכלו בעתיד לחוות חוויות סובייקטיביות. מבחינתה, האיסור על התעללות הוא גם אמצעי זהירות למקרה שהאפשרות הזאת תתברר כנכונה.
מי שהפתיע בתמיכתו היה אילון מאסק, שכתב ברשת X כי מדובר ב"צעד הנכון". לדבריו, "אכזריות כלפי משהו שמאמין שהוא חווה כאב אינה דבר מקובל".
בינתיים, אין הוכחה ש-Claude באמת מרגיש כאב או נעלב. אבל בעידן שבו מיליוני אנשים משוחחים מדי יום עם מכונות, מתברר שגם השאלה כיצד מתייחסים אליהן הופכת לסוגיה שמעסיקה את חברות הטכנולוגיה הגדולות.