בתוככי המכונה: איך עובדים גלגלי השיניים של מכונות הבינה המלאכותית?

כשהבינות המלאכותיות המחוללות כמו ChatGPT, ג'מיני ואחרות פרצו לחיינו, הכל נראה כמו מופע לוליינות או מחול חסר מאמץ: אנחנו כותבים שאלה, או נותנים לבינה המלאכותית לנתח עבורנו מאמר, ותוך שניות או דקות לכל היותר אנחנו מקבלים תשובות מפורטות וחכמות. אבל כמו במופעי לוליינות ומחול, כדי להגיע למקום הזה שהכל נראה חסר מאמץ, יש מאחור הרבה אימונים, חזרות, מאמץ ולמידה. אז מה קורה במעמקי המכונות העצומות האלה כשאנחנו שואלים אותן שאלה? יצאנו לקבל תשובה.

חברת מארוול (במלרע, להבדיל מחברת הקומיקס של איירון מן וקפטן אמריקה), היא אחת החברות המובילות בעולם בתחום של תקשורת מהירה למעבדים מהסוג שמפעיל את המודלים העצומים של בינה מלאכותית מחוללת (אם אתם לא יודעים מה זה מודלים, אתם מוזמנים לקרוא את כתבת המבוא שלנו לבינה מלאכותית), כמו אלה שמייצרת ומוכרת אנוידיה, אבל גם חברות אחרות. ישבנו עם נועם מזרחי, ה-CTO הגלובלי או סמנכ"ל הטכנולוגיה העולמי בעברית של החברה לשיחה על מה קורה מאחורי הקלעים, וכמה בעצם הפלא הזה שנקרא בינה מלאכותית הוא תוצר של עבודה קשה והרבה אימונים של המכונה עצמה עוד לפני שענתה על שאילתא אחת מבחוץ.

"אנוידיה, זה פשוט מדהים מה שהם עושים. צריך להבין כמה זה קשה לייצר את הדברים האלה. בעיניי באמת מדהים. הם מייצרים את המעבדים האלה, שטובים מספיק לכסות כמעט את כל התחום בצורה כמעט אופטימלית", אומר מזרחי. "אבל כשאתה מסתכל על השחקנים הגדולים בשוק, הם רוצים להריץ אפליקציות מאוד מאוד ספציפיות. ורוצים לטייב את השבב בדיוק למטרות שלהם, לא כמעט, אלא בדיוק. ואז הם פונים למארוול, אני צריך שתעזרו לי לייצר את השבב. אנחנו מייצרים את הפיזיקה של הדברים. מיצרים שבב, ומחזירים אליהם", הוא מסביר.

"המעבדים האלה צריכים לדבר ביניהם בקצב הגבוה ביותר האפשרי. כשאתה בונה מערכת שיש בה אלף מעבדים כאלה ואתה צריך לחבר אותם ביחד. מחקר שפורסם על ידי מטא, מראה ש-50% מזמן האימון של מודל מושקע בתעבורה ברשת. כלומר, רוב הזמן המעבדים יושבים ומחכים למידע... ולכן מושקעים מאמצים להגיע למהירות מיטבית.

מה קורה כשאתה עובר למאה אלף מעבדים? האם תוכל לחבר אותם באותו בניין? כבר לא בטוח. ומה יקרה ב-500 אלף מעבדים? כבר תצטרך יותר ממתחם, קמפוס אחד, כדי לאחסן את כל השרתים. אתה צריך להתחבר לקמפוס נוסף, ואז לחיבוריות הזו פתאום יש משמעות - חיבור בין בניינים וחיבור בין קמפוסים למרחק של מאות קילומטרים. כל החיבורים האלה כיום מחוברים בסוגים שונים של חיבורים אופטיים...זה המקום שבו אנחנו נמצאים. מארוול מובילה את השוק בנושא של חיבורים אופטיים במרכזי מידע וב-AI. כל מודל גודל בעולם, עבר דרך חיבור שלנו", אומר סמנכ"ל הטכנולוגיה.

מזרחי גם נותן לנו הסבר על סדרי הגודל של מהירות התקשורת המטורפת שנדרשת כדי שעשרות אלפי מעבדים יוכלו "לדבר" ביניהם באופן יעיל, ולספק את התשובות המורכבות שאנחנו מבקשים. רק כדי לתת לכם מספר שיסבר לכם את העין: חיבור האינטרנט הממוצע שיש לנו כיום בחיבור סיבים לבית, הוא 1 גיגהביט לשנייה, שהם מיליארד ביטים (ביט הוא אפס או אחד, יחידת הבסיס שבה מדברים מחשבים), ובשבילנו מדובר בחיבור במהירות גבוהה. אבל לא למעבדים של בינה מלאכותית.

"כשהתחיל כל השיגעון של הבינה המלאכותית, דובר על חיבור במהירות של 800 גיגהביט לשניה לכל שקע אופטי. כיום אנחנו כבר מדברים על 1.6 טרהביט לשנייה (כלומר פי 1,600 יותר מהיר מחיבור אינטרנט ביתי בסיבים שיש לנו בבית, וזה רק לשקע אחד! - נ.ל.) ו-3.2 טרהביט כבר מעבר לפינה.

עם ההתפתחות המואצת של הבינה המלאכותית, ובמיוחד עלייתם של השירותים שיוצרים סרטונים ריאלסטיים ובאיכות גבוהה נשאלת השאלה האם עומס התעבורה של יצירת והעברת היצירות של מיליארדי אנשים בעולם לא יגרום לקריסת תשתית האינטרנט הציבורית. גם לזה יש לנועם מזרחי תשובה.

"זו שאלה מצוינת. כמות המידע שזורם בכל מערכת כזו היא עצומה. מעבדי ה-AI הנוכחיים למשל, רק קצב התקשורת שמיועד רק לתקשורת עם השכנים שלהם, בין המעבדים עצמם בתוך אותו שרת, הוא כבר נמדד בטרהבייטים. ואכן להתמודד עם זה זה מאוד. ויש מגבלות של פיזיקה, והשלב הבא הוא אופטיקה.
לגבי איך זה משפיע על האינטרנט, זה מאוד משנה אם זה חיבור בין כמה מרכזים או מקומי. אתה יכול לבנות תשתית מקומית מאוד עבה. כרגע המידע שעובר ברשת הציבורית, הוא מאוד קל, לגבי הבינה המלאכותית המחוללת הנוכחית.

הבעיות יתחילו עם יצירה המונית של סרטים ותוצרים כבדים יותר. כיום, באופן יחסי, יש מעט מרכזים בעולם לאמן מודלים כאלה. האם זה יכול לעבוד בעולם שבו כולנו עכשיו מייצרים סרטים והכל מתנקז למקום אחד? כנראה שלא. יותר סביר להגיד, בואו נבזר את הסיפור הזה וניצור מרכזים קטנים יותר, ויש לזה השלכה גם על צריכת חשמל", אומר לנו הבכיר ממארוול.

ואכן, הרעב של חוות שרתים של בינה מלאכותית מחוללת לזרם ולחשמל הוא בלתי נדלה, ברמה שהוא משפיע אקוטית על הסביבה, ועל תפוקת החשמל הציבורית, וכפי שתיכף תראו, מדובר בזללנות אדירה של זרם. לכן, לא פלא שלפני כמה שבועות הגיעה מיקרוסופט להסכם שישמיש מחדש כור גרעיני לייצור חשמל שהושבת ב-1979 בגלל תקלה שהפכה לאסון היתוך מהחמורים בתולדות הארצות הברית - והיא תהיה הצרכנית העיקרית של למעלה מ-800 המגהוואט שהכור יחזור לייצר. באופן דומה, דיווחנו כאן בשבוע שעבר, על כך שאמזון וגוגל מתעניינות בפיתוח ורכישה של כורים גרעיניים זעירים מאותה סיבה בדיוק: להזין את חוות השרתים של הבינה המלאכותית שצריכות המון המון זרם. האם זה בא קיימא? מזרחי מסביר שכנראה שלא.

"בוא נשים רגע בסיס להשוואה מאחורי המספרים. ניקח נגיד שנתיים שלוש אחורה. מרכז נתונים, חוות שרתים גדולה, צרכה נגיד 20,30 מגהוואט. זה בערך צריכה של פארק תעשיה גדול. היום כבר בונים מרכזי מידע (חוות שרתים) שצורכות חשמל בגיגהוואטים (גיגה - מיליארד, לעומת מגה - מיליון, כלומר פי אלף יותר... - נ.ל.) גיגהוואט, לצורך השוואה בצריכת חשמל - זו צריכת חשמל של עיר עם למעלה ממיליון תושבים!", אומר סמנכ"ל הטכנולוגיה.

אתה צריך לייצר תשתית חשמל שמסוגלת לספק את כל צריכת החשמל של עיר כמו סן פרנסיסקו, לדוגמא. זה לא רק זה, אתה גם צריך שהיא תהיה גמישה - שאתה יכול להרים ולהוריד אותה מהר מאוד (את רשת החשמל - נ.ל.) ומה המשמעות של זה לאיכות הסביבה? כל הדוגמא הזו הייתה למרכז נתונים אחד, ומה קורה כשאתה בונה כמה כאלה? מי יספק את כל החשמל הזה ומה זה אומר לסביבה? זו בעיה קשה מאוד, שפועלת נגד הרציונל הרווח, כשהגודל של המודלים רק הולך וגודל פי עשרה כל שנה.

אנשים היום מסתכלים ואומרים - רגע, להחזיק מודל כזה זה אחלה, אבל האם אני יכול לקבל תחליף למודל הזה, בשימוש בהרבה מודלים קטנים? הרבה מודלים קטנים, אני יכול לאמן בנפרד, עם צריכת זרם קטנה יותר ולפזר במקום לבנות תשתית חשמל של עיר.

גם אם יש לך כמה מודלים גדולים, אבל המאסה שלך היא מודלים קטנים עם מומחיות, אתה צריך לייצר חיבוריות. והאם השאלה ששאלתי עכשיו חוצה תחומי ידע. אותי לא מעניין, אני רוצה תשובה ומהר. זה קצת כמו האינטרנט. מה הזה האינטרנט? אין בעצם דבר כזה. זה אוסף של אתרים שמחוברים ביניהם, וזה מאפשר לי לפנות לאינטרנט, לשאול שאלה, לקבל תשובה. אני לא באמת יודע איך זה קרה. אני יכול לבנות "אינטרנט של מודלים" ולקבל תשובה שעברה בין הרבה מודלים. אני חושב שזו הדרך קדימה, פחות מאשר מפלצות אנרגיה מהסוג שהזכרנו".

"בסופו של דבר, אנחנו מנסים לבנות משהו שהוא בסגנון של המוח האנושי. המוח האנושי מספק כוח עיבוד של אקספלופ (כלומר 10,000,000,000,000,000,000 פעולות בשניה או מיליארד בחזקת שתיים...) בעשרים וואט, והוא יושב לך בתוך הראש, קטן, ועובד ב-37 מעלות... תחשוב שאקספלופ כיום ואיזו חוות שרתים עצומה אתה תצטרך כדי להגיע לאותו פלט שהמוח מוציא. יש דרך ארוכה להגיע לשם", מסכם מזרחי.