"הימרנו וזה השתלם": כך הפכה אנבידיה למפלצת שבבים בתחום הבינה המלאכותית

"הימרנו על מלאכותית וזה השתלם. אחרי 22 שנה". את הדברים האלה אמר ג'נסן הואנג, המנכ"ל המיתולוגי והמייסד השותף של חברת אנבידיה מעל בימת כנס GTC, כנס המפתחים השנתי הענק של החברה (שמה אגב, באנגלית נכתב כך: nVidia ולא Nvidia כמו שרבים טועים בו). ג'נסן אמר את הדברים בבדיחות הדעת, אבל יש בהם לא מעט מן האמת.

נאום הפתיחה שלו גדש גם השנה את "בריכת הכרישים", אצטדיון SAP וביתם של "הכרישים", קבוצת ההוקי של סן חוזה, על 19,000 מושביו כשהוא בתצורה של מופעי רוק - . וזה אך הולם כי המנכ"ל של אנבידיה אכן מזכיר סוג של כוכב רוק: מלבד מעילי העור הקבועים שהוא נודע בהם, כולם רוצים להצטלם איתו (והוא מסכים בשמחה, האיש נגיש ונטול גינונים לחלוטין), ויש אנשים שממש מעריצים אותו.

מנהיג הטכנולוגיה היחיד הקודם שזכה להילה ולפולחן אישיות דומה היה סטיב ג'ובס זכרונו לברכה, אבל בניגוד אליו, הואנג רחוק מלהיות מיזנתרופ. הוא נגיש, לא מתנשא ויחסית לעובדה שהוא מנהל את החברה השלישית בשוויה בעולם (קצת יותר משני טריליון דולר, כשלפניה רק אפל עם כ-2.7 טריליון דולר ו...מיקרוסופט, עם שווי של קצת יותר משלושה טריליון דולר).

על אף שאנבידיה הפכה תוך זמן קצר להיות המניה הכי לוהטת בעולם וכזו שגם הדוד שלכם קנה מניות שלה ופתאום יודע להגות את השם שלה, היא לא תמיד הייתה כזו. אנבידיה היא כן שם מוכר מזה עשורים - אבל רק אם אתם חובבי חומרה, גיימרים או מעצבי תלת מימד, כי אנבידיה בכלל התחילה מכרטיסי מסך, אותו רכיב חומרה שאליו מתחבר המסך ואחראי לפלט התצוגה של המחשב, גם דו מימדית וגם תלת מימדית - ובעיקר, המעבד הגרפי, שהוא הלב של הכרטיס, עוד בסוף שנות ה-90' של המאה הקודמת.

בניגוד למעבד הראשי של המחשב, ה-CPU, שמבצע פעולות בתור או בטור, מעבדים גרפיים מסוגלים לבצע פעולות חישוביות במקביל (אגב, כיום גם מעבדים ראשיים מודרניים אימצו את הגישה הזו, אבל פעם זה לא היה ככה), ובשביל גרפיקה תלת מימדית נדרשות פעולות רבות של חישוב נקודה צפה, או בראשי התיבות באנגלית FLOP - FLoating point OPeration, משהו שהכרטיסים של אנבידיה מאוד הצטיינו בו, והיו לא פעם הכרטיסים והמעבדים המועדפים על גיימרים ומעצבים בשל היכולת שלהם לעבד גרפיקה תלת מימדית מורכבת - ובמהירות, שגם היא מבוססת על הרבה מאוד חישובים מתמטיים.

כשלעצמה, גרפיקה תלת מימדית היא נישת מכירות נהדרת, אבל עדיין, יחסית נישה. אלא שהואנג גילה משהו מעניין: חישובי הנקודה הצפה, שהכרטיסים שהחברה שלו מייצרת כל כך מוצלחים בהם - טובים לעוד דברים, כמו חישוב הסתברויות. הסתברות, במקרה או שלא, היא מה שעומד בלב האלגוריתמים של בינה מלאכותית והבנה של שפה: האם התשובה שנתתי לשאלה היא מדויקת מספיק? וכך, כמעט בן לילה החליט ג'נסן הואנג להפוך את nVidia מחברה שעושה רק כרטיסים עוצמתיים לגרפיקה - לחברה שגם תומכת בלמידת מכונה ובינה מלאכותית, הוא הודיע לעובדים שלו על ההחלטה הזו באימייל, ואנבידיה, שכבר החלה גם לבנות לעצמה שם בתחום השרתים - נכנסה לעולם חדש, ובאגרסיביות רבה.

אנבידיה החלה להציג מעבדים שההתמחות שלהם היא פעולות חישוביות מורכבות, שנמדדות בכמויות אדירות של פעולות נקודה צפה, או יחידות שהתחילו ביחידה בשם גיגה-פלופ, כלומר מיליארדי פעולות נקודה צפה לשנייה, ומה שהגיע מהר מאוד ליחידות גדולות אף יותר: טרה-פלופ וכיום מדברים על פטה-פלופ, שזה אלף טרה-פלופ או:

1,000,000,000,000,000 פעולות נקודה צפה לשניה. וכן, זה 1 עם 15 אפסים אחריו...
יחידת העיבוד החדשה שאנבידיה הכריזה עליה השבוע בכנס שלה בסן חוזה שבקליפורניה בשם "בלאקוול", היא קפיצת מדרגה מטורפת. מה שהתחיל עם מעבדי ה-"פסקל" שאנבידיה הציגה בתחילת שנות האלפיים (כל המעבדים של אנבידיה נקראים על שם מתמטיקאים ומדענים מפורסמים), כיום מגיע לתצורה של ארון ענק, ששוקל כמה טונות, ובתוכו מגשים על גבי מגשים של אלקטרוניקה מתקדמת.

בארון אחד כזה, שזכה לשם GB200, יש 72 מעבדי בלאקוול חדשים, ועוד כמה וכמה מעבדי תקשורת שעונים לשם גרייס, וכולם מחוברים עם מרכזיית תקשורת מבוססת סיבים אופטיים סופר מהירה, שנקראת NVLINK. הרכזת תקשורת הזו, היא אגב פיתוח ישראלי, של חברת מלאנוקס אותה אנבידיה רכשה בשלמותה עוד ב-2018.

זוכרים שדיברנו על פטהפלופ? יופי. אז מערך של מעבדי בלאקוול, מסוגל לבצע 40 פטהפלופ, כלומר 40,000,000,000,000,000 פעולות נקודה צפה בשניה, וזה פי חמישה יותר מהדור הקודם של המעבדים של אנבידיה בתחום...

אבל בשביל מה זה טוב אתם שואלים? שאלה מצוינת. כמות פעולות מטורפת שכזו של חישוב נקודה צפה, נדרשות למי שרוצה להריץ מודל שפה גדול (LLM) של בינה מלאכותית או כמו שאתם מכירים אותו: ChatGPT ודומיו. כן, כל השאילתות שאתם מריצים ל-ChatGPT, ציור של פילים ורודים או יצירה של תמונות, בסופו של דבר מבוצעים על מעבדים של אנבידיה, שמחשבים את מה ששאלתם בצורה של סבירויות והיסק ומחזירים תשובה. וכדי לשרת כל כך הרבה בקשות בשניה, צריך מעבדים מפלצתיים כמו בלאקוול.

אנבידיה כיום היא פחות או יותר מונופול דה פקטו על התחום של בינה מלאכותית. כל התעשיה כמעט עובדת עם מעבדים ותוכנה שלהם. הרוטב הסודי של אנבידיה הוא שהם מציעים למפתחים חבילה שלמה גם של חומרה וגם של תוכנה שיודעת לעבוד איתה, כולל היכולת כיום לקחת מודל בינה מלאכותית מצד שלישי של גוגל, OpenAI או מי שזה לא יהיה - ופשוט להתחיל לעבוד איתו. וזה שווה למפתחים ולחברות כסף. הרבה מאוד כסף. במיוחד שכיום, בינה מלאכותית היא כלי שמיישמים אותו כמעט בכל תעשיה בניסיון לשפר אותה.

המעבדים והתוכנה של אנבידיה נמצאים לא רק בבינה מלאכותית. הם נמצאים ברובוטים, במכוניות אוטונומיות ובכל דבר שדורש חישוב של סבירויות, ואנבידיה כיום היא החברה הכי גדולה בעולם בתחום, למרות שיש כבר כמה הזנקים שמנסים לגנוב ממנה את התהילה - ואת המזומנים.

אבל בארוע שאלות ותשובות עם עיתונאים, ג'נסן הואנג לא נשמע מודאג. "יש שורה של מאפיינים שהופכים את המעבד שלנו לייחודי. אנחנו גורמים למודל לעבוד טוב. זו לא בעיית חומרה, זו בעיית תוכנה...גם יעילות אנרגטית ועלות הם שיקולים חשובים". וכשאתה קונה מעבד ב-30-40 אלף דולר לחתיכה, עלות היא באמת שיקול חשוב.

עכשיו תכפילו עלויות כאלה בכמויות מעבדים שנמכרות למעשה לכל התעשיה שעוסקת בהפעלת מודלים של בינה מלאכותית, ואנחנו מדברים פה על הגדולים (גוגל, מיקרוסופט, אמזון, פייסבוק) ועל הזנקים קטנים כאחד, ותבינו למה אין חשש לירידה במניה של אנבידיה בקרוב. הואנג צדק. ההימור שלהם, השתלם. מאוד השתלם.