אתר digg.com, המאפשר למשתמשיו להמליץ ולדרג חדשות וכתבות המופיעות באתרים אחרים, עבר לאחרונה את רף 1.2 מיליון המשתמשים. כך, לדברי אליוט וייט, מהנדס ב-Digg, שנאם השבוע בוועידת משתמשי MySQL בסנטה קלרה, קליפורניה.
לדברי וויט, Digg מפעיל כמאה שרתי לינוקס, שעליהם עובדים שרת הווב אפאצ'י, מסד הנתונים MySQL ושפת הסקריפטים PHP - כולן טכנולוגיות בקוד פתוח. שילוב הטכנולוגיות האלו בסביבה אחת מוכר בראשי התיבות LAMP. השרתים, היושבים בחוות שרתים שונות, כוללים כעשרים שרתי מסד נתונים, 30 שרתי ווב ומספר שרתי חיפוש עליהם פועל מנוע החיפוש בקוד פתוח Lucene. שאר המערכות הן של שרתי גיבוי.
החברה גם עושה שימוש בתוכנה בקוד פתוח לניהול זיכרון מטמון בשם Memcached, שפותחה לראשונה על ידי אתר הבלוגינג LiveJournal. וויט טוען כי טכנולוגיות קונוונציונליות לניהול זיכרון מטמון, בהן נשמרים דפי אינטרנט שלמים, הן איטיות ולא יעילות עבור אתר המשתנה כל הזמן כדוגמת Digg.com.
התכונה הלא רגילה האחרת של מבנה השרתים של Digg כרוכה בשימוש במה שמכנה מהנדס המיחשוב טים אליס "Sharding" - ביטוי שנטבע על ידי מפתחים בגוגל. Sharding היא החלוקה של מסד נתונים למקטעים קטנים יותר לשיפור הביצועים על ידי בידוד של עומסי עבודה גדולים.
"אם 90 אחוזים מהנתונים שלכם הם בטווח נתונים מסוים ואתם יכולים לגרום לחלק הזה לעבוד ממש מהר, אתם יכולים לעזור ללקוחות", אמר אליס. "במקרה כזה לא משנה אם עשרת האחוזים הנותרים הם איטיים יותר", הוסיף.
אפשר לבצע Sharding במסד נתונים, טבלה, תאריך או טווח נתונים. התהליך דומה לחלוקה למחיצות אך במספר הבדלים מהותיים, אמר אליס. לדוגמה, כשמבצעים Sharding, הדבר כרוך, בדרך כלל, בחלוקה של נתונים למספר מחשבים שונים, בעוד שחלוקה למחיצות מתבצעת, בדרך כלל, באותו רכיב חומרה.
כשמחלקים מסד נתונים למספר חלקים קטנים יותר יש, בדרך כלל, צורך בעבודה רבה יותר, בשל חוסר היכולת להשתמש בפקודות SQL נפוצות, כמו איחוד טבלאות, אמר אליס. "מפתחים לא ממש מתים על הדבר הזה", הוא אמר.
ל-Digg יש מזל שב-98% מהזמן, משתמשים קוראים נתונים ולא כותבים נתונים לשרת, אמר אליס. "רוב האנשים נכנסים לדף השער של Digg, קוראים אותו ועוזבים, וזה די נחמד מצדם".
כך עובד Digg
רפאל פוגל
29.4.2007 / 14:34