Maia 300: המרוץ על הטוקן הזול עובר דרך החשמל
ב־12 באוקטובר הודיעה Microsoft על הרחבת משפחת Azure Maia לפריסות בהיקף רב־גיגוואט החל מ־2027. Maia 200 כבר משמש עומסי ייצור; תחילת פריסות הייצור של Maia 300 מתוכננת ל־2027.
החברה צופה תוספת של 40% בתפוקת הטוקנים לכל מגה־ואט לעומת מערכות GPU מובילות. בתצורת 96 מאיצים היא מציגה עד פי שבעה תפוקת טוקנים ברמת הארון לעומת Maia 200. אלה הצהרות ביצועים של Microsoft, ללא אימות בלתי תלוי במקורות שנבדקו.
מה בעצם קונים כשקונים טוקנים?
טוקן הוא יחידת טקסט שמודל מעבד או מפיק, לעיתים מילה ולעיתים חלק ממנה. מאחורי כל תשובה פועלים שבבים, זיכרון ורשת, ולכולם יש עלות. בסוכן שמבצע משימה בכמה שלבים, אותה בקשה עשויה לייצר רצף ארוך של קריאות למודל. לכן גם שיפור קטן בעלות כל שלב עשוי להיות משמעותי כשמפעילים שירות בהיקף גדול.
תפוקה לכל מגה־ואט מתארת כמה עבודה אפשר להפיק ממעטפת חשמל מסוימת. זה חשוב במיוחד כשלא ניתן להוסיף עוד חיבור חשמל למרכז נתונים באותה מהירות שבה אפשר לרכוש ציוד. עם זאת, טוקנים אינם יחידות ערך אחידות: תשובה שגויה שמופקת מהר ובזול עדיין מחייבת תיקון.
פרשנותהתכנון המשותף של החומרה ושל השירות נותן ל-Microsoft אפשרות להתאים את המערכת לעבודה שהיא עצמה צריכה לבצע. אם המהלך יצליח, הוא עשוי לשפר את רווחיות השירותים או לאפשר שימוש רחב יותר באותה תשתית. ההכרזה לבדה אינה מלמדת כמה יעלה השירות ללקוח, או מתי יופחת מחירו.
לדוגמה, בהשוואה בין שני שירותים שמסכמים מסמך, צריך לבדוק גם אם הסיכום שלם, כמה זמן לקח להפיק אותו וכמה עריכה נדרשה. מחיר לטוקן הוא רק רכיב אחד בחשבון.