דיגיטל וטק

אנבידיה במהלך ענק: זו הפלטפורמה המהפכנית של ענקית הטכנולוגיה

פלטפורמת NVIDIA Blackwell הציגה ביצועים מהירים פי ארבעה לעומת הדור הקודם כאשר נבדקה על מודל Llama 2 70B. במקביל, ארכיטקטורת NVIDIA Hopper רשמה זינוק בביצועים בזכות עדכוני תוכנה | כל הפרטים על פלטפורמות ה-AI של אנבידיה

מערכת ice | 28/8/2024 19:17

פלטפורמות הבינה המלאכותית של אנבידיה (NVIDIA) השיגו תוצאות מצוינות בסבב הבדיקות האחרון של הבנצ׳מרק (מדד השוואות) אשר התמקד בשלב ההיסק. בהופעת הבכורה שלה ב-MLPerf, אחד הבנצ׳מרקים המובילים בתעשייה, הציגה פלטפורמת ה-GPU החדשה המכונה "NVIDIA Blackwell" ביצועים מהירים פי ארבעה בהשוואה לארכיטקטורת NVIDIA Hopper ב-Workload הגדול ביותר עבור מודל שפה גדול ב-MLPerf – Llama 2 70B.

בנוסף, NVIDIA H200 Tensor Core GPU הציג תוצאות מעולות בכל הבדיקות בקטגוריית מרכזי הנתונים, כולל בתוספת החדשה ל-MLPerf - מודל השפה הגדולMixtral 8x7B Mixture of Experts , שכולל 46.7 מיליארד פרמטרים.

עוד הציגה חברת אנבידיה, כי פלטפורמות המחשוב של ענקית הטכנולוגיה מתעדכנות באופן שוטף ומציגות שיפורים בביצועים ובתכונות על בסיס חודשי. במסגרת MLPerf Inference V4.1, הציגו הפלטפורמות של החברה – בהן ארכיטקטורת NVIDIA Hopper, פלטפורמת NVIDIA Jetson ותוכנת Triton Inference Server – זינוקים מרשימים בביצועים וביכולות.

(צילום: באדיבות אנבידיה)

פלטפורמת NVIDIA H200 הציגה זינוק של 27% בביצועים בתחום הבינה המלאכותית היוצרת (GenAI) בהשוואה לבדיקה הקודמת, ובכך הדגישה את הערך המוסף שמקבלים לקוחות לאורך זמן כתוצאה מההשקעה שלהם בפלטפורמות של אנבידיה.

Triton Inference Server, שהינה חלק מפלטפורמת NVIDIA AI וזמינה כתוכנת NVIDIA AI Enterprise, היא תוכנת קוד-פתוח עשירה בתכונות שמאפשרת לארגונים לנהל שרתי היסק שונים באמצעות פלטפורמה אחת. התוצאה היא ירידה בעלות הכוללת של הפעלת מודלי בינה מלאכותית וצמצום זמני ההטמעה של המודלים מחודשים לדקות.

עוד ב-

סיכום המסחר בוול סטריט: אנבידיה חוזרת לעלות ומוסיפה לערכה כ-2%

לכתבה המלאה

בסבב הבדיקות האחרון של MLPerf, הביצועים שהציגה Triton Inference Server כמעט השתוו לביצועים של השרתים הפיזיים של אנבידיה - הוכחה לכך שארגונים כבר לא צריכים לבחור בין שימוש בשרת היסק עשיר בתכונות ברמת פרודקשן לבין ביצועים ברמה הגבוהה ביותר.