אתמול (רביעיי) השיקה אנבידיה את Mistral-NeMo-Minitron 8B - מודל שפה קטן (Small Language Model) חדש ומדויק שיכול לרוץ על מחשבי קצה ותחנות עבודה.

מפתחי בינה מלאכותית יוצרת מתמודדים בדרך כלל עם הדילמה בין גודל המודל והדיוק של התוצרים שלו. מודל השפה החדש שמשחררת אנבידיה פותר את הדילמה: דיוק מתקדם בגודל קומפקטי שיכול לרוץ גם בקצה.

Mistral-NeMo-Minitron 8B - גרסה ממוזערת של המודל הפתוח Mistral NeMo 12B שיצא על ידי Mistral AI ו-NVIDIA בחודש שעבר – הוא קטן מספיק כדי לרוץ על תחנת עבודה ומחשבים ניידים המצוידים במעבדים גרפיים NVIDIA RTX, ועדיין מצטיין במדדי דיוק מוכרים של צ'אטבוטים חכמים עוזרים וירטואליים ומחוללי תוכן. דגמי Minitron נבנו על NVIDIA NeMo, פלטפורמה לפיתוח יישומי בינה מלאכותית יוצרת המותאמת לצרכים ספציפיים.

בניגוד למודלים הגדולים – הענקיים – מודלי שפה קטנים יכולים לפעול בזמן אמת על תחנות עבודה ומחשבים ניידים. הדבר מקל על ארגונים בעלי משאבים מוגבלים לפרוס יכולות בינה מלאכותית יוצרת בתשתית המחשוב שלהם תוך התחשבות בעלויות, יעילות תפעולית וחיסכון באנרגיה. הפעלת מודלי שפה מקומיים במכשירי קצה מספקת גם יתרונות אבטחה, מכיוון שאין צורך להעביר נתונים לשרת ממכשירי הקצה.

מודל זה יהיה זמין למפתחים, לצד מודלים נוספים, בפלטפורמת NVIDIA NIM – מיקרו שירותים לפיתוח, הטמעה והרצה מהירה של מודלי בינה מלאכותית יוצרת תוך דקות ספורות.