דיגיטל וטק

גוגל משיקה את Gemini 2.0 Flash ומשנה את כללי המשחק

אחרי שגוגל הציגה את Gemini 2.0 Flash, נחשפנו למודל חדש ורב-מודאלי שמביא יכולות מרשימות של עיבוד מדיה חיה וטקסט בו-זמנית. המודל מאפשר הבנה עמוקה של תוכן כמו וידאו, אודיו וטקסט, יחד עם שימוש חכם בכלים ברקע, מה שהופך אותו לפלטפורמה דינמית שמבינה ומגיבה בזמן אמת

קרן שחר | 12/12/2024 9:08

הבשורה החשובה של גוגל נוכחת בחיינו ורק נותר לדעת איך לרתום אותה לצרכינו.
Introducing Realtime Multimodal API: כלי חדש מבוסס Gemini 2.0 Flash כחלק מהשקת המודל, גוגל הציגה את Realtime Multimodal API – כלי שמביא לראשונה יכולות סטרימינג בזמן אמת של אודיו, וידאו וטקסט. הכלי פועל תוך שימוש דינמי בכלים כמו חיפושים בגוגל, הרצת קוד ופונקציות מותאמות אישית.

קרדיט צילום: יח"צ

אבל זה לא הכל, גוגל יצרה חוויה חדשה ב-Google AI Studio, שמציגה אפליקציות התחלתיות הממחישות את היכולות המרכזיות של המודל:

• הבנת וידאו: ניתוח מיידי של תוכן חזותי.
• שימוש מובנה בכלים: שילוב חלק של כלים לביצוע פעולות שונות בזמן אמת.
• הבנה מרחבית: עיבוד מדויק של מיקום ועצמים קטנים בתמונות מורכבות.

יתרון מובהק נעוץ בחוויה שמרגישה כמו לעבוד עם עוזר חכם בלייב שהרי גוגל מאפשרת לנסות את הכלי החדש דרך הדפדפן – דיבור, מצלמה, ואפילו שיתוף מסך. החוויה היא כמו לעבוד עם עוזר דיגיטלי שמבין אתכם בצורה יוצאת דופן. לדוגמה, תוך כדי שיתוף מסך, אפשר לדבר עם המודל, להראות לו עמודים מפרויקט או מצגת, ולקבל עזרה מיידית.

יש גם אפשרות לפתוח מצלמה, לבקש ממנו עזרה בשיחה חיה, ואפילו להעביר הרצאה בלייב תוך קבלת פידבקים. זה כלי שעוזר לא רק בביצוע משימות אלא גם בהבנת התהליכים שלכם ושיפורם.