شركة إنفيديا تطلق نموذج Nemotron3 Nano Omni: يمكنه معالجة الفيديو والصوت والصور والنصوص بشكل موحد، مما يعزز كفاءة الاستنتاج متعدد الوسائط

موجز BlockBeats، 29 أبريل، أطلقت شركة إنفيديا رسميًا Nemotron 3 Nano Omni، وهو عضو جديد في سلسلة Nemotron 3، يدمج الاستنتاج متعدد الأوضاع الموحد في نموذج مفتوح المصدر وفعال واحد. ذكرت إنفيديا أن أنظمة agentic عادةً ما تتطلب استنتاجًا يدور حول دورة إدراك إلى عمل واحدة بين الشاشة، والوثائق، والصوت، والفيديو، والنص، لكنها لا تزال تعتمد على سلاسل نماذج مجزأة — تقنيات مستقلة للرؤية، والصوت، والنص. هذا يزيد من عدد القفزات في الاستنتاج وتعقيد التنسيق، مما يرفع تكلفة الاستنتاج، ويضعف أيضًا الاتساق عبر السياقات متعددة الأوضاع. يهدف Nemotron 3 Nano Omni إلى استبدال هذه التقنية المجزأة للرؤية واللغة والصوت، ليعمل كوكيل فرعي متعدد الأوضاع للإدراك والسياق في أنظمة agentic.

على مستوى الدقة، حقق Nemotron 3 Nano Omni نتائج رائدة في قائمة الذكاء الوثائقي، كما يتصدر أيضًا في قوائم فهم الفيديو والصوت. في تقييم معيار الصناعة المفتوح لنماذج فهم الفيديو MediaPerf، حقق Nemotron 3 Nano Omni أعلى معدل إنتاجية في كل مهمة، وحقق أدنى تكلفة استنتاج في مهمة التصنيف على مستوى الفيديو.

على مستوى الأداء، تحت عتبة تفاعل المستخدم الثابتة، بالنسبة لاستنتاج الفيديو، يحافظ Nemotron 3 Nano Omni على معدل إنتاجية أعلى للنظام الكلي، ويمكن أن يحقق ما يقرب من 9.2 أضعاف السعة الفعالة للنظام مقارنةً بنماذج omni مفتوحة المصدر الأخرى؛ بالنسبة للاستنتاج متعدد الوثائق، يمكن أن يحقق ما يقرب من 7.4 أضعاف السعة الفعالة للنظام. ذكرت إنفيديا أن هذا النموذج يهدف إلى استبدال البنى التقليدية المجمعة من نماذج متعددة، وتقليل تعقيد وتكلفة الاستنتاج، وتعزيز تطبيقات الذكاء الاصطناعي متعدد الأوضاع في مجالات المالية، والرعاية الصحية، والبحث العلمي، والإعلام.