OpenAI يضيف "بصيرة" إلى الذكاء الاصطناعي الصوتي

المؤلف: لي هيلون، تينسنت للتكنولوجيا

في الساعات الأولى من صباح 9 يوليو بتوقيت بكين، أطلقت OpenAI رسمياً الجيل الجديد من نماذج الصوت GPT-Live، الذي ينقسم إلى نسختين: GPT-Live-1 و GPT-Live-1 mini، لدعم ميزة الصوت في ChatGPT.

جوهر ترقية GPT-Live هو "بنية الازدواج الكامل" (Full-Duplex)، التي تركز على فهم الذكاء الاصطناعي الصوتي لطريقة الحوار. يمكن للنموذج التعامل مع الاستماع والتحدث في الوقت نفسه، والتعبير عن أنه يستمع عبر عبارات قصيرة أثناء الحوار، ودعم التناوب السريع في الكلام، والبقاء صامتاً عندما يفكر المستخدم.

إنه أقرب إلى حالة الحوار البشري الحقيقي، مع لمسة من اللباقة في التبادل.

تقول OpenAI رسمياً: "أثناء الحوار، يمكن لـ GPT-Live استخدام ردود مثل 'أمم' أو 'نعم' للإشارة إلى أنه يستمع، كما يمكنه إجراء تبادل سريع؛ وعندما تحتاج إلى بعض الوقت للتفكير، يمكنه البقاء صامتاً. والنتيجة النهائية هي تجربة تفاعل صوتي أكثر سلاسة وطبيعية."

عند مواجهة مهام تتطلب بحثاً على الإنترنت أو تفكيراً عميقاً أو مهام معقدة، سيوكل GPT-Live المهمة إلى النماذج المتطورة في الخلفية، ويعيد النتائج إلى الحوار بعد اكتمالها، مع الحفاظ على استمرارية الحوار دون انقطاع.

في وقت الإطلاق، كان النموذج الخلفي هو GPT-5.5، وتقول OpenAI إنه سيتم تحديث الدعم الأساسي باستمرار مع إطلاق نماذج جديدة.

العمل أثناء الحديث

في السابق، كان GPT يعتمد على قدرة الصوت في الوقت الفعلي كأساس، عبر نظام تدفق صوتي منخفض الكمون: يتحدث المستخدم، ويفهم النموذج بسرعة ويستجيب؛ ويقطع المستخدم فيتوقف النموذج في الوقت المناسب.

الترقية الأهم في GPT-Live هذه المرة هي فصل التفاعل الصوتي عن التفكير العميق إلى مرحلتين مستقلتين.

عندما يطلب المستخدم بحثاً أو تفكيراً أو استدعاء قدرات وكيل أقوى، سيوكل GPT-Live المهمة إلى النموذج الخلفي، بينما يستمر النموذج الصوتي الأمامي في الحوار مع المستخدم، محاولاً تجنب انقطاع إيقاع التبادل.

هذا "نموذج التفويض" هو في الأساس تقسيم معماري: في المقدمة، نموذج صوتي أصلي مُحسَّن للتفاعل في الوقت الفعلي مسؤول عن الرد والتوقف والحفاظ على الحوار الطبيعي؛ وفي الخلفية، نموذج تفكير مستقل مسؤول عن البحث والحساب واستدعاء الأدوات وتنفيذ المهام المعقدة.

يعملان بشكل منفصل، ويمكن تحديث محرك التفكير مع التقدم التقني في أي وقت، ويمكن ترقية تجربة النموذج الصوتي دون إعادة تدريب.

بالنسبة لتطبيقات المؤسسات، تكمن قيمة بنية الازدواج الكامل في أن العامل الصوتي يمكنه إكمال مهام الخلفية مثل الاستعلام عن قواعد البيانات أو البحث عبر الإنترنت أو التفكير متعدد الخطوات دون مقاطعة إيقاع الحوار. في السابق، كانت مثل هذه العمليات تؤدي غالباً إلى صمت لعدة ثوانٍ، مما يشعر المستخدم بأن "النظام يعالج". الآن، يمكن إخفاؤها ضمن إيقاع تبادل أكثر طبيعية.

تعكس بيانات التقييم فعالية التصميم المنفصل.

وفقاً للمعلومات الرسمية، في مقارنة مباشرة بين GPT-Live-1 ووضع الصوت المتقدم (Advanced Voice Mode)، تفوق الأول بشكل واضح في التفضيل العام لحوار مدته 5-10 دقائق، والتناوب في الكلام، والقطع، وسلاسة الحوار، وطبيعة كل تفاعل، حيث بلغ التفضيل العام 75.7%.

في اختبار سلاسة الحوار، حصل GPT-Live-1 على 4.96 نقطة، بينما حصل وضع الصوت المتقدم على 3.80 نقطة. وفي جانب المتعة، حصل GPT-Live-1 على 5.19 نقطة، مقابل 3.82 لوضع الصوت المتقدم.

في اختبار القدرة على التفكير العلمي الخبير GPQA، سجل وضع الصوت المتقدم 45.3%، بينما بلغ GPT-Live-1 (high) 84.2%، وGPT-Live-1 mini 74.9%.

في اختبار البحث عبر الإنترنت للعامل الذكي BrowseComp، سجل وضع الصوت المتقدم 0.7% فقط، بينما بلغ GPT-Live-1 (high) 75.2%، وGPT-Live-1 mini 31.6%.

الفجوة الواضحة تشير إلى أن استراتيجية تكليف مهام التفكير للنماذج المتطورة في الخلفية فعالة بالفعل.

علاوة على ذلك، قالت OpenAI إنها أعادت تسجيل الأصوات التسعة في ChatGPT خصيصاً لـ GPT-Live.

يمكن للمستخدمين الآن اختيار ثلاثة مستويات من التفكير للإجابة: الوضع الفوري للاستجابة السريعة، والوضع المتوسط والعالي للسيناريوهات التي تتطلب مزيداً من التفكير.

أثناء الحوار، يمكن لـ ChatGPT عرض بطاقات مرئية حول مواضيع مثل الطقس والأسهم والرياضة، مما يسمح للمستخدم بالتصفح أثناء التحدث. تستمر ميزة الصوت في دعم البحث والذاكرة والصور ورفع الملفات.

من منظور تطور المنتج، تطور صوت ChatGPT من ميزة أساسية إلى تجربة منتج مستقلة. يستخدمها المستخدمون لتعلم اللغات، ورواية قصص ما قبل النوم، والدردشة أثناء التنقل، أو الحصول على مساعدة يومية بدون استخدام اليدين.

إطلاق GPT-Live يجعل هذه التجربة أقرب إلى الرؤية التي تصفها OpenAI: التعاون مع الذكاء الاصطناعي بنفس سلاسة واستجابة التعاون مع البشر، مع إجراء التفكير والمهام المعقدة بسلاسة في الخلفية.

الحماية الأمنية

في الحوار الصوتي، تعتبر الحدود الأمنية مهمة أيضاً. خاصة في الحوار في الوقت الفعلي، لا يحتاج النموذج فقط إلى فهم ما يقوله المستخدم، بل أيضاً التعامل مع المخاطر المعقدة الناتجة عن النبرة والعواطف والقطع والاستجواب المتتابع.

لهذا، قامت OpenAI، بالاعتماد على الأعمال الأمنية الحالية، بتدريب متخصص في مجالات المخاطر الرئيسية، وصممت مجموعة من إجراءات الحماية الخاصة بالصوت.

فيما يتعلق بالاختبارات الأمنية، وسعت OpenAI تقييمات الصوت الأصلية، وأضافت عينات صوتية حقيقية من المستخدمين، ومطالبات صوتية مولدة شاملة في مجالات مثل إيذاء النفس والاضطرابات النفسية والهوس والاعتماد العاطفي على الذكاء الاصطناعي والعنف والمحتوى الجنسي.

كما أجرى خبراء داخليون اختبارات فريق أحمر (Red Team) خاصة بالمخاطر الصوتية على النموذج.

في التقييم الشامل، أظهر GPT-Live-1 تحسناً ملحوظاً مقارنة بوضع الصوت المتقدم في عدة مجالات: منع الأنشطة غير القانونية ارتفع من 0.63 إلى 0.97، ومنع إيذاء النفس من 0.72 إلى 0.98، ومنع خطاب الكراهية من 0.87 إلى 1.00.

في تقييم المطالبات الإنتاجية الأكثر غموضاً، كان GPT-Live-1 مماثلاً أو أفضل من وضع الصوت المتقدم في معظم الفئات، لكن مجال الاعتماد العاطفي انخفض قليلاً من 0.88 إلى 0.82، وتشير OpenAI إلى أن هذا التغيير ليس ذا دلالة إحصائية.

في الحماية في الوقت الفعلي، عندما يكتشف النظام ناتجاً غير آمن محتملاً، يمكنه التدخل أثناء كلام النموذج، وتوجيهه نحو استجابة أكثر أماناً، أو عرض معلومات أمان إضافية أو موارد، أو إنهاء الحوار الصوتي في حالات المخاطر العالية.

على سبيل المثال، بالنسبة للمواضيع التي تتعلق بـ "إيذاء النفس"، تم تعديل عملية الدعم في ChatGPT حسب البيئة الصوتية، بما في ذلك توفير دعم خط الأزمات الذي تمت مراجعته من قبل الخبراء.

في مجال حماية المراهقين، صممت OpenAI إجراءات إضافية، وقامت بتدريب السلوك المناسب للعمر في النموذج. يمكن للآباء من خلال وظيفة التحكم الأبوي تحديد ما إذا كان المراهقون يمكنهم استخدام صوت ChatGPT، وفي الحالات عالية المخاطر قد يتلقى الآباء إشعارات.

من الجدير بالملاحظة أن OpenAI أطلقت قياساً طويل الأمد ومراقبة بعد الإطلاق للاعتماد العاطفي، بناءً على أبحاث سابقة حول الاستخدام العاطفي والرفاهية العاطفية. هذا اعتراف بأن الطبيعة الحوارية التي يسعى إليها GPT-Live قد تحمل مخاطر جديدة.

بالإضافة إلى ذلك، يستخدم GPT-Live الأصوات المحددة مسبقاً في ChatGPT، مع وجود إجراءات وقائية لمنع تقليد الأصوات البشرية الحقيقية.

خلفية هذا البيان هي الجدل الذي نشأ خلال إطلاق GPT-4o في مايو 2024 حول تشابه صوت "Sky" مع صوت الممثلة سكارليت جوهانسون. وقد قالت جوهانسون إنها رفضت دعوة التمثيل الصوتي للنظام، وشعرت بـ"الصدمة والغضب وعدم التصديق" بعد إطلاق المنتج. ثم قامت OpenAI بإزالة الصوت وقدمت اعتذاراً.

ثلاثة أجيال من التطور

حالياً، أصبح التفاعل الصوتي ثنائي الاتجاه الكامل (Full-Duplex) بسرعة هو المعيار الأساسي لمنتجات الذكاء الاصطناعي الاستهلاكية.

يدعم Gemini Live من Google الحوار الكامل ثنائي الاتجاه بالإضافة إلى مشاركة الكاميرا والشاشة، وهما خاصيتان لم يدعمهما GPT-Live عند الإطلاق. أصدرت Google في مارس نموذج Gemini 3.1 Flash Live، الذي يوفر تفاعلاً صوتياً منخفض الكمون للمطورين. كما أصدرت Nvidia في يناير نموذج PersonaPlex الذي يجلب الصوت القابل للتخصيص والتحكم في الشخصية إلى نماذج الازدواج الكامل.

بالنظر إلى تطور تقنية الصوت في ChatGPT على مدى حوالي عامين، مرت بثلاثة أجيال.

تم إطلاق ميزة الصوت الأولى لـ ChatGPT في عام 2023، باستخدام نظام متسلسل يربط ثلاثة نماذج: نموذج تحويل الصوت إلى نص لنسخ الصوت، ونموذج لغة كبير لتوليد رد نصي، ونموذج تحويل النص إلى صوت لإعادة الرد إلى صوت.

في هذه البنية، استخدمت OpenAI نموذج التعرف على الصوت Whisper لتحويل الصوت إلى نص، ونموذج اللغة الأساسي GPT-4، وتم إكمال التركيب الصوتي النهائي بواسطة نموذج TTS المصاحب.

هذه الطريقة جعلت الحوار مع نموذج الذكاء الاصطناعي المتطور ممكناً لأول مرة، لكن الثمن كان واضحاً: كل تسليم يسبب تأخيراً وقد يفقد معلومات، والاستجابة بطيئة وغير طبيعية.

في مايو 2024، أصدرت OpenAI GPT-4o، وهو أول نموذج متعدد الوسائط أصلي للشركة قادر على معالجة المدخلات والمخرجات الصوتية مباشرة، دون الحاجة إلى وحدات تحويل الصوت إلى نص أو نص إلى صوت خارجية. تم إطلاق وضع الصوت المتقدم المبني على GPT-4o في يوليو 2024 بشكل "محدود" للمستخدمين المدفوعين، وتم توسيعه في سبتمبر.

لكنه كان لا يزال يعمل في جولات منفصلة، حيث يجب على النموذج انتظار توقف المستخدم عن الكلام للرد. يعتمد كشف الجولة على حكم الصمت، وقد يتم تفسير التوقف القصير أو الضوضاء الخلفية على أنها نهاية الكلام، مما يؤدي إلى مقاطعة النموذج في توقيت غير مناسب.

الآن، حل GPT-Live هذه المشكلة من خلال بنية الازدواج الكامل، حيث يمكنه توليد المخرجات أثناء معالجة المدخلات باستمرار. يمكن للنموذج اتخاذ قرارات تفاعل متعددة في الثانية: التحدث، أو الاستمرار في الاستماع، أو التوقف، أو المقاطعة، أو استدعاء أداة.

هذا يسمح للنموذج بإدراج تأكيدات حوارية طبيعية، والتعرف على التوقفات الطبيعية دون التدخل المبكر، والتعامل مع المقاطعات السريعة دون إخراج التبادل عن مساره.

عندما تحتاج إلى لحظة للتفكير، سينتظر ChatGPT بدلاً من القفز والمقاطعة. في وجود ضوضاء خلفية مثل صوت المرور أو أحاديث قريبة، يمكن لـ ChatGPT التركيز بشكل أفضل على صوت المستخدم.

من الهمس في الميكروفون قبل عامين والانتظار لمدة ثانيتين تقريباً للحصول على رد متصلب، إلى تجربة أكثر سلاسة قبل عام ولكن لا تزال تتطلب التناوب، وصولاً إلى تفاعل الازدواج الكامل القريب من الحوار الحقيقي اليوم، مسار التطور التقني واضح.

قد لا يكون GPT-Live النهاية، لكنه يجعل النهاية تبدو أقرب.