- أفادت شركة Ars Technica أن Microsoft عرضت أحدث أبحاثها في مجال الذكاء الاصطناعي لتحويل النص إلى كلام باستخدام نموذج يسمى VALL-E يمكنه محاكاة صوت شخص ما من عينة صوتية مدتها ثلاث ثوانٍ فقط، وفقا لتقرير engadget.
ولا يمكن للخطاب أن يطابق الجرس فحسب بل يتطابق أيضًا مع النغمة العاطفية للمتكلم، وحتى صوتيات الغرفة، ويمكن استخدامه يومًا ما لتطبيقات تحويل النص إلى كلام المخصصة أو المتطورة، على الرغم من أنه مثل التزييف العميق ، فإنه ينطوي على مخاطر إساءة الاستخدام.
VALL-E هو ما تسميه Microsoft "ونموذج لغة الترميز العصبي" إنه مشتق من ترميز الشبكة العصبية للضغط المدعوم بالذكاء الاصطناعي من ميتا ، مما يولد الصوت من إدخال النص وعينات قصيرة من السماعة المستهدفة.
وفي ورقة بحثية ، وصف الباحثون كيف قاموا بتدريب VALL-E على 60.000 ساعة من الكلام باللغة الإنجليزية من أكثر من 7000 متحدث في مكتبة Meta الصوتية LibriLight ، ويجب أن يكون الصوت الذي تحاول تقليده مطابقًا تمامًا للصوت الموجود في بيانات التدريب، وإذا كان الأمر كذلك فإنه يستخدم بيانات التدريب لاستنتاج ما سيبدو عليه المتحدث المستهدف إذا كان يتحدث بإدخال النص المطلوب.
ويوضح الفريق بالضبط كيف يعمل هذا بشكل جيد على صفحة VALL-E Github. لكل عبارة يريدون من الذكاء الاصطناعي "التحدث" ، لديهم مطالبة مدتها ثلاث ثوان من المتحدث لتقليد، "حقيقة أساسية" للمتحدث نفسه يقول عبارة أخرى للمقارنة ، "خط أساسي" لتحويل النص إلى كلام التقليدي التوليف وعينة VALL-E في النهاية.
والنتائج مختلطة، بعضها يشبه الآلة والبعض الآخر واقعي بشكل مدهش، حقيقة أنه يحتفظ بالنبرة العاطفية للعينات الأصلية، كما أنه يطابق البيئة الصوتية بأمانة، لذلك إذا قام المتحدث بتسجيل صوته في قاعة echo-y ، فإن إخراج VALL-E يبدو أيضًا وكأنه جاء من نفس المكان.
