نشر باحثون في جامعة ماساتشوستس في مدينة أمهيرست في الولايات المتحدة الأمريكية تقريرًا في شهر يونيو 2020 ذكروا فيه أن تدريب الشبكات العصبية ينتج كمية كبيرة من انبعاثات ثاني أكسيد الكربون تقدر بنحو 284 طن ما يساوي خمسة أضعاف الانبعاثات التي تنتجها السيارة خلال تصنيعها وطوال مدة استخدامها. ولذا طور باحثو معهد ماساتشوستس للتقنية نظام ذكاء اصطناعي جديد لتدريب الشبكات العصبية وتشغيلها. وذكروا أن تحسين القدرة الحاسوبية للنظام ساعد في تقليل الانبعاثات الكربونية الناتجة عن عملية التدريب بصورةٍ كبيرة.
ويعتمد النظام على تدريب شبكة عصبية كبيرة ومعقدة، وبعد ذلك تنقل هذه الشبكة تدريبها إلى شبكات فرعية ما يغنينا عن تدريبها من البداية ويقلل الطاقة اللازمة لتدريب هذه الشبكات الفرعية. ويمكن استخدامها بعد ذلك في منصات عديدة مثل أجهزة إنترنت الأشياء.
وقال سونج هان، الأستاذ المساعد في قسم الهندسة الكهربائية وعلوم الحاسوب «كان هدفنا تطوير شبكات عصبية صديقة للبيئة، لأن أغلب الشبكات العصبية الفعالة كانت ذات بصمة كربونية عالية. ونجح النظام الذي طورناه في تحقيق هذا الهدف.»
واستخدم الفريق منظمة ساتوري، وهي منظومة حوسبة فعالة تنفذ كوادرليوني عملية حسابية في الثانية وتبرعت بها شركة آي بي إم لمعهد ماساتشوستس للتقنية. وصمم الفريق النظام الجديد اعتمادًا على نظام طُوِرَ مؤخرًا يسمى أوتو إم إل الذي يلغي التصميم اليدوي للشبكات العصبية. وعاب الشبكات العصبية سابقًا حاجتها إلى تدريبها من البداية مجددًا عند استخدامها في المنصات المختلفة. إذ يقول هان «إن تدريب هذا العدد الكبير من الشبكات العصبية مجددًا بكفاءة كي تناسب الأجهزة العديدة الموجودة حاليًا سواء الأجهزة المختلفة التي تستخدم إنترنت الأشياء أو الهواتف الذكية يحتاج إلى تكاليف باهظة.»
ويعتمد النظام الجديد الذي طوره الباحثون على تدريب شبكة عصبية كبيرة ومعقدة تعمل كشبكة أُم تدرب شبكات فرعية عديدة ما يغنينا عن تدريبها مجددًا. وتنقل الشبكة الأم جميع البيانات والمعرفة التي اكتسبتها خلال التدريب إلى الشبكات الفرعية ما يعني أنها أصبحت مدربة أيضًا ويمكنها العمل على منصات مختلفة دون الحاجة إلى إعادة التدريب من البداية.
ودرب الفريق شبكةً عصبيةً تقليدية، تستخدم في تنفيذ مهام معالجة الصور، وتتضمن عددًا كبيرًا من الطبقات العصبية مختلفة الأحجام. واستخدم بعد ذلك منصةً معينة للبحث عن الشبكات الفرعية التي تناسب الأجهزة المختلفة، فمثلًا اختار المنصة شبكةً فرعية صغيرة كي تناسب جهاز يستخدم إنترنت الأشياء وشبكةً فرعية أكبر كي تناسب الهواتف الذكية. ثم نقلت المنصة تدريب الشبكة الكبيرة إلى الشبكات الفرعية باستخدام خوارزمية الانكماش التدريجي.
