كتب : امير طه

يعد علم (3LM) الذي أطلق مؤخرا أول أداة قياس وتقييم شاملة للذكاء الاصطناعي العربي في مجالات العلوم والرياضيات والبرمجة. وكي ترى مدى براعة أدوات الذكاء الاصطناعي في فهم اللغة العربية وحل مسائل العلوم والرياضيات فيها، وحتى كتابة أكواد الحاسوب باللغة العربية، سيلزمك اعتماد وسيلة قياس مقارن باللغة العربية تحديداً، وهي ما تم توفيره في معيارعلم (3LM) من قبل المركز الدولي لأبحاث التكنولوجيا | معهد الابتكار التكنولوجي. 

ما هو مقياس أداء الذكاء الاصطناعي؟ يعد اختبار علم 3LM أداة قياس هائلة صُممت لتقييم كفاءة نماذج اللغات الكبيرة (LLMs) في التعامل مع اللغة العربية – وخاصةً في مجالات العلوم والتكنولوجيا والهندسة والرياضيات (التي يشار لها باختصار ستيم STEM)  ومهام البرمجة.

وفيما تركز معظم اختبارات الذكاء الاصطناعي العربية على مجالات اللغة أو الثقافة أو الدين، كانت هناك حاجة لاختبار مجالات علمية باللغة العربية وهو ما يقدمه مقياس علم (3LM)  لأنه يدفع أدوات الذكاء الاصطناعي ونماذج اللغة الكبيرة LLMs إلى التفكير المنطقي، وحل مسائل الرياضيات والعلوم الحقيقية، وحتى إنشاء برامج حاسوبية، ويراد بالعلوم تحديدا كل من التكنولوجيا، الهندسة، والرياضيات، أي مجموعة واسعة من التخصصات والمجالات التي تركز على هذه الجوانب الأربعة الأساسية.

تتضمن هذه المواد العلوم (مثل الفيزياء، الكيمياء، الأحياء)، والتكنولوجيا (بما في ذلك علوم الحاسوب، وتكنولوجيا المعلومات، وتطوير البرمجيات)، والهندسة (بما في ذلك الهندسة الميكانيكية، والكهربائية، والمدنية)، والرياضيات (بما في ذلك الجبر، والهندسة، والإحصاء)

يتألف علم (3LM) من ثلاثة فئات من الأسئلة، الأولى من  أسئلة العلوم الأصلية ، وهي أسئلة حقيقية مأخوذة من الكتب المدرسية العربية وأوراق العمل التعليمية (مثل الأشياء التي تتعلمها في المدرسة).

تشمل المواد الرياضيات والفيزياء والأحياء والكيمياء والجغرافيا. والثانية هي   أسئلة العلوم الاصطناعية : هذه أسئلة جديدة يتم إنشاؤها تلقائيًا، لكنها لا تزال تستند إلى مواد العلوم والرياضيات العربية الحقيقية، لذا يظل مستوى التحدي واقعيًا.

وفئة  الأسئلة الثالثة هي  مهام توليد الكود أو الشيفرة البرمجية ، والاختبار هنا هو، هل يمكن للذكاء الاصطناعي فهم التعليمات العربية ثم كتابة شيفرة (معظمها بلغة بايثون) تعمل بالفعل؟ ويجري التحقق من أن ترجمة مهام البرمجة والتحقق منها صحيحة وأنها منطقية باللغة العربية.