هل ستكون نماذج اللغات الكبيرة أفضل إذا لم تكن كبيرة جدًا؟
على سبيل المثال ، تدعي الأصولية ، وهي نظرية مؤثرة تعود إلى أعمال نعوم تشومسكي المبكرة ، أن البشر يتعلمون اللغة بسرعة وكفاءة لأن لديهم فهمًا فطريًا لكيفية عمل اللغة. لكن النماذج اللغوية تتعلم اللغة بسرعة أيضًا ، وعلى ما يبدو بدون فهم فطري لكيفية عمل اللغة – لذلك ربما لا يصمد المذهب الأبوي.
التحدي هو أن النماذج اللغوية تتعلم بشكل مختلف تمامًا عن البشر. البشر لديهم أجساد وحياة اجتماعية ومشاعر غنية. يمكننا أن نشم رائحة النشارة ، ونشعر بريش الريش ، ونصطدم بالأبواب ونتذوق النعناع. في البداية ، نتعرض للكلمات المنطوقة البسيطة والتراكيب اللغوية التي لا يتم تمثيلها في الغالب في الكتابة. لذا ، خلص الدكتور ويلكوكس إلى أن الكمبيوتر الذي ينتج اللغة بعد أن يتم تدريبه على أعداد هائلة من الكلمات المكتوبة يمكنه أن يخبرنا فقط بالكثير عن عمليتنا اللغوية.
ولكن إذا تعرض نموذج لغوي فقط للكلمات التي يصادفها شاب بشري ، فقد يتفاعل مع اللغة بطرق يمكن أن تعالج أسئلة معينة لدينا حول قدراتنا.
لذلك ، جنبًا إلى جنب مع ستة من الزملاء ، تصور الدكتور ويلكوكس والدكتور مولر والدكتور وارستادت تحدي BabyLM ، لمحاولة دفع النماذج اللغوية بشكل أقرب قليلاً إلى الفهم البشري. في كانون الثاني (يناير) ، أرسلوا دعوة للفرق لتدريب نماذج لغوية على نفس عدد الكلمات التي يواجهها إنسان يبلغ من العمر 13 عامًا – حوالي 100 مليون. سيتم اختبار نماذج المرشحين لمعرفة مدى نجاحهم في توليد الفروق الدقيقة في اللغة والتقاطها ، وسيتم الإعلان عن الفائز.
واجهت إيفا بورتلانس ، عالمة اللغة في جامعة ماكجيل ، التحدي في اليوم الذي تم الإعلان عنه. يمتد بحثها على الخط الباهت غالبًا بين علوم الكمبيوتر واللغويات. كانت الغزوات الأولى للذكاء الاصطناعي ، في الخمسينيات ، مدفوعة بالرغبة في نمذجة القدرات المعرفية البشرية في أجهزة الكمبيوتر. الوحدة الأساسية لمعالجة المعلومات في الذكاء الاصطناعي هي “الخلايا العصبية” ، ونماذج اللغة المبكرة في الثمانينيات والتسعينيات كانت مستوحاة مباشرة من الدماغ البشري. أ
ولكن مع ازدياد قوة المعالجات ، وبدأت الشركات في العمل نحو منتجات قابلة للتسويق ، أدرك علماء الكمبيوتر أنه غالبًا ما كان من الأسهل تدريب النماذج اللغوية على كميات هائلة من البيانات بدلاً من إجبارهم على تكوين هياكل مستنيرة نفسياً. ونتيجة لذلك ، قال الدكتور بورتيلانس ، “إنهم يعطوننا نصًا يشبه البشر ، ولكن لا يوجد اتصال بيننا وبين كيفية عملهم”.
للعلماء المهتمين بفهم كيفية عمل العقل البشري ، تقدم هذه النماذج الكبيرة رؤية محدودة. ولأنها تتطلب قوة معالجة قصوى ، يمكن لعدد قليل من الباحثين الوصول إليها. “لا يستطيع سوى عدد قليل من مختبرات الصناعة ذات الموارد الضخمة تدريب نماذج بمليارات من المعلمات على تريليونات الكلمات” ، د. قال ويلكوكس.