معركة "مئات النماذج" في صناعة الذكاء الاصطناعي: التحديات التجارية وراء الثورة الهندسية
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي "حرب الحيوانات".
من ناحية أخرى، نموذج لغة كبير مفتوح المصدر أطلقته إحدى شركات التكنولوجيا الكبرى، وبفضل خاصيته المفتوحة، لاقى ترحيباً كبيراً في مجتمع المطورين. بعد دراسة الأوراق البحثية والشيفرة المصدرية ذات الصلة، تمكنت شركة يابانية من تطوير نسخة باللغة اليابانية من الذكاء الاصطناعي للحوار بسرعة، مما حل مشكلة الاختناق في مجال الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى "الصقر". في مايو من هذا العام، تم إصدار "الصقر-40B"، متجاوزاً النموذج السابق ليحتل المرتبة الأولى في تصنيف نماذج اللغة الكبيرة مفتوحة المصدر.
تقوم هذه القائمة على نموذج مفتوح المصدر من المجتمع، وتوفر معايير لتقييم قدرات نماذج اللغة الكبيرة. بشكل أساسي، تتناوب العاصمتان على اعتلاء الصدارة.
استعاد الأول المركز الأول مؤقتًا بعد إطلاق النسخة الجديدة؛ ولكن في أوائل سبتمبر، أطلق "الصقر" النسخة 180B، ليحقق تصنيفًا أعلى مرة أخرى.
من المثير للاهتمام أن مطور "الصقر" ليس شركة تكنولوجيا، بل هو معهد يقع في العاصمة الإماراتية. وقال مسؤول حكومي: "نحن نشارك في هذا المجال من أجل الإطاحة باللاعبين الرئيسيين."
في اليوم الثاني من إصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" التي اختارتها مجلة شهيرة؛ وانضم إليه في القائمة "أب الذكاء الاصطناعي" جيفري هينتون، والرئيس التنفيذي لشركة ذكاء اصطناعي معروفة، وكذلك مؤسس شركة تكنولوجيا صينية.
اليوم، دخلت مجال الذكاء الاصطناعي مرحلة يتنافس فيها الجميع: أي دولة وشركة تملك قدرًا معينًا من المال، أو بقدر ما، تعمل على بناء نموذج لغة كبير خاص بها. فقط في دائرة دول الخليج، هناك أكثر من لاعب واحد - في أغسطس، اشترت المملكة العربية السعودية مؤخرًا أكثر من 3000 شريحة AI من الطراز الأول للجامعات المحلية، لاستخدامها في تدريب نماذج اللغة الكبيرة.
قال مستثمر معروف ذات مرة على منصة التواصل الاجتماعي: "عندما كنت أحتقر الابتكار في نماذج الأعمال عبر الإنترنت، اعتقدت أنه لا توجد حواجز: حرب المئة فرقة، حرب المئة سيارة، حرب المئة بث؛ لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال حرب المئات من النماذج..."
كيف أصبحت التكنولوجيا الصلبة التي تُعتبر صعبة، مشروعًا تتنافس عليه الدول؟
ثورة المحولات
تعود الفضل في متابعة الشركات الناشئة الأمريكية، والعمالقة التكنولوجيين الصينيين، وأمراء النفط في الشرق الأوسط لأحلام النماذج الكبيرة إلى الورقة البحثية الشهيرة: "الانتباه هو كل ما تحتاجه".
في عام 2017، نشر ثمانية علماء حاسوب هذه الورقة، حيث كشفوا للعالم عن خوارزمية Transformer. هذه الورقة هي حالياً ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وقد أدت ظهور Transformer إلى هذه الموجة الحالية من حماس الذكاء الاصطناعي.
سواء كانت النماذج الكبيرة الحالية تأتي من أي بلد، بما في ذلك سلسلة GPT التي أحدثت ضجة في العالم، فهي مبنية على أساس الـ Transformer.
قبل ذلك، كانت "تعليم الآلة القراءة" تعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن البشر عند قراءة النصوص لا يركزون فقط على الكلمات والعبارات التي يرونها حاليًا، بل يجمعون بين السياق لفهم المعنى.
على سبيل المثال ، يمكن ترجمة كلمة "Transformer" إلى "المتحولون" ، لكن القراء في هذه المقالة بالتأكيد لن يفهموا ذلك ، لأن الجميع يعلم أن هذه ليست مقالة تتحدث عن فيلم هوليوود.
لكن كانت مدخلات الشبكات العصبية في البداية مستقلة عن بعضها البعض، ولم تكن لديها القدرة على فهم النصوص الطويلة، أو حتى المقالات الكاملة، ولهذا ظهرت مشكلات مثل ترجمة "开水间" إلى "open water room".
حتى عام 2014 ، حقق عالم الحاسوب الذي كان يعمل في إحدى شركات التكنولوجيا ثم انتقل إلى شركة AI أخرى اختراقًا أولاً. استخدم الشبكات العصبية المتكررة (RNN) لمعالجة اللغة الطبيعية ، مما جعل أداء الترجمة الآلية يتجاوز بسرعة المنتجات المنافسة.
اقترح RNN "تصميم دائري"، مما يجعل كل خلية عصبية تتلقى معلومات الإدخال الحالية وأيضًا معلومات الإدخال من اللحظة السابقة، وبالتالي تمنح الشبكة العصبية القدرة على "دمج السياق".
ظهور RNN أشعل حماس البحث في الأوساط الأكاديمية، إلا أن أحد مؤلفي ورقة Transformer في وقت لاحق كان قد انغمس في ذلك لفترة. ومع ذلك، أدرك المطورون بسرعة أن RNN لديها عيب خطير:
تستخدم الخوارزمية الحساب التتابعي، وعلى الرغم من أنها قادرة على حل مشاكل السياق، إلا أن كفاءة التشغيل ليست عالية، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
أدى التصميم المعقد لـ RNN إلى شعور هذا المؤلف بسرعة بالملل. لذلك، بدءًا من عام 2015، بدأ هو وسبعة من الأصدقاء المخلصين في تطوير بديل لـ RNN، ونتيجة لذلك كان الـ Transformer.
بالنسبة إلى RNN، فإن ثورة Transformer تتضمن نقطتين:
الأول هو استبدال تصميم الحلقة الخاص بـ RNN بطريقة ترميز الموقع، مما يتيح الحساب المتوازي - هذا التغيير زاد بشكل كبير من كفاءة تدريب Transformer، مما جعله قادراً على معالجة البيانات الكبيرة ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ والثاني هو تعزيز القدرة على فهم السياق.
مع قيام نموذج Transformer بحل العديد من العيوب دفعة واحدة، أصبح تدريجياً الطريقة القياسية في مجال معالجة اللغة الطبيعية، مما يعطي انطباعاً بأنها "تفتح آفاق جديدة". حتى مبتكرو RNN تخلو عن التقنية التي وضعوها على عرشها، وانتقلوا إلى استخدام Transformer.
بعبارة أخرى، يعتبر الـ Transformer هو المعلم الأكبر لجميع النماذج الكبيرة الحالية، لأنه حول النماذج الكبيرة من مسألة بحث نظرية إلى مسألة هندسية بحتة.
في عام 2019، قامت شركة AI معينة بتطوير نموذج لغة كبير مبني على Transformer، مما أدهش الأوساط الأكاديمية. ردًا على ذلك، أطلقت شركة تكنولوجيا أخرى بسرعة AI أقوى، يسمى Meena.
بالمقارنة مع السابقة، لا تمتلك Meena ابتكارات في الخوارزميات الأساسية، بل تمت إضافة 8.5 أضعاف من معلمات التدريب و 14 ضعفًا من القدرة الحاسوبية. وقد صُدم مؤلفو ورقة Transformer من هذا "التكديس العنيف"، وكتبوا على الفور مذكرة بعنوان "Meena تلتهم العالم".
ظهور المحولات قد أبطأ بشكل كبير من سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القدرة الحاسوبية، وبنية النموذج، عوامل حاسمة في المنافسة في الذكاء الاصطناعي، حيث يمكن لأي شركة تكنولوجيا لديها بعض المهارات التقنية أن تطور نموذجًا كبيرًا.
لذلك، عندما كان عالم الكمبيوتر أندرو نغ يتحدث في جامعة ستانفورد، ذكر وجهة نظر: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم غير الخاضع للإشراف، التعلم المعزز، وكذلك الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عالمية، مشابهة لتقنيات عالمية أخرى مثل الكهرباء والإنترنت."
بالتأكيد لا تزال شركة الذكاء الاصطناعي هذه هي المعيار في نماذج اللغة الكبيرة، ولكن تعتقد وكالات تحليل أشباه الموصلات أن قدرة نموذجها الأخير على المنافسة تأتي من الحلول الهندسية - إذا كانت مفتوحة المصدر، يمكن لأي منافس أن يعيد إنتاجها بسرعة.
يتوقع هذا المحلل أنه قد لا يستغرق الأمر وقتًا طويلاً حتى تتمكن شركات التكنولوجيا الكبرى الأخرى من إنشاء نماذج كبيرة بنفس الأداء.
خندق مبني على الزجاج
في الوقت الحالي، لم تعد "معركة النماذج المئة" مجرد أسلوب بلاغي، بل أصبحت واقعًا موضوعيًا.
أظهرت التقارير ذات الصلة أنه بحلول يوليو من هذا العام، بلغ عدد النماذج الكبيرة في البلاد 130، متجاوزًا 114 في الولايات المتحدة، مما حقق نجاحًا في تجاوز المنعطف، وأصبح من الصعب على شركات التكنولوجيا المحلية اختيار أسماء مستوحاة من الأساطير المختلفة.
وفيما وراء الولايات المتحدة والصين، حققت مجموعة من الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": بالإضافة إلى اليابان والإمارات العربية المتحدة، هناك نموذج Bhashini الذي تقوده الحكومة الهندية، وHyperClova X التي طورتها إحدى شركات الإنترنت الكورية، وغيرها.
إن المشهد أمامي يوحي وكأنني عدت إلى ذلك العصر البدائي للإنترنت الذي كان مليئًا بالفقاعات، حيث كانت "قدرة النقد" تتنافس.
كما ذُكِر سابقًا، جعلت تقنية Transformer النماذج الكبيرة مشكلة هندسية بحتة، طالما أن هناك من لديه المال وبطاقات الرسوم، يمكن ترك بقية الأمور للمعلمات. لكن الحصول على تذكرة الدخول ليس بالأمر الصعب، وهذا لا يعني أن الجميع لديه الفرصة ليصبح عمالقة في عصر الذكاء الاصطناعي.
العبارة "حرب الحيوانات" المذكورة في البداية هي مثال نموذجي: على الرغم من أن "الصقر" يتفوق على منافسيه في الترتيب، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على أي عملاق تكنولوجي.
كما هو معروف، فإن الشركات التي تفتح مصادر نتائج أبحاثها العلمية تفعل ذلك ليس فقط لمشاركة فوائد التكنولوجيا مع الجمهور، ولكن أيضًا لتشجيع ذكاء الناس. مع استخدام أساتذة الجامعات، والمعاهد البحثية، والشركات الصغيرة والمتوسطة لنماذج المصدر المفتوح وتحسينها بشكل مستمر، يمكن لهذه الشركة تطبيق هذه النتائج في منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية لها.
وفي عام 2015، عندما تم تأسيس مختبر الذكاء الاصطناعي، كانت الشركة قد وضعت بالفعل النغمة الأساسية للانفتاح؛ مؤسسها هو أيضًا شخص حقق ثروته من أعمال وسائل التواصل الاجتماعي، مما يجعله خبيرًا في "إقامة علاقات جيدة مع الجمهور".
على سبيل المثال، في أكتوبر، نظمت الشركة فعالية "تحفيز المبدعين بنسخة الذكاء الاصطناعي": سيتمكن المطورون الذين يستخدمون نماذجها المفتوحة المصدر لحل مشاكل اجتماعية مثل التعليم والبيئة من الحصول على فرصة للحصول على تمويل قدره 500000 دولار.
حتى اليوم، أصبحت سلسلة النماذج مفتوحة المصدر لهذه الشركة بمثابة علامة فارقة لنماذج اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، كان هناك 8 نماذج ضمن قائمة أفضل 10 في مجتمع النماذج المفتوحة المصدر، جميعها مبنية على هذا النموذج المفتوح المصدر، وقد استخدمت بروتوكولها المفتوح المصدر. فقط في هذا المجتمع، تجاوز عدد نماذج اللغة الكبيرة التي تستخدم هذا البروتوكول المفتوح 1500.
بالطبع، من الممكن تحسين الأداء مثل "الصقر"، ولكن حتى اليوم، لا يزال هناك فجوة واضحة في الأداء بين معظم نماذج اللغة الكبيرة المتاحة في السوق وأحد النماذج المعروفة.
على سبيل المثال، في الأيام القليلة الماضية، احتل هذا النموذج الشهير المرتبة الأولى في اختبار AgentBench بدرجة 4.41. تم إطلاق معيار AgentBench من قبل جامعة تسينغهوا وجامعة ولاية أوهايو وجامعة كاليفورنيا في بيركلي، ويستخدم لتقييم قدرة النماذج اللغوية الكبيرة على الاستدلال واتخاذ القرار في بيئات التوليد المفتوحة متعددة الأبعاد، وتشتمل内容 الاختبار على مهام في 8 بيئات مختلفة مثل أنظمة التشغيل، قواعد البيانات، الرسوم البيانية المعرفية، والمعارك باستخدام بطاقات.
أظهرت نتائج الاختبار أن النموذج الآخر في المركز الثاني حصل على 2.77 نقطة فقط، مما يدل على وجود فجوة واضحة. أما بالنسبة لتلك النماذج اللغوية الكبيرة مفتوحة المصدر ذات الضجة الكبيرة، فإن نتائج اختباراتهم تدور عادة حول نقطة واحدة، ولا تصل حتى إلى ربع نقطة الأول.
من المهم أن نعرف أن هذا النموذج الشهير تم إصداره في مارس من هذا العام، وهذا هو الإنجاز بعد أن حاولت الشركات العالمية المنافسة لعدة أشهر. والسبب في هذا الفارق هو الفريق العلمي ذو "كثافة الذكاء" العالية والخبرة المتراكمة من الأبحاث طويلة الأمد حول نماذج اللغة الكبيرة، مما يمكنهم من البقاء دائماً في المقدمة.
أي أن القدرة الأساسية للنموذج الكبير ليست المعلمات، بل هي بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلق المصدر ).
مع تزايد نشاط مجتمع المصدر المفتوح، قد تتقارب أداء نماذج اللغة الكبيرة المختلفة، لأن الجميع يستخدم نماذج معمارية مشابهة ومجموعات بيانات مماثلة.
مشكلة أخرى أكثر وضوحًا هي: بخلاف بعض الذكاء الاصطناعي للرسم، يبدو أنه لا يوجد نموذج كبير آخر يمكنه كسب المال.
نقاط الارتكاز للقيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تفلس شركة AI معروفة بحلول نهاية عام 2024" الكثير من الاهتمام. يمكن تلخيص فكرة المقالة في جملة واحدة: إن سرعة إنفاق الشركة مرتفعة للغاية.
تشير المقالة إلى أنه منذ تطوير نموذج الحوار الشهير لديها، فإن خسائر الشركة تتسارع بسرعة، حيث تكبدت خسائر تصل إلى حوالي 540 مليون دولار في عام 2022 فقط، ولا يمكنها سوى الانتظار حتى يقوم أحد المستثمرين من شركات التكنولوجيا الكبرى بتغطية الفاتورة.
على الرغم من أن عنوان المقال مثير للدهشة، إلا أنه يتحدث عن حالة العديد من مقدمي النماذج الكبيرة: عدم التوازن الشديد بين التكاليف والإيرادات.
التكاليف المرتفعة للغاية أدت إلى أن الشركة الوحيدة التي حققت أرباحًا كبيرة من الذكاء الاصطناعي هي شركة رقائق معينة، وربما تضيف شركة أخرى لصناعة الرقائق.
وفقًا لتقديرات شركة استشارية، قامت شركة شرائح معينة ببيع أكثر من 300,000 شريحة AI الأحدث لديها في الربع الثاني من هذا العام. إنها شريحة تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، حيث تتنافس عليها شركات التكنولوجيا والمؤسسات البحثية في جميع أنحاء العالم. إذا تم تكديس الـ 300,000 شريحة المباعة فوق بعضها البعض، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
حققت شركة الشرائح أداءً مذهلاً حيث ارتفعت إيراداتها بنسبة 854% مقارنة بالعام السابق، مما صدم وول ستريت. ومن المثير للاهتمام، أن سعر هذه الشريحة في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، بينما تكلفة المواد الخام لا تتجاوز حوالي 3000 دولار.
تكاليف الطاقة الحاسوبية المرتفعة أصبحت، إلى حد ما، عائقاً أمام تطوير الصناعة. قامت إحدى شركات رأس المال المخاطر الشهيرة بإجراء حسابات: من المتوقع أن تنفق الشركات التكنولوجية العالمية 200 مليار دولار سنوياً على بناء بنية تحتية لنماذج الذكاء الاصطناعي؛ بالمقارنة، لا يمكن لنماذج الذكاء الاصطناعي أن تنتج أكثر من 75 مليار دولار سنوياً، مما يخلق فجوة لا تقل عن 125 مليار دولار.
بالإضافة إلى عدد قليل من الأمثلة مثل بعض الذكاء الاصطناعي للرسم، لم تفكر معظم شركات البرمجيات، بعد أن تحملت تكاليف ضخمة، في كيفية تحقيق الأرباح. خاصةً أن رائدي الصناعة - أحد عمالقة التكنولوجيا وإحدى شركات البرمجيات التصميم - يسيران بشكل غير مستقر.
تعاونت إحدى شركات التكنولوجيا الكبرى مع إحدى شركات الذكاء الاصطناعي لتطوير أداة توليد أكواد الذكاء الاصطناعي، على الرغم من أن
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 19
أعجبني
19
6
إعادة النشر
مشاركة
تعليق
0/400
HappyMinerUncle
· 08-12 05:23
الأدوات حقًا تتنافس بشكل مفرط
شاهد النسخة الأصليةرد0
tokenomics_truther
· 08-11 10:25
ما فائدة لعب الألعاب الرقمية؟ دعونا نتحدث عند تقديم حالات عملية.
شاهد النسخة الأصليةرد0
TrustMeBro
· 08-11 10:25
مرة أخرى هي معركة التصنيف، أليس كذلك؟
شاهد النسخة الأصليةرد0
FarmToRiches
· 08-11 10:19
أشعر أن المنزل المفتوح يصبح أكثر جمالاً كلما لعبت فيه~
معركة النماذج الذكية: التحديات التجارية واستكشاف القيمة في ثورة الهندسة
معركة "مئات النماذج" في صناعة الذكاء الاصطناعي: التحديات التجارية وراء الثورة الهندسية
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي "حرب الحيوانات".
من ناحية أخرى، نموذج لغة كبير مفتوح المصدر أطلقته إحدى شركات التكنولوجيا الكبرى، وبفضل خاصيته المفتوحة، لاقى ترحيباً كبيراً في مجتمع المطورين. بعد دراسة الأوراق البحثية والشيفرة المصدرية ذات الصلة، تمكنت شركة يابانية من تطوير نسخة باللغة اليابانية من الذكاء الاصطناعي للحوار بسرعة، مما حل مشكلة الاختناق في مجال الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى "الصقر". في مايو من هذا العام، تم إصدار "الصقر-40B"، متجاوزاً النموذج السابق ليحتل المرتبة الأولى في تصنيف نماذج اللغة الكبيرة مفتوحة المصدر.
تقوم هذه القائمة على نموذج مفتوح المصدر من المجتمع، وتوفر معايير لتقييم قدرات نماذج اللغة الكبيرة. بشكل أساسي، تتناوب العاصمتان على اعتلاء الصدارة.
استعاد الأول المركز الأول مؤقتًا بعد إطلاق النسخة الجديدة؛ ولكن في أوائل سبتمبر، أطلق "الصقر" النسخة 180B، ليحقق تصنيفًا أعلى مرة أخرى.
من المثير للاهتمام أن مطور "الصقر" ليس شركة تكنولوجيا، بل هو معهد يقع في العاصمة الإماراتية. وقال مسؤول حكومي: "نحن نشارك في هذا المجال من أجل الإطاحة باللاعبين الرئيسيين."
في اليوم الثاني من إصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" التي اختارتها مجلة شهيرة؛ وانضم إليه في القائمة "أب الذكاء الاصطناعي" جيفري هينتون، والرئيس التنفيذي لشركة ذكاء اصطناعي معروفة، وكذلك مؤسس شركة تكنولوجيا صينية.
اليوم، دخلت مجال الذكاء الاصطناعي مرحلة يتنافس فيها الجميع: أي دولة وشركة تملك قدرًا معينًا من المال، أو بقدر ما، تعمل على بناء نموذج لغة كبير خاص بها. فقط في دائرة دول الخليج، هناك أكثر من لاعب واحد - في أغسطس، اشترت المملكة العربية السعودية مؤخرًا أكثر من 3000 شريحة AI من الطراز الأول للجامعات المحلية، لاستخدامها في تدريب نماذج اللغة الكبيرة.
قال مستثمر معروف ذات مرة على منصة التواصل الاجتماعي: "عندما كنت أحتقر الابتكار في نماذج الأعمال عبر الإنترنت، اعتقدت أنه لا توجد حواجز: حرب المئة فرقة، حرب المئة سيارة، حرب المئة بث؛ لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال حرب المئات من النماذج..."
كيف أصبحت التكنولوجيا الصلبة التي تُعتبر صعبة، مشروعًا تتنافس عليه الدول؟
ثورة المحولات
تعود الفضل في متابعة الشركات الناشئة الأمريكية، والعمالقة التكنولوجيين الصينيين، وأمراء النفط في الشرق الأوسط لأحلام النماذج الكبيرة إلى الورقة البحثية الشهيرة: "الانتباه هو كل ما تحتاجه".
في عام 2017، نشر ثمانية علماء حاسوب هذه الورقة، حيث كشفوا للعالم عن خوارزمية Transformer. هذه الورقة هي حالياً ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وقد أدت ظهور Transformer إلى هذه الموجة الحالية من حماس الذكاء الاصطناعي.
سواء كانت النماذج الكبيرة الحالية تأتي من أي بلد، بما في ذلك سلسلة GPT التي أحدثت ضجة في العالم، فهي مبنية على أساس الـ Transformer.
قبل ذلك، كانت "تعليم الآلة القراءة" تعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن البشر عند قراءة النصوص لا يركزون فقط على الكلمات والعبارات التي يرونها حاليًا، بل يجمعون بين السياق لفهم المعنى.
على سبيل المثال ، يمكن ترجمة كلمة "Transformer" إلى "المتحولون" ، لكن القراء في هذه المقالة بالتأكيد لن يفهموا ذلك ، لأن الجميع يعلم أن هذه ليست مقالة تتحدث عن فيلم هوليوود.
لكن كانت مدخلات الشبكات العصبية في البداية مستقلة عن بعضها البعض، ولم تكن لديها القدرة على فهم النصوص الطويلة، أو حتى المقالات الكاملة، ولهذا ظهرت مشكلات مثل ترجمة "开水间" إلى "open water room".
حتى عام 2014 ، حقق عالم الحاسوب الذي كان يعمل في إحدى شركات التكنولوجيا ثم انتقل إلى شركة AI أخرى اختراقًا أولاً. استخدم الشبكات العصبية المتكررة (RNN) لمعالجة اللغة الطبيعية ، مما جعل أداء الترجمة الآلية يتجاوز بسرعة المنتجات المنافسة.
اقترح RNN "تصميم دائري"، مما يجعل كل خلية عصبية تتلقى معلومات الإدخال الحالية وأيضًا معلومات الإدخال من اللحظة السابقة، وبالتالي تمنح الشبكة العصبية القدرة على "دمج السياق".
ظهور RNN أشعل حماس البحث في الأوساط الأكاديمية، إلا أن أحد مؤلفي ورقة Transformer في وقت لاحق كان قد انغمس في ذلك لفترة. ومع ذلك، أدرك المطورون بسرعة أن RNN لديها عيب خطير:
تستخدم الخوارزمية الحساب التتابعي، وعلى الرغم من أنها قادرة على حل مشاكل السياق، إلا أن كفاءة التشغيل ليست عالية، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
أدى التصميم المعقد لـ RNN إلى شعور هذا المؤلف بسرعة بالملل. لذلك، بدءًا من عام 2015، بدأ هو وسبعة من الأصدقاء المخلصين في تطوير بديل لـ RNN، ونتيجة لذلك كان الـ Transformer.
بالنسبة إلى RNN، فإن ثورة Transformer تتضمن نقطتين:
الأول هو استبدال تصميم الحلقة الخاص بـ RNN بطريقة ترميز الموقع، مما يتيح الحساب المتوازي - هذا التغيير زاد بشكل كبير من كفاءة تدريب Transformer، مما جعله قادراً على معالجة البيانات الكبيرة ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ والثاني هو تعزيز القدرة على فهم السياق.
مع قيام نموذج Transformer بحل العديد من العيوب دفعة واحدة، أصبح تدريجياً الطريقة القياسية في مجال معالجة اللغة الطبيعية، مما يعطي انطباعاً بأنها "تفتح آفاق جديدة". حتى مبتكرو RNN تخلو عن التقنية التي وضعوها على عرشها، وانتقلوا إلى استخدام Transformer.
بعبارة أخرى، يعتبر الـ Transformer هو المعلم الأكبر لجميع النماذج الكبيرة الحالية، لأنه حول النماذج الكبيرة من مسألة بحث نظرية إلى مسألة هندسية بحتة.
في عام 2019، قامت شركة AI معينة بتطوير نموذج لغة كبير مبني على Transformer، مما أدهش الأوساط الأكاديمية. ردًا على ذلك، أطلقت شركة تكنولوجيا أخرى بسرعة AI أقوى، يسمى Meena.
بالمقارنة مع السابقة، لا تمتلك Meena ابتكارات في الخوارزميات الأساسية، بل تمت إضافة 8.5 أضعاف من معلمات التدريب و 14 ضعفًا من القدرة الحاسوبية. وقد صُدم مؤلفو ورقة Transformer من هذا "التكديس العنيف"، وكتبوا على الفور مذكرة بعنوان "Meena تلتهم العالم".
ظهور المحولات قد أبطأ بشكل كبير من سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القدرة الحاسوبية، وبنية النموذج، عوامل حاسمة في المنافسة في الذكاء الاصطناعي، حيث يمكن لأي شركة تكنولوجيا لديها بعض المهارات التقنية أن تطور نموذجًا كبيرًا.
لذلك، عندما كان عالم الكمبيوتر أندرو نغ يتحدث في جامعة ستانفورد، ذكر وجهة نظر: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم غير الخاضع للإشراف، التعلم المعزز، وكذلك الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عالمية، مشابهة لتقنيات عالمية أخرى مثل الكهرباء والإنترنت."
بالتأكيد لا تزال شركة الذكاء الاصطناعي هذه هي المعيار في نماذج اللغة الكبيرة، ولكن تعتقد وكالات تحليل أشباه الموصلات أن قدرة نموذجها الأخير على المنافسة تأتي من الحلول الهندسية - إذا كانت مفتوحة المصدر، يمكن لأي منافس أن يعيد إنتاجها بسرعة.
يتوقع هذا المحلل أنه قد لا يستغرق الأمر وقتًا طويلاً حتى تتمكن شركات التكنولوجيا الكبرى الأخرى من إنشاء نماذج كبيرة بنفس الأداء.
خندق مبني على الزجاج
في الوقت الحالي، لم تعد "معركة النماذج المئة" مجرد أسلوب بلاغي، بل أصبحت واقعًا موضوعيًا.
أظهرت التقارير ذات الصلة أنه بحلول يوليو من هذا العام، بلغ عدد النماذج الكبيرة في البلاد 130، متجاوزًا 114 في الولايات المتحدة، مما حقق نجاحًا في تجاوز المنعطف، وأصبح من الصعب على شركات التكنولوجيا المحلية اختيار أسماء مستوحاة من الأساطير المختلفة.
وفيما وراء الولايات المتحدة والصين، حققت مجموعة من الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": بالإضافة إلى اليابان والإمارات العربية المتحدة، هناك نموذج Bhashini الذي تقوده الحكومة الهندية، وHyperClova X التي طورتها إحدى شركات الإنترنت الكورية، وغيرها.
إن المشهد أمامي يوحي وكأنني عدت إلى ذلك العصر البدائي للإنترنت الذي كان مليئًا بالفقاعات، حيث كانت "قدرة النقد" تتنافس.
كما ذُكِر سابقًا، جعلت تقنية Transformer النماذج الكبيرة مشكلة هندسية بحتة، طالما أن هناك من لديه المال وبطاقات الرسوم، يمكن ترك بقية الأمور للمعلمات. لكن الحصول على تذكرة الدخول ليس بالأمر الصعب، وهذا لا يعني أن الجميع لديه الفرصة ليصبح عمالقة في عصر الذكاء الاصطناعي.
العبارة "حرب الحيوانات" المذكورة في البداية هي مثال نموذجي: على الرغم من أن "الصقر" يتفوق على منافسيه في الترتيب، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على أي عملاق تكنولوجي.
كما هو معروف، فإن الشركات التي تفتح مصادر نتائج أبحاثها العلمية تفعل ذلك ليس فقط لمشاركة فوائد التكنولوجيا مع الجمهور، ولكن أيضًا لتشجيع ذكاء الناس. مع استخدام أساتذة الجامعات، والمعاهد البحثية، والشركات الصغيرة والمتوسطة لنماذج المصدر المفتوح وتحسينها بشكل مستمر، يمكن لهذه الشركة تطبيق هذه النتائج في منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية لها.
وفي عام 2015، عندما تم تأسيس مختبر الذكاء الاصطناعي، كانت الشركة قد وضعت بالفعل النغمة الأساسية للانفتاح؛ مؤسسها هو أيضًا شخص حقق ثروته من أعمال وسائل التواصل الاجتماعي، مما يجعله خبيرًا في "إقامة علاقات جيدة مع الجمهور".
على سبيل المثال، في أكتوبر، نظمت الشركة فعالية "تحفيز المبدعين بنسخة الذكاء الاصطناعي": سيتمكن المطورون الذين يستخدمون نماذجها المفتوحة المصدر لحل مشاكل اجتماعية مثل التعليم والبيئة من الحصول على فرصة للحصول على تمويل قدره 500000 دولار.
حتى اليوم، أصبحت سلسلة النماذج مفتوحة المصدر لهذه الشركة بمثابة علامة فارقة لنماذج اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، كان هناك 8 نماذج ضمن قائمة أفضل 10 في مجتمع النماذج المفتوحة المصدر، جميعها مبنية على هذا النموذج المفتوح المصدر، وقد استخدمت بروتوكولها المفتوح المصدر. فقط في هذا المجتمع، تجاوز عدد نماذج اللغة الكبيرة التي تستخدم هذا البروتوكول المفتوح 1500.
بالطبع، من الممكن تحسين الأداء مثل "الصقر"، ولكن حتى اليوم، لا يزال هناك فجوة واضحة في الأداء بين معظم نماذج اللغة الكبيرة المتاحة في السوق وأحد النماذج المعروفة.
على سبيل المثال، في الأيام القليلة الماضية، احتل هذا النموذج الشهير المرتبة الأولى في اختبار AgentBench بدرجة 4.41. تم إطلاق معيار AgentBench من قبل جامعة تسينغهوا وجامعة ولاية أوهايو وجامعة كاليفورنيا في بيركلي، ويستخدم لتقييم قدرة النماذج اللغوية الكبيرة على الاستدلال واتخاذ القرار في بيئات التوليد المفتوحة متعددة الأبعاد، وتشتمل内容 الاختبار على مهام في 8 بيئات مختلفة مثل أنظمة التشغيل، قواعد البيانات، الرسوم البيانية المعرفية، والمعارك باستخدام بطاقات.
أظهرت نتائج الاختبار أن النموذج الآخر في المركز الثاني حصل على 2.77 نقطة فقط، مما يدل على وجود فجوة واضحة. أما بالنسبة لتلك النماذج اللغوية الكبيرة مفتوحة المصدر ذات الضجة الكبيرة، فإن نتائج اختباراتهم تدور عادة حول نقطة واحدة، ولا تصل حتى إلى ربع نقطة الأول.
من المهم أن نعرف أن هذا النموذج الشهير تم إصداره في مارس من هذا العام، وهذا هو الإنجاز بعد أن حاولت الشركات العالمية المنافسة لعدة أشهر. والسبب في هذا الفارق هو الفريق العلمي ذو "كثافة الذكاء" العالية والخبرة المتراكمة من الأبحاث طويلة الأمد حول نماذج اللغة الكبيرة، مما يمكنهم من البقاء دائماً في المقدمة.
أي أن القدرة الأساسية للنموذج الكبير ليست المعلمات، بل هي بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلق المصدر ).
مع تزايد نشاط مجتمع المصدر المفتوح، قد تتقارب أداء نماذج اللغة الكبيرة المختلفة، لأن الجميع يستخدم نماذج معمارية مشابهة ومجموعات بيانات مماثلة.
مشكلة أخرى أكثر وضوحًا هي: بخلاف بعض الذكاء الاصطناعي للرسم، يبدو أنه لا يوجد نموذج كبير آخر يمكنه كسب المال.
نقاط الارتكاز للقيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تفلس شركة AI معروفة بحلول نهاية عام 2024" الكثير من الاهتمام. يمكن تلخيص فكرة المقالة في جملة واحدة: إن سرعة إنفاق الشركة مرتفعة للغاية.
تشير المقالة إلى أنه منذ تطوير نموذج الحوار الشهير لديها، فإن خسائر الشركة تتسارع بسرعة، حيث تكبدت خسائر تصل إلى حوالي 540 مليون دولار في عام 2022 فقط، ولا يمكنها سوى الانتظار حتى يقوم أحد المستثمرين من شركات التكنولوجيا الكبرى بتغطية الفاتورة.
على الرغم من أن عنوان المقال مثير للدهشة، إلا أنه يتحدث عن حالة العديد من مقدمي النماذج الكبيرة: عدم التوازن الشديد بين التكاليف والإيرادات.
التكاليف المرتفعة للغاية أدت إلى أن الشركة الوحيدة التي حققت أرباحًا كبيرة من الذكاء الاصطناعي هي شركة رقائق معينة، وربما تضيف شركة أخرى لصناعة الرقائق.
وفقًا لتقديرات شركة استشارية، قامت شركة شرائح معينة ببيع أكثر من 300,000 شريحة AI الأحدث لديها في الربع الثاني من هذا العام. إنها شريحة تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، حيث تتنافس عليها شركات التكنولوجيا والمؤسسات البحثية في جميع أنحاء العالم. إذا تم تكديس الـ 300,000 شريحة المباعة فوق بعضها البعض، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
حققت شركة الشرائح أداءً مذهلاً حيث ارتفعت إيراداتها بنسبة 854% مقارنة بالعام السابق، مما صدم وول ستريت. ومن المثير للاهتمام، أن سعر هذه الشريحة في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، بينما تكلفة المواد الخام لا تتجاوز حوالي 3000 دولار.
تكاليف الطاقة الحاسوبية المرتفعة أصبحت، إلى حد ما، عائقاً أمام تطوير الصناعة. قامت إحدى شركات رأس المال المخاطر الشهيرة بإجراء حسابات: من المتوقع أن تنفق الشركات التكنولوجية العالمية 200 مليار دولار سنوياً على بناء بنية تحتية لنماذج الذكاء الاصطناعي؛ بالمقارنة، لا يمكن لنماذج الذكاء الاصطناعي أن تنتج أكثر من 75 مليار دولار سنوياً، مما يخلق فجوة لا تقل عن 125 مليار دولار.
بالإضافة إلى عدد قليل من الأمثلة مثل بعض الذكاء الاصطناعي للرسم، لم تفكر معظم شركات البرمجيات، بعد أن تحملت تكاليف ضخمة، في كيفية تحقيق الأرباح. خاصةً أن رائدي الصناعة - أحد عمالقة التكنولوجيا وإحدى شركات البرمجيات التصميم - يسيران بشكل غير مستقر.
تعاونت إحدى شركات التكنولوجيا الكبرى مع إحدى شركات الذكاء الاصطناعي لتطوير أداة توليد أكواد الذكاء الاصطناعي، على الرغم من أن