باو وانغ – خلق تقدم في الزخم في خوارزميات التحسين والعمارة العصبية

عرض قدمه باو وانغ في 14 يوليو 2021 ضمن ندوة العالم الواحد حول الحساب لاكتشاف الآلة حول موضوع “إنشاء الزخم في خوارزميات التحسين والعمارة العصبية”.الخلاصة: نحن في وضع يمكننا من الحصول على أحدث النتائج فيما يتعلق بالاستفادة من أنظمة الزخم لتطوير التحسين العشوائي والعمارة العصبية. أولاً ، يعد تصميم الشبكات العصبية العميقة من اللوحات التي تستلزم باستمرار بحثًا عزيزًا عن البنيات المرشحة. للتغلب على هذا بالنسبة للشبكات العصبية المتكررة (RNNs) ، فإننا نؤثر على اتصال بين ديناميات المعلومات المخفية في RNN ونسب التدرج (GD). ثم نمزج الزخم في هذا الإطار ونشير إلى عائلة أصلية من RNNs ، تسمى { em MomentumRNN}. نحن نظهر نظريًا ونظهر عدديًا أن MomentumRNNs تخفف من نزاع التدرج المتلاشي في تدريب RNNs. أيضًا ، نعرض الميزة التجريبية لشبكات RNN المعززة بالزخم على الأجهزة الأساسية. ثانيًا ، نحن في وضع يسمح لنا بأحدث التطورات في الزخم التكيفي في تسريع هبوط التدرج العشوائي (SGD). يعمل SGD المدعوم بالزخم التكيفي على تحسين تدريب الشبكة العصبية العميقة بشكل ملحوظ في عبارات تسريع وتحسين التعميم ويقلل إلى حد كبير عناء ضبط المعلمة الفائقة.