هوبفيلد شبكات

ادريس . حسن م

المقدمة اضاءة

البروفيسور • انجاز من عصبونية شبكة John Hopfieldهي

الواحدة • الطبقة ذات الشبكات من ( Single-Layer Net) تصنفما & وغالبا الوصالت، أوزان من واحدة طبقة من تتألف حيث

من اإلشارات تستقبل دخل وحدات إلى فيها الوحدات تنقسمالشبكة استجابة قراءة يمكن خرج ووحدات الخارجي، العالم

منها.الدخل • وحدات تكون التقليدية، الطبقة وحيدة الشبكات في

دخل بوحدات مرتبطة غير ولكنها الخرج، بوحدات & كليا مرتبطة. أخرى خرج بوحدات مرتبطة غير الخرج ووحدات أخرى،

وحل • األشكال، على التعرف هوبفيلد، شبكة تطبيقات أهم منالمتجول ) البائع مسألة في األقصر الطريق إيجاد األمثلية مشاكل

الشهيرة(.

هوبفيلد شبكة بنية

العصبونات • من عدد من هوبفيلد شبكة تتألفبشكل ،( Nالمتصلة ) الفعالة قيمها تحدMث التي

كل وتكون العصبونات، باقي عن ومستقل متزامنبنفس وخرج دخل عن عبارة فيها العصبونات

كل بدخل عصبون كل خرج ربط يتم حيث الوقت،مع ) العصبون خرج ربط يتم وال األخرى العصبونات

دخله(.هي )-• الفعالة يمكن(. 1,+1القيم الحاالت بعض وفي

1 , 0وضعها

) العتبة ) تابع المستخدم التفعيل تابع

•) العتبة ) تابع المستخدم التفعيل تابعخرج • من يحد التابع هذا يصبح العصبونإن بحيث

& تماما أكبر الدخل كان إذا الواحد مساويا الخرجمساويا - الخرج ويصبح الصفر كان 1من إذا

& مساويأ يكون وعندما الصفر، من أصغر الدخل. السابقة الخرج قيمة يعيد فإنه للصفر 1 0;

1 0;sgn( ) if xif xx

التعليم خوارزمية

التي • عصبونات من عدد هوبفيلد شبكات تملكبها مرتبطة اوزان عصبونات Wiلها يوجد وال

جميع تكون ان فيمكن للخرج او للدخل خاصةخرج الوقت بنفس جميعها و دخل العصبونات

تحديث • يتم حتى الخرج حالة على المحافظة يتمالعصبية الخاليا جميع

التعليم خوارزمية

التالية :• العمليات يتبع العصبية الخاليا تحديثحساب- 1 يتم ثم منها لكل االوزان و الدخل قيم تحديد يتم

المجموع :

للقيمة – +2 الخرج تركيزحالة المجموع 1يتم كان اذاالقيمة - الى و الصفر يساوي او اكبر كان 1السابق اذا

الصفر من & تماما اصغر المجموع

التحديث – 3 عملية تنتهي حتى الخرج على الحفاظ يتمالتالية .

التعليم خوارزمية

بينها • فيما مترابطة الشبكة في العصبونات جميعفيها بنفسه مرتبط غير العصبون لكن و

العصبون • من االتصال لوزن العصبون jنرمز الىi : التالي يكون Wijبالرمز Wij=Wjiبحيث

الوزن • مصفوفة في االوزان جميع تمثيل wيتم

الخاليا : تحديث لعملية اساسيتان طريقتان هناكالمتزامن- 1 غير التحديثالمتزامن- 2 التحديث

المتزامن- 1 غير التحديث

حساب • يتم بعدها ، واحد عصبون اختيار يتمالمجموع

بعدها مباشرة والتحديث

باختيار • او ثابت يترتيب بذلك القيام يمكنعشوائي

ذلك : • نسمي العشوائي التحديث اختيار تم اذاالمتزامن غير العشوائي التحديث

المتزامن -1 غير التحديث

عملية • بدون الخاليا لجميع المجموع حساب يتمبداية تحديث

واحدة • دفعة للخاليا التحديث عملية يتم بعدهاحسابه تم الذي للمجموع & وفقا

خاصة هوبفيلد شبكة هنامترابطة شبكة هي

الزرقاء العصبونات من يتم الدخلالرسم في الصفراء العصبونات هي الخرجالخرج و الدخل تربطبين التي هي الشبكة ذاكرة

هوبفيلد شبكة استخدام

التالي : • النحو على هوبفيلد شبكة استخدام طريقةعقد • على او العقد كل على معين نمط ادخال يتم

فقط معينةباستخدام • التكرارات من لعدد الشبكة بعدها تخضع

المتزامن غير او المتزامن التحديثنمط • أي لمعرفة زمنية فترة بعد التحديث ايقاف يتم

الشبكة في الموجودعدد • هي هوبفيلد شبكة من االساسية الفكرة حيث

الوزن مصفوفة في تخزينها يمكن التي االنماط

االنماط • من جزء على يحتوي الدخل كان اذاهي الشبكة خرج سيكون عندها المخزنة

استردادها سيتم حيث االساسية االنماطالمحتوى • المعنونة الذاكرة يسمى ما وهذا

(CAM)

الشبكة • في تخزينها يتم التي األنماط وتنقسممترابطة : . و رتل جزأين في

استعادة • سيتم ، الشبكة في رتل ادخال تم اذامصفوفة في تخزينه تم الذي بمجمله النمط

الترابط.. تستعيد الشبكة الطريقة بهذه الوزنمعين رتل الى المنتمي

و • الوزن مصفوفة تحديد هو االساسي الشيء & اذالمصفوفة معرفتهما يجب اساسين شرطين هناك

الوزن : متناظرة- 1 مصفوفة هي الوزن Wij=Wjiمصفوفة

الذاتي- 2 التوصيل عدم wii = wjj = 0شرط

عصبونبن • من شبكةهما + للترابط فقط احتماالن في 1هناك في 1او -Aكما كما

B

هو- +1 الوزن كان المستقرة 1إذا حاالت من نوعان هناك ،المتزامن التحديث {. 1, −1}−او {, 1, +1}+تحت

هو- +2 الوزن كان المستقرة 1إذا حاالت من نوعان هناك ،المتزامن التحديث {. 1, +1}−او {, 1, -1}+تحت

التحديث- من تتقارب الشبكةهذه تحت المتزامن غير

الشروط

الشبكة تدريبفي • الحالة Aالعقد الى البدائية القيم على & اعتمادا ستصل

1 , -1او -1, +1المستقرة +

: : لدينا النهائية الحالة w = [+1, +1 ]الثبات

اولى بالقيم حالة منها كل 1 = -1 * +1- ]1[-عقد

ثانية بالقيم حالة 1 = +1 * +1+ ]1[+عقدالشكل • في النهائية - Bالعقد الحالة الى 1، +1ستصل

هنا : : لدينا النهائية الحالة w = [-1,-1]الثبات

ثانية حالة اولى حالة1 = +1 * -1- ]1,-1[+عقد 1 = -1 * -1+ ]1,-1[+عقد

And -1 * -1 = +1 +1 * -1 = -1

A

يوجد • ال المتزامن التحديث انتهاء حالة في انه الحظعمليات دوري بشكل سيتم أي للشبكة مستقرة حالة

تبادل ! هوبفيلد : • شبكة من مهمين جانبين السابق المثال يوضحالوزن- 1 على تعتمد النهائية القيمةحالة- 2 الخرج قيمة ستحدد للدخل قيمة أي عمياء الشبكة

A

وهو متذبذبة، حالة إلى يؤدي أن يمكن المتزامن التحديثالمتزامن غير التحديث على ينطبق ال أمر

الوزن مصفوفة وضبط تهيئة

الوحيد :• النمطالسابقة العصبونات ثنائية الشبكة على ينطبق ما

الوزن كان اذا أي الكبيرة الشبكات على ينطبقايجابي + العصبونين العصبونان 1بين سيعملاالتجاه بنفس بعضهما دفع على

السلبي - للوزن بالنسبة معاكس 1وبشكل

عصبون : • لدينا عصبون iبفرض مع 1بوزن +jمتصلالعصبون • * iيساهم كان اذا ايجابي بشكل الدخل الوزن بمجموع

القيمة + يحمل -1يحمل كان اذا سلبي بشكل 1والعصبون • ان نجد هنا العصبون iمن اتجاهه jيدفع بنفس

السلبي باالتجاه او بااليجابسيقوم • سلبي الوزن كان اذا معاكس باالتجاه jبدفع iبشكل

المعاكسمن • متجه اجل من حيث هيب قاعدة تطبيق يمكن Nهنا

الى نحتاج قيمها Nقيمة الوزن مصفوفة وتكون عقدةبالعالقة : Wij=Xi * Xjمحسوبة

العملية :• لتوضيح مثال التالي الشكلالنمط 4• لتخزين عقدللعقد ] 1 ,1 ,1 ,-1[ بالترتيب

1, 2, 3, 4

متناظرة الوزن مصفوفة والنWij=Wjiفأن

كل بين الخطين استبدلنا لذافقط واحد بخط عصبونبن

الشبكة • لهذه المثلى هي االوزان ان نالحظاعلى • يأخذ عصبون كل السابق النمط حال في انه بمعنى

الخاليا ثنائية الشبكة حال في كما قيمة ادنى اوالنمط : • نأخذ ذلك الشبكة xالثبات هذه لتدريب اخذ الذي

العصبون بتحديث نقوم و الشبكة في ماذا iموجود هنا ،؟ سيحصل

* بواسطة لعقدة وزن الدخل مجموع يشار ما غالباللعقدة المحلي بالحقل المسمى

كان • حساب wijاذا يمكن عندها النمط هذا لتخزين اختياره تمh

أي ، العقد جميع على ينطبق ما و Xiوهذا و القيمة تغير ال هنابالمجمل ! مستقر النمط

استبدلنا • لو يحدث ماذا v = -xحيث vبالنمط xلكن

حساب و التحديث عند سيحصل ؟ hماذا

اتت هنا من و & ايضا كامل بشكل مستقرة الشبكة ان نالحظالتعمية تسمية

التعلم خوارزمية خطوات

هيب ) (1. قاعدة باستخدام االنماط لتخزين االوزان تهيئةخارجي. 2 دخل كل اجل من : xمن التالية الخطوات نفMذ

A . الدخل متجه الى مساو للشبكة المبدئي التفعيل تعيينالخارجي :

B ( : . اختيار خرج وحدة كل اجل من التالية الخطوات نفMذالخرج ( لوحدات عشوائي

.I الشبكة خرج احسب.II التنشيط : Yiتحديد التالي ) ( وفق الخرج اشارة.III قيمة المفعMل . Yiبث المتجه يحدMث هذا األخرى الوحدات لجميعالهدف . . 3 مع الشبكة التقاء اختبر

مثال

الشبكة • في ن Mمخز المتجه لديناالى • التالي المشوه المتجه بادخال سنقوم

الشبكة :خرج • لكشف هوبفيلد خوارزمية خطوات اتبع

الشبكة

الحل

وردت • كما السابقة الخطوات نتبعهي- : 1• الوزن مصفوفة

خارجي- 2• دخل كل اجل الخطوات xمن نفMذمن : التالية

A . مساو للشبكة المبدئي التفعيل تعيينالخارجي : الدخل متجه الى

B : . خرج وحدة كل اجل من التالية الخطوات نفMذسنختار) ( الخرج لوحدات عشوائي Y_in1اختيار

.I الشبكة خرج احسب.II التنشيط : Yiتحديد التالي ) ( وفق الخرج اشارة

فيكون :قيمة|||. يحدMث . Yiبث هذا األخرى الوحدات لجميع

كالتالي : المفعMل المتجه

اختيار ) • كالتالي الدخل عناصر لبقية العملية تكرارعشوائي (:

الهدف : • مع الشبكة التقاء اختبران سنجد خرج وحدة لكل التحديث عملية بعد

النتيجةاالساسي ! الشبكة دخل مع يتوافق ما وهو

هوبفيلد طاقةعقدة :• لكل الطاقة تعريف يمكننا

كان • حال في موجبة مختلفتين ! h , xالطاقة اشارتين منالن • االشارة تغيير الى سيؤدي المتزامن العقدة تحديث

التحديث وبالتالي ، مختلفة اشارة يمتلك المحلي الحقلاو االيجاب الى السلب من الطاقة اشارة تغيير الى سيؤدي

بالعكس ! طاقة • لديها المستقرة الحالة أن فكرة مع يتوافق وهذا

منخفضة.

بأكملها :• للشبكة الطاقة تعريف يمكننا

الشبكة • لتدريب استخدامه تم الذي النمط انمستقرة ) حالة للطاقة االدنى الحد يعطي

بالتالي ( : و عظمى

واحد نمط استقرار

فيها • تكون التي الحالة في بحثنا لقد اآلن حتىاستخدامها تم التي الشبكة في األنماط نفس

. آخر نمط أن نفترض دعونا اآلن الشبكة لتدريب. الشبكة في

النمط yالنمط • انه xنفس عنه يخلف لكنفقط ! عقد لثالث

لديها التحديث .. nوالشبكة بعملية سنقوم و عقدة؟ المحلي الحقل الحقل هو ما اآلن

السابق : • المجموع بتقسيم نقومالتدريب- لنمط بالقيمة معاكسة عقد xثالث

العقد- ) على ( N-3وبقية القيمة نفس تمتلكالتالي : الشكل

افتراض

تبقى • او تنخفض اما هوبفيلد في الطاقةاما ... تسبب التحديث عملية ان حيث نفسهاعلى اشارته ابقاء او العصبون اشارة بتغيير

حالها مصفوفة • ان هوبفيلد طاقة في يجري ما يعود

و هيب قاعدة الى يحتاج ما وهذا متناظرة الوزنهيب عن يلزم ما سنشرح لذا هيب قاعدة تعميم

!

التعميم و هيب قاعدة

بمقلوب • المصفوفة عناصر بضرب سنقومديناميكية على يؤثر لن بدوره هذا و العصبونات عدد

الرقم ! بنفس ضربت عناصرها جميع الن الشبكةأي :•الشبكة ... • في نمط من اكثر تخزين اآلن يمكننا كيف

ذلك : كيف لنعرفنمطان لدينا تخزينهما )x)1( AND x)2لنفترض نريد و

االوزان جمع عن الناتجة الرياضية الطريقة سنتبع هنا

عناصر • تحسب االول النمط اجل من بدايةالوزن : مصفوفة

مصفوفة • عناصر تحسب الثاني النمط اجل منالوزن :

بالجمع :•

على • التعميم اجل هيب pمن قاعدة نجد نمطالمعممة :

العقدة • قيمة هي النمط Iحيث Kفي

هيب تعميم و الطاقة

انماط • لذا بعضه مع ستداخل االثنين الوزن مصفوفاتالى الشبكة تسعى ذلك مع و مطلقة تعد لم التدريب

قيمة .. اقرب الى ستسعى هنا ممكنة طاقة اقل نقطةجيد بشكل محقق يبقى هذا و الطاقة لتابع دنيا محلية

ال االنماط و يكفي بما كبيرة الشبكة كانت حال فيبعضها . مع تتشابه

بالشكل • الشرط نكتب ان عدد Pحيث P<< Nيمكنناو العصبونات Nاالنماط عدد

الشبكة • ديناميك فان السابق الشرط تحقق حال فيللطاقة محلية قيمة ادنى الى بالشبكة سيؤدي الداخلي

المزيفة الدنيا ! القيمو • للطاقة محلية دنيا قيم تولد التي االنماط عن ناتجة هي

في داخلة او متوافقة غير هي لكن و استقرار الى تؤدي & اصال التدريب عملية

نرى • ان يمكننا الشبكة في انماط ثالث من اكثر تخزين تم اذادنيا قيم ستولد المتماثلة غير المصفوفات ان

؟ • بذلك المقصود ماالغالبية قيم خالل من القيمة تعريف يتم عقدة، لكل

القيم - تحمل انماط ثالث في العقدة لنفس & 1و 1و -1مثالالنمط في لها النهائية النتيجة ستكون الثالثة لالنماط بالنسبة

هو - القيم -1النهائي غالبية 1الن

سنقوم : • عقد عشر من شبكة اجل من مثالالرابع النمط نجد سوف و انماط ثالث بادخال

الثالثة : االنماط ادخال عن الناتج الغالب

الغالب : • النمط

حوض • من نوع يولد السابق الغالب النمطفي به التدريب عملية تنتهي ما & وغالبا الجذب

شرطين : حالةعدد • من اكبر عصبوناتها عدد الشبكة كانت

االنماط متشابهة • غير االنماط

اثبات

نمط • الشبكة، X ~عندما فيوجود • عن الناتجة الطاقة :xتعطى

فأنه :wنقترض • متناظرة

النيرون • تحديث يحافظ Xpعند ان اما خياران هناكأي فان اليه توصلنا ما وحسب يغيرها او قيمته علىوهذا اقل طاقة الى سيؤدي العقدة قيمة في تغيير

حسابيا نبرهنه ان يمكن ما

الرياضي : • البرهانالتحديث )E)tنفترض • قبل الطاقةالنمط • نمرر Xبعدها

التحديث • بعد الطاقة تصبح )E)t+1اآلن

العصبون • الستثناء الطاقة معادلة نكتب Xpاالن

هي • الجديدة العصبون *Xpقيمة

•E)t+1( اخذ ان بعد الجديدة الطاقة قيمةاصبح و الجديدة القيمة * Xpالعصبون

الحاصل : • الطاقة فرق نحسب

السابقة • العالقة تصبح الوزن مصفوفة تناظر بسبب

احتماالن • هنااالول1.

يؤدي هذالدينا

فيكون

الثانية : الحالة اثبات يمكن وبالمثل