‫الشبكاتـ العصبيـــــــــــــة‬

‫‪Neural Networks‬‬

‫الفرقة الرابعـــــــة (حاسب آلي)‬

‫أستاذ المقرر‬
‫د‪ /‬جمال محمد بحيري‬
 ‫المحاضرة الثالثـــــــــــة‬

‫الشبكات العصبية المبسطة‬

‫المستخدمة في تصنيف العينات‬

‫‪Simple Neural Nets for Pattern‬‬

‫‪Classification‬‬
 ‫مناقشــــــــــــــــــــة عامــــــــة‬
‫‪General Discussion‬‬
‫• تعتبر مسائل تصنيف العينة من المهام البسيطة التي‬
‫يمكن أن تتدرب عليها الشبكات العصبية إلظهر قدراتها‬
‫و معالجتها للمعلومات‪.‬‬
‫• في هذا النوع من المسائل تكون طبقة االدخال‬
‫(شعاع الدخل) إما تنتمي أو ال تنتمي لصنف خاص‪.‬‬
‫• بصورة أوضح هل النموذج المقدم للشبكة (عن طريق‬
‫طبقة االدخال) معروف لدى الشبكة العصبية أم ال؟‬
‫الجواب‪ :‬هذا يتوقف على طبقة االخراج (وحدة الخرج)‪.‬‬
‫‪ -‬إذا كانت االستجابة (‪ )1‬معني ذلك أن وحدة الدخل‬
‫تمثل انتماء للصنف‬
‫‪ -‬إذا كانت االستجابة (‪ )1-‬أو (‪ )0‬معنى ذلك أن العينة‬
‫ليست عضوا في الصنف المختار‪.‬‬
 ‫مناقشــــــــــــــــــــة عامــــــــة‬
‫‪General Discussion‬‬
‫• كما قدمنا في المحاضرة السابقة بنية الشبكة العصبية على‬
‫أنها تتكون من عدد من الطبقات ‪ ،‬أبسطها يتكون من طبقتين‬
‫هما‪-:‬‬
‫‪ -‬طبقة الدخل‪ :‬و تتكون من عدة وحدات يغير عددها حسب نوع‬
‫المسألة‪.‬‬
‫‪ -‬طبقة الخرج‪ :‬و تتكون من وحدة خرج واحدة‪.‬‬
‫و يكون شكلها العام كما بالشكل التالي‪.‬‬
‫شبكة وحـيدة الطبقة لتصنيف العينات‬

‫‪1‬‬
‫‪b‬‬

‫‪X1‬‬
‫‪w1‬‬
‫‪Y‬‬
‫‪Xi‬‬ ‫‪wi‬‬

‫‪wn‬‬
‫‪Xn‬‬
 ‫االنحيازات و القيم العتبية‬
‫‪Biases and Thresholds‬‬
‫• يعتبر عمل االنحياز مشابه لعمل األوزان‪ S،‬و لكن‬
‫باعتبار أن تأثير الوحدة المرتبطة معها ”االنحياز‬
‫الدائم“ يساوي (‪.)1‬‬
‫• الشكل الرياضي النموذجي له هو‪:‬‬
‫‪1‬‬ ‫‪if‬‬ ‫‪net  0‬‬
‫‪f  net   ‬‬
‫‪ 1 if‬‬ ‫‪net  0‬‬
‫‪where :‬‬
‫‪net  b ‬‬ ‫‪‬‬ ‫‪xiwi‬‬
‫‪i‬‬
 ‫االنحيازات و القيم العتبية‬
‫‪Biases and Thresholds‬‬
‫• ممكن استخدام عتبة ‪ θ‬من أجل تابع التفعيل‬
‫بدال من استخدام وزن االنحياز‪.‬‬
‫• ويكون تابع التفعيل معطى بالعالقة‪:‬‬

‫‪1‬‬ ‫‪if‬‬ ‫‪net  ‬‬

‫‪f  net   ‬‬
‫‪ 1 if‬‬ ‫‪net  ‬‬
‫‪where :‬‬
‫‪net ‬‬ ‫‪‬‬ ‫‪xiwi‬‬
‫‪i‬‬
‫مثال‪ :‬دور االنحياز أو القيمة العتبية‬
‫• سنفرض في هذا المثال أن اشارات الدخل‬
‫على هيئة متجه (مصفوفة في بعد واحد)‪،‬‬
‫حيث يحتوي هذا المتجه على اشارات‬
‫دخل موجبة (قيم موجبة) و أخرى سالبة‪.‬‬
‫• تتألف بنية الشبكة في مثالنا هذا من‬
‫طبقة دخل مكونة من (وحدتي دخل)‬
‫عصبونين فقط و طبقة خرج مكونة من‬
‫(وحدة خرج) عصبون واحد فقط‪.‬‬
‫• انظر الشكل التالي‪.‬‬
‫شبكـة وحيدة الطبقة خاصة بالتوابع‬
‫المنطقية‬

‫‪1‬‬
‫‪b‬‬

‫‪X1‬‬
‫‪w1‬‬
‫‪Y‬‬
‫‪X2‬‬ ‫‪w2‬‬
‫مثال‪ :‬دور االنحياز أو القيمة العتبية‬
‫• إن الحد الفاصل بين القيم ‪ x1, x2‬التي من أجلهم الشبكة‬
‫تقدم استاجبة موجبة أو استجابة سالبة يسمى بخط الفصل‬
‫ما بين العينات و الذي يعطى بالعالقة‪:‬‬

‫‪b  x1.w1  x 2 .w 2  0‬‬

‫‪at‬‬ ‫‪w2  0‬‬
‫‪w1‬‬ ‫‪b‬‬
‫‪ x2‬‬ ‫‪‬‬ ‫‪.x1 ‬‬
‫‪w2‬‬ ‫‪w2‬‬
‫مثال‪ :‬دور االنحياز أو القيمة العتبية‬
‫• المعادلة الخاصة باالستجابة الموجبة من وحدة الخرـج‬
‫نتيجة تطبيق قيم دخل معينة بالشكل‪:‬‬
‫‪b  x1.w1  x 2 .w 2  0‬‬

‫• يتم تحديد قيم األوزان ‪ w1, , w2‬و االنحياز ‪ b‬من خالل‬

‫مرحلة التدريب‪.‬‬
‫مثال‪ :‬دور االنحياز أو القيمة العتبية‬
‫• بوضع قيمة العتبة في االعتبار و إهمال دخل االنحياز فإن‬
‫االستجابة الموجبة من معطيات دخل محددة يجب أن تحقق‬
‫المعادلة التالية‪:‬‬
‫‪x1.w1  x 2 .w 2  ‬‬
‫• و تعطى معادلة الخط الفاصل ما بين الخرج الموجب و السالب‬
‫حسب العالقة‪:‬‬
‫‪x1.w1  x 2 .w 2  ‬‬
‫‪at‬‬ ‫‪w2  0‬‬
‫‪w1‬‬ ‫‪‬‬
‫‪ x2  ‬‬ ‫‪.x1 ‬‬
‫‪w2‬‬ ‫‪w2‬‬
 ‫دور االنحياز أو القيمة العتبية‬
‫• من أجل إظهار دور االنحياز و جهد العتبة‪ .‬لندر‪2‬س استاجابة‬
‫شخص ما لعمل معين و ليكن ”الذهاب إلى لعبة كرة“‬
‫المحاكاة للمسألة‬
‫كل عامل من العوامل المسببة للقر‪2‬ار الذي سيتخذه الشخص‬
‫”الذهاب إلى اللعبة“ أو ”عدم الذهاب“ تمثل بإشارة دخل‪.‬‬
‫من هذه األسباب‪ :‬شروط الطقس أو معلومات عن من سيذهب‬
‫للعبة أو من سيلعب ‪ ...‬الخ‬
‫‪ -‬هنا تلعب األوز‪2‬ان دور‪ 2‬مهم في تحديد رغبة الشخص بالذهاب‬
‫للعبة أم ال‪.‬‬
‫أما دور االنحياز هنا فيمثل الرغبة العامة في الذهاب للعبة أو‬
‫عدم الذهاب‪ .‬لذلك االنحياز يملك قدرة على التغير‪.‬‬
 ‫دور االنحياز أو القيمة العتبية‬

‫خالصة القول‬
‫قيم االوزان تلعب دوراً هاما في تحديد‬
‫استجابة العصبون باإلضافة إلى قيمة جهد‬
‫العتبة و االنحياز التي تكمل هذا الدور‪.‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• سوف نعتمد لحين اشعار أخر على التوابع الخطية في‬
‫مستوى االحداثيات لتحديد المجاالت الموجبة و السالبة لقيم‬
‫الدخل لتحديد استجابة الشبكة‪.‬‬
‫• سوف تكون االستجابة المرغوبة لوحدة الخرج “‪ ”Yes‬إذا‬
‫كانت عينة الدخل منتمية للصنف الذي تدر‪2‬بت عليه الشبكة‪.‬‬
‫و تكون االستخابة “‪ ”No‬إذا لم تكن عينة الدخل منتمية للصنف‪.‬‬
‫سوف تمثل االستجابة ”‪ “Yes‬بالقيمة (‪ )1‬و تمثل االستجابة‬
‫”‪ “No‬بالقيمة (‪)1-‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• سوف‪ 2‬نستخدم تابع التفعيل الخطوي و التي قيمته تساوي (‪ )1‬إذا‬
‫كان دخل الشبكة موجب و (‪ )1-‬إذا كان دخل الشبكة سالب‪.‬‬
‫• سوف تكون إشارة دخل وحدة الخرج بالعالقة‪-:‬‬

‫‪y _ in  b   x i .w i‬‬
‫‪i‬‬
‫• الحد الذي يفصل بين مجال القيم التي تكون فيها ‪y_in >0‬‬
‫والمجال ‪ y_in <0‬و المعروف بحد القرار يعطي بالعالقة‪:‬‬
‫‪b   x i .w i  0‬‬
‫‪i‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬

‫‪b   x i .w i  0‬‬
‫‪i‬‬
‫• تمثل هذه المعادلة خط أو مستو‪ .‬من أجل األوزان و‬
‫االنحيازات المستخدمة فإن جميع أشعة الدخل التي‬
‫تكون من أجلها استجابة الشبكة موجبة (‪ )1+‬فإنها‬
‫توضع في جهة واحدة من حد القرار‪.‬‬
‫• و أشعة الدخل األخرى التي تكون من أجلها‬
‫االستجابة سالبة فإنها تتوضع في الجهة األخرى‬
‫بانسبة لحد القرار‪.‬‬
‫• هذا النوع من المسائل يدعى بالمسائل ذات ”قابلية‬
‫الفصل الخطية“‪.‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• خالصة القول‪ :‬المنطق‪S‬ة التي تكون فيها ‪ Y‬موجبة‬
‫تفصل عن المنطقة التي تكون فيها ‪ Y‬سالبة و‬
‫ذلك باستخدام خط الفصل‪:‬‬
‫‪ w1‬‬ ‫‪b‬‬
‫‪x2 ‬‬ ‫‪.x1 ‬‬ ‫‪ w 2  0‬‬
‫‪w2‬‬ ‫‪w2‬‬
‫• سوف نورد بعض األمثلة إن شاء هللا تعالى‪.‬‬
‫• لكن السؤال المهم للغاية هو‪ :‬ما هي األوزان‬
‫المناسبة التي من أجلها تكون استجابة الشبة‬
‫صحيحة ؟‬
‫مناطق االستجابة للتابع (‪)AND‬‬
‫يعرف التابع ‪AND‬‬ ‫)‪Input (x1,x2) Output (t‬‬
‫من أجل دخل و‬
‫)‪(1,1‬‬ ‫‪+1‬‬
‫خرج ثنائية‬
‫القطبية وفق‬ ‫)‪(1,-1‬‬ ‫‪-1‬‬
‫الجدول‬
‫المناظر‪.‬‬ ‫)‪(-1,1‬‬ ‫‪-1‬‬

‫)‪(-1,-1‬‬ ‫‪-1‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• االستجابه المرغوبة لهذه المسألة كما بالشكل‬
‫(‪ .)1‬و حد القرار الموافق لهذه المسألة كما‬
‫بالشكل (‪.)2‬‬
‫• هذا المثال أيضا يوضح قيم األوزان التي ستعطي‬
‫حد القرار وفق خط الفصل الذي يعطي بالعالقة‪:‬‬

‫‪x 2   x1  1‬‬
‫• و تكون األوزان و االنحيازات وفق القيم (‪w1=1,‬‬
‫‪)w2=1, b=-1‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• اختيار اشارة ‪ b‬يتم تحديدها حسب المتطلبات‪S‬‬
‫التالية‪:‬‬

‫‪b  x1.w1  x 2 .w 2  0‬‬

‫حيث ‪x2 = 0, x1 = 0‬‬
‫• إن آي نقطة ال تقع على حد القرار يمكن‬
‫استخدامها كي تحدد آي من المجال موجب و آي‬
‫من المجال سالب‪.‬‬
‫الشكل (‪ )1‬االستجابة المرغوبة للتابع ‪AND‬‬
‫(بقيم ثنائية القطبية)‬
‫‪x2‬‬

‫‪-‬‬ ‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪-‬‬
‫الشكل (‪ )2‬حد القرار الموافق للتابع‬
‫المنطقي (‪)AND‬‬
‫‪x2‬‬

‫‪+‬‬
‫‪-‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪-‬‬
 ‫مناطق االستجابة للتابع (‪)OR‬‬
‫يعرف التابع ‪OR‬‬ ‫)‪Input (x1,x2) Output (t‬‬
‫من أجل دخل و‬
‫)‪(1,1‬‬ ‫‪+1‬‬
‫خرج ثنائية‬
‫القطبية وفق‬ ‫)‪(1,-1‬‬ ‫‪+1‬‬
‫الجدول‬
‫المناظر‪.‬‬ ‫)‪(-1,1‬‬ ‫‪+1‬‬

‫)‪(-1,-1‬‬ ‫‪-1‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• االستجابه المرغوبة لهذه المسألة كما بالشكل‬
‫(‪ .)3‬و حد القرار الموافق لهذه المسألة كما‬
‫بالشكل (‪.)4‬‬
‫• هذا المثال أيضا يوضح قيم األوزان التي ستعطي‬
‫حد القرار وفق خط الفصل الذي يعطي بالعالقة‪:‬‬

‫‪x 2   x1  1‬‬
‫• و تكون األوزان و االنحيازات وفق القيم (‪w1=1,‬‬
‫‪)w2=1, b=1‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• اختيار اشارة ‪ b‬يتم تحديدها حسب المتطلبات‪S‬‬
‫التالية‪:‬‬

‫‪b  x1.w1  x 2 .w 2  0‬‬

‫حيث ‪x2 = 0, x1 = 0‬‬
‫• إن آي نقطة ال تقع على حد القرار يمكن‬
‫استخدامها كي تحدد آي من المجال موجب و آي‬
‫من المجال سالب‪.‬‬
‫الشكل (‪ )3‬االستجابة المرغوبة للتابع ‪OR‬‬
‫(بقيم ثنائية القطبية)‬
‫‪x2‬‬

‫‪+‬‬ ‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪+‬‬
‫الشكل (‪ )4‬حد القرار الموافق للتابع‬
‫المنطقي (‪)OR‬‬
‫‪x2‬‬

‫‪+‬‬
‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪+‬‬
‫مناطق االستجابة للتابع (‪)XOR‬‬
‫يعرف التابع ‪XOR‬‬ ‫)‪Input (x1,x2) Output (t‬‬
‫من أجل دخل و‬
‫)‪(1,1‬‬ ‫‪-1‬‬
‫خرج ثنائية‬
‫القطبية وفق‬ ‫)‪(1,-1‬‬ ‫‪+1‬‬
‫الجدول‬
‫المناظر‪.‬‬ ‫)‪(-1,1‬‬ ‫‪+1‬‬

‫)‪(-1,-1‬‬ ‫‪-1‬‬
 ‫قابلية الفصل الخطية‬
‫‪Linear Separability‬‬
‫• االستجابه المرغوبة لهذه المسألة كما بالشكل‬
‫(‪.)5‬‬
‫• من الشكل (‪ )5‬نالحظ أنه ال يوجد خط مستقيم‬
‫يمكنه ف‪S‬صل النقاط التي ألجلها يكون هناك‬
‫استجابة موجبة في الخرج عن النقاط التي من‬
‫أجلها يكون هناك استجابة سالبة‪.‬‬
‫الشكـل (‪ )5‬االستجابة المرغوبة للتابع ‪XOR‬‬
‫(بقيم ثنائية القطبية)‬
‫‪x2‬‬

‫‪+‬‬ ‫‪-‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪+‬‬
‫سنشرح األن بإذن هللا تعالى بعض‬ ‫•‬
‫طرق تدريب الشبكات العصبية‬
‫وحيدة الطبقة و المناسبة لحل‬
‫مسائل تصنيف العينات‪.‬‬
‫من هذه الطرق‪-:‬‬ ‫•‬
‫قاعدة هيب (‪ )Hebb‬في التعلم‪.‬‬ ‫‪.1‬‬
‫قاعدة الـ ‪ Preceptron‬في التعلم‪.‬‬ ‫‪.2‬‬
‫قاعدة (‪ )Delta‬أو طريقة متوسط‬ ‫‪.3‬‬
‫المربعات الصغرى‪.‬‬
‫قاعدة هيب (‪)Hebb Net‬‬
 ‫قاعدة هيب (‪)Hebb Net‬‬
‫• تعتبر قاعدة هيب (التعليم االرتباطي) أبسط‬
‫أساليب التعلم‪.‬‬
‫• تساعد قاعدة هيب في حل المسائل ذات التوابع‬
‫الخطية‪.‬‬
‫• تنصـ قاعدة هيب على‪-:‬‬
‫” يحدث التعلم من خالل تعديل ترابطات‬
‫المشابك أو قيم األوزان على سبيل المثال‬
‫إذا تم االتصال ما بين عصبونين و كانت‬
‫فعاليتهما “‪ ”On‬في نفس اللحظة و عند‬
‫هذه اللحـظة ستزداد قيم األوزان بين هذين‬
‫العصبونين“‬
‫قاعدة هيب المحسنة (‪)Hebb Net‬‬
‫• تنصـ قاعدة هيب المحسنة على‪-:‬‬
‫” يحدث التعلم من خالل تعديل ترابطات‬
‫المشابك أو قيم األوزان على سبيل المثال‬
‫إذا تم االتصال ما بين عصبونين و كانت‬
‫فعاليتهما “‪ ”On‬في نفس اللحظة و عند‬
‫هذه اللحـظة ستزداد قيم األوزان بين هذين‬
‫العصبونين و تزداد قيم األوزان بين‬
‫العصبونات الغير فعالة “‪ ”Off‬فـي نفسـ‬
‫اللحظة أيضاً“‬
 ‫قاعدة هيب (‪)Hebb Net‬‬

‫• تعطى عالقة تعديل األوزان بالشكل‪-:‬‬

‫‪Wi(new) = Wi(old) + xi.y‬‬
 ‫قاعدة هيب (‪)Hebb Net‬‬
‫الخوارزم‬
‫‪ .1‬افتراض قيم ابتدائية لألوزان بصفر‪.‬‬
‫)‪Wi =0 (i = 1, 2, …, n‬‬
‫حيث ‪ n‬عدد األوزان‬
‫‪ .2‬نفذ الخطوات من ‪ 3‬إلى ‪ 5‬على كل زوج شعاع دخل و خرج‬
‫(‪)S : t( )Source: Target‬‬
‫‪ .3‬ضع تنشيطات وحدات الخل على شكل شعاعهكذا‪-:‬‬
‫)‪xi = si (I = 1, 2, …, n‬‬
‫‪ .4‬ضع قيمة التفعيل لوحدة الخرج على شكل شعاع هكذا‪-:‬‬
‫‪y=t‬‬
 ‫تابع قاعدة هيب (‪)Hebb Net‬‬
‫الخوارزم‬
‫• ‪ .5‬عدل األوزان و االنحياز وفق العالقات األتية‪-:‬‬
‫‪wi (new) = wi (old) + xi.y‬‬ ‫)‪(i=1, 2, …, n‬‬
‫‪b (new) = b (old) + y‬‬
‫يمكن أن يعبر عن عملية التعديل لألوزان وفق الشعاع التالي‪-:‬‬
‫‪wi (new) = wi (old) + X.y‬‬
‫و ممكن أن يكتب على الشكل‪-:‬‬
‫‪wi (new) = wi (old) + Δw‬‬
‫حيث ‪= X.y Δw‬‬
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• شبكـة هيب من‬ ‫‪Input‬‬ ‫‪Target‬‬
‫أجل التابع ‪AND‬‬
‫‪X1‬‬ ‫‪X2‬‬ ‫‪1‬‬ ‫‪t‬‬
‫باستخدام دخل و‬
‫خرج ثنائيـ‪.‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫• الجدول المناظر‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫يبين ذلك‪.‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪0‬‬

‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬

 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• من اجل كل زوج تدريب (دخل ‪ :‬خرج) يكون‬
‫تغير الوزن معطي وفق العالقة‪:‬‬
‫‪Δw1 = x1.t, Δw2 = x2.t, Δb = t‬‬
‫قيمة الوزن الجديد هو ناتج جمع قيمة الوزن‬
‫القديم و قيمة التغير في الوزن‪.‬‬
‫فقط يتم تحديث األوزان مرة واحدة ف‪S‬قط و يعطي‬
‫هذا التطوير وزن الدخل األول كما بالجدول‬
‫التالي‪:‬‬
 ‫تطوير وزن الدخل األول‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
0 0 0

1 1 1 1 1 1 1 1 1 1
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• خط الفصل هنا يكون طبقاً للعالقة ‪x2 = -x1 -1‬‬
‫والشكل (‪)6‬يظهر استجابة الشبكة‪.‬‬
‫• إن قيم الدخل للنموذج الثاني و الثالث و الرابع‬
‫ال تظهر في الشكل ألن قيمة الخرج تساوي‬
‫صفر و ال يحدث تدريب لها كما بالجدول التالي‪:‬‬
 ‫تطوير وزن الدخل الثاني و الثالث و الرابع‬

Input Target Weight weights

changes
x1 x2 1 Δw1 Δw2 Δb W1 W2 b
1 0 1 0 0 0 0 1 1 1
0 1 1 0 0 0 0 1 1 1
0 0 1 0 0 0 0 1 1 1
 ‫الشكل (‪ )6‬حد القرار الموافق للتابع‬
‫الثنائي (‪ )AND‬باستخدام قاعدة هيب بعد‬
‫تقديم زوج التدريب االول‬
‫‪x2‬‬
‫‪0‬‬
‫‪+‬‬

‫‪0‬‬ ‫‪0‬‬ ‫‪x2‬‬

‫‪-‬‬
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• شبكـة هيب من‬ ‫‪Input‬‬ ‫‪Target‬‬
‫أجل التابع ‪AND‬‬
‫‪X1‬‬ ‫‪X2‬‬ ‫‪1‬‬ ‫‪t‬‬
‫باستخـدام مداخـل‬
‫ثنائية و خرج ثنائي‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫القطبية‪.‬‬
‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪-1‬‬
‫• الجدول المناظر‬
‫يبين ذلك‪.‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪-1‬‬

‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪-1‬‬

 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• من اجل كل زوج تدريب (دخل ‪ :‬خرج) يكون‬
‫تغير الوزن معطي وفق العالقة‪:‬‬
‫‪Δw1 = x1.t, Δw2 = x2.t, Δb = t‬‬
‫قيمة الوزن الجديد هو ناتج جمع قيمة الوزن‬
‫القديم و قيمة التغير في الوزن‪.‬‬
‫فقط يتم تحديث األوزان مرة واحدة ف‪S‬قط و يعطي‬
‫هذا التطوير لوزن الدخل األول كما بالجدول‬
‫التالي‪:‬‬
 ‫تطوير وزن الدخل األول‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
0 0 0

1 1 1 1 1 1 1 1 1 1
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• خط الفصل هنا يكون طبقاً للعالقة ‪x2 = -x1 -1‬‬
‫والشكل (‪)7‬يظهر استجابة الشبكة‪.‬‬
‫• اآلن نقدم الدخل الثاني و الثالث و الرابع و‬
‫نالحظ أن التدريب يستمر من أجل كل نموذج‬
‫دخل كما بالجدول التالي‪:‬‬
 ‫الشكل (‪ )7‬حد القرار الموافق للتابع‬
‫الثنائي (‪ )AND‬باستخدام قاعدة هيب بعد‬
‫تقديم زوج التدريب االول‬
‫‪x2‬‬
‫‪-‬‬
‫‪+‬‬

‫‪-‬‬ ‫‪-‬‬ ‫‪x2‬‬

‫‪-‬‬
 ‫تطوير وزن الدخل الثاني و الثالث و الرابع‬

Input Target Weight weights

changes
x1 x2 1 Δw1 Δw2 Δb W1 W2 b
1 0 1 -1 -1 0 -1 0 1 0
0 1 1 -1 0 -1 -1 0 0 -1
0 0 1 -1 0 0 -1 0 0 -2
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• شبكـة هيب من‬ ‫‪Input‬‬ ‫‪Target‬‬
‫أجل التابع ‪AND‬‬
‫‪X1‬‬ ‫‪X2‬‬ ‫‪1‬‬ ‫‪t‬‬
‫باستخـدام مداخـل‬
‫و مخـارج ممثلة‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫بإسلوب ثنائي‬
‫‪1‬‬ ‫‪-1‬‬ ‫‪1‬‬ ‫‪-1‬‬
‫القطبية‪.‬‬
‫• الجدول المناظر‬ ‫‪-1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪-1‬‬
‫يبين ذلك‪.‬‬
‫‪-1‬‬ ‫‪-1‬‬ ‫‪1‬‬ ‫‪-1‬‬
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• نقدم الدخل األول للشبكة متضمناً القيمة ‪1‬‬
‫للمركبة الثالثة و يكون الناتج كما بالجدول‬
‫التالي‪:‬‬
 ‫تطوير وزن الدخل األول‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
0 0 0

1 1 1 1 1 1 1 1 1 1
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• خط الفصل هنا يكون طبقاً للعالقة ‪x2 = -x1 -1‬‬
‫والشكل (‪ )8‬يظهر استجابة الشبكة التي تكون‬
‫صحيحة من أجل الدخل األول و كذلك من أجل‬
‫الدخل (‪.)1-,1-‬‬
‫• اآلن نقدم الدخل الثاني وقيمة الخرج ستكون‬
‫األوزان كما بالجدول التالي‪:‬‬
‫الشكل (‪ )8‬حد القرار الموافق للتابع (‪)AND‬‬
‫باستخدام قاعدة هيب بعد تقديم زوج التدريب‬
‫االول (الدخل و الخرج ثنائي القطبية)‬
‫‪x2‬‬
‫‪-‬‬
‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪-‬‬
 ‫تطوير وزن الدخل الثاني‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
1 1 1

1 -1 1 -1 -1 1 -1 0 2 0
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• خط الفصل بالنسبة للدخل الثاني بالعالقة ‪x2=0‬‬
‫والشكل (‪ )9‬يظهر استجابة الشبكة التي تكون‬
‫صحيحة بالنسبة لكال الدخلين (‪)1,1( ,)1-,1‬‬
‫• اآلن نقدم نتائج الدخل الثالث كما بالجدول التالي‪:‬‬
‫الشكل (‪ )9‬حد القرار الموافق للتابع (‪ )AND‬ثنائي‬
‫القطبية باستخدام قاعدة هيب بعد تقديم زوج‬
‫التدريب الثاني (حد القرار هو محور ‪)x1‬‬
‫‪x2‬‬
‫‪-‬‬
‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪-‬‬
 ‫تطوير وزن الدخل الثالث‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
0 2 0

-1 1 1 -1 1 -1 -1 1 1 -1
 ‫التوابع المنطقية‬
‫‪Logic Function‬‬
‫• خط الفصل بالنسبة للدخل الثاني بالعالقة‪:‬‬
‫‪x2=-x1+1‬‬
‫والشكل (‪ )10‬يظهر استجابة الشبكة التي تكون‬
‫صحيحة من أجل نقاط الدخل الثالثة األولى و‬
‫كذلك من أجل الدخل (‪ )1-,1-‬و الذي هو الدخل‬
‫األخير‪ .‬و تكون نتيجته موضحة كما بالجدول التالي‪:‬‬
 ‫الشكل (‪ )10‬حد القرار الموافق للتابع (‪)AND‬‬
‫ثنائي القطبية باستخدام قاعدة هيب بعد تقديم‬
‫عينة التدريب الثالثة‬
‫‪x2‬‬
‫‪-‬‬
‫‪+‬‬

‫‪x2‬‬

‫‪-‬‬ ‫‪-‬‬
 ‫تطوير وزن الدخل الثالث‬

Input Target Weight weights

changes

x1 x2 1 Δw1 Δw2 Δb W1 W2 b
1 1 -1

-1 -1 1 -1 1 1 -1 2 2 -2
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• مثال‪ -:‬شبكة هيب لتصنيف عينات دخل‬
‫ثنائية البعد (ممثلة الحـرف)‪.‬‬
‫• سوف ندرب الشبكة على التمييز بين العينة “‪”X‬‬
‫و العينة “‪ ”O‬كما بالشكل‪:‬‬
‫‪.‬‬ ‫‪#‬‬ ‫‪# #‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪#‬‬
‫‪#‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬ ‫‪# . #‬‬ ‫‪.‬‬
‫‪#‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪and‬‬ ‫‪.‬‬ ‫‪. # .‬‬ ‫‪.‬‬
‫‪#‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬
‫‪.‬‬ ‫‪#‬‬ ‫‪# #‬‬ ‫‪.‬‬ ‫‪#‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪#‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫خطوات العمل‪-:‬‬ ‫•‬
‫يجب تحويل عينات الدخل إلى أشعة دخل‪ .‬و‬ ‫‪.1‬‬
‫يكون ذلك بالتعويض عن الرمز “‪ ”#‬بالقيمة “‪ ”1‬و‬
‫التعويض عن الرمز “‪ ”.‬بالقيمة “‪.”1-‬‬
‫ضع كل صف من العينة بجوار الصف الذي يلية‪.‬‬ ‫‪.2‬‬
‫عندها يكون شكل (شعاع) العينة “‪ ”X‬هكذا‪:‬‬ ‫‪.3‬‬
‫)‪(1 -1 -1 -1 1,-1 1 -1 1 -1,-1 -1 1 -1 -1, -1 1 -1 1 -1,1 -1 -1 -1 1‬‬
‫‪ .4‬و العينة “‪ ”O‬يكون شعاع الدخل ممثل هكذا‪:‬‬
‫)‪(-1 1 1 1 -1, 1 -1 -1 -1 1,1 -1 -1 -1 1, 1 -1 -1 -1 1,-1 1 1 1 -1‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• بتطبيق خوارزمية هيب تأخذ األوزان قيمة ابتدائية تساوي‬
‫الصفر‬
‫]‪W=[0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0‬‬
‫• تمثل االستجابة الصحيحة في المثال السابق بالنسبة‬
‫لنموذج الدخل األول بالشكل "‪ "on‬أو "‪. "1‬‬
‫• التغير في الوزن عند تقديم عينة الدخل األولى ‪:‬‬
‫‪W1(new) = w1(old) + x1.y‬‬
‫(االستجابة الصحيحة) ‪y=1 :‬‬
‫) ‪)1( .‬شعاع الحرف ”‪+ X" ) W1(new) = 0‬‬
‫]‪W1= [1 -1 -1 -1 1,-1 1 -1 1 -1,-1 -1 1 -1 -1, -1 1 -1 1 -1,1 -1 -1 -1 1‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• تمثل االستجابة الصحيحة في المثال السابق‬
‫بالنسبة لنموذج الدخل الثاني بالشكل “‪ "off‬أو “‪-‬‬
‫‪. "1‬‬
‫• التغير في الوزن عند تقديم عينة الدخل الثاني ‪:‬‬
‫‪W2(new) = w2(old) + x2.y‬‬
‫(االستجابة الصحيحة) ‪y=-1 :‬‬
‫) ‪)1-( .‬شعاع الحرف ”‪+ O" ) W2(new) = 0‬‬
‫)‪W2=(1 -1 -1 -1 1, -1 1 1 1 -1,-1 1 1 1 -1, -1 1 1 1 -1,1 -1 -1 -1 1‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• وزن االنحياز سيكون مساوي للصفر وذلك بتطبيق القاعدة‪:‬‬
‫• إذن‪:‬‬
‫‪b(new )  b(old)  y‬‬
‫‪b( new)  1  1  0‬‬
‫‪b0‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• القيمة النهائية لألوزان ‪:‬‬
‫‪W = w 1 + w2‬‬
‫]‪W =[2 -2 -2 -2 2,-2 2 0 2 -2,-2 0 2 0 -2,-2 2 0 2 -2,2 -2 -2 -2 2‬‬

‫سوف نقوم األن بحساب‪ S‬خرج الشبكة من أجل‬

‫العينة “‪”X‬من عينات التدريب بالعالقة‪:‬‬
‫‪y _ in   w i .x i‬‬
‫‪i‬‬
‫‪ vector of W.vector of X‬‬
‫‪ 42‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• القيمة النهائية لألوزان ‪:‬‬
‫‪W = w 1 + w2‬‬
‫]‪W =[2 -2 -2 -2 2,-2 2 0 2 -2,-2 0 2 0 -2,-2 2 0 2 -2,2 -2 -2 -2 2‬‬

‫سوف نقوم األن بحساب‪ S‬خرج الشبكة من أجل‬

‫العينة “‪”O‬من عينات التدريب بالعالقة‪:‬‬
‫‪y _ in   w i .x i‬‬
‫‪i‬‬
‫‪ vector of W.vector of O‬‬
‫‪ 42‬‬
 ‫التعرف على الحرف‬
‫‪Character Recognition‬‬
‫• واضح مما سبق دخل الشبكة من أجل شعاع الدخل األول‬
‫كان ‪ 42‬و تكون استجابة الشبكة موجبة و هي النتيجة‬
‫المر‪2‬غوبة‪.‬‬
‫• دخل الشبكة من أجل شعاع الخل الثاني كان ‪ 42-‬و تكون‬
‫االستجابة للشبكة سالبة و هي النتيجة المرغوبة أيضاً‪.‬‬
‫• طبعا ممكن تهذيب هذه االستجابات أفضل من ذلك و لكن‬
‫نكتفي بذلك‪.‬‬
 ‫تمريــــــــــــــــنـ‬
‫• طبقي قاعدة هيب على تصنيف الشكلين‪-:‬‬

‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬
‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬
‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬
‫‪.‬‬ ‫‪.‬‬
‫*‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬
‫*‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬ ‫*‬
‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫*‬ ‫*‬ ‫*‬ ‫‪.‬‬ ‫‪.‬‬ ‫‪.‬‬
‫تمت بحمد هللا تعالى و‬
‫فضله‬