‫الشبكاتـ العصبيـــــــــــــة‬

‫‪Neural Networks‬‬

‫الفرقة الرابعـــــــة (حاسب آلي)‬

‫أستاذ المقرر‬
‫د‪ /‬جمال محمد بحيري‬
‫المحاضرة الثانيـــــة‬

‫لمحـــة وفـــــاء‬
 ‫لمحة وفاء لمطوري الشبكات‬
‫العصبية‬
‫• سوف نتطرق إلى المراحل التاريخية التي مرت‬
‫بها الشبكات العصبية‪.‬‬
‫• سوف نلقي الضوء على الشبكات التي القت‬
‫نجاح‪.‬‬
‫• سوف نحاول أن نظهر الترابط الداخلي للشبكات‬
‫العصبية االصطباعية‪.‬‬
 ‫بداية الشبكات العصبية في األربعينات‬
‫عصبونات (‪)McCulloch-Pitts‬‬
‫• صمم العالمان المفهوم العام ألول الشبكات العصبية عام‬
‫‪.1941‬‬
‫• قاال‪-:‬‬
‫‪ -‬أن األنظمة العصبية تتكون من عدد من العصبونات البسيطة‬
‫التي هي المصدر الر‪7‬ئيسي في زيادة القدرات الحسابية‪.‬‬
‫‪ -‬العصبونات مترابطه مع بعضاه و مرفقة بأوز‪7‬ان تدريبها‪.‬‬
‫‪ -‬تم استخدامها في انجازالتوابع المنطقية الخاصة‬
‫• استخدمت هذه الشبكات مفهوم جهد العتبة‪.‬‬
 ‫بداية الشبكات العصبية في األربعينات‬
‫طريقة تعليم هيب (‪)Hebb Learning‬‬
‫هو عالم نفساني في جامعة ‪.McGill‬‬ ‫•‬
‫أول من وضع قانون لتعليم الشبكات العصبية‬ ‫•‬
‫االصطناعية عام ‪.1949‬‬
‫كان فرضه يعتمد على أنه إذا تم تنشيط عصبونين‬ ‫•‬
‫معاً‪ ،‬فإن قوة الترابط بينهما تزداد‪.‬‬
‫النتائج المتعاقبة سمحت بدخول الحاسب لمحاكاة هذه‬ ‫•‬
‫الشبكات‪.‬‬
 ‫بداية الشبكات العصبية في األربعينات‬
‫العلماء‪Kohonen , Anderson, McClelland , :‬‬
‫‪and Rumelhart‬‬

‫• عام ‪1972‬م ‪ ،‬تم تطوير فكرة ‪ ، Hebb‬بحيث‬

‫تستخدم مصفوفة تعليم مترابطة‪.‬‬
‫• عام ‪1988‬م قاما العالمان & ‪McClelland‬‬
‫‪ Rumelhart‬بتوسيع قاعدة تعليم ‪ Hebb‬لتشمل‬
‫الوحدات غير الفعالة في نفس اللحظة و التي توجد‬
‫أوزان ترابطات فيما بينها أيضاً‪( .‬سوف يتم توضيح‬
‫هذه الفكرة فيما بعد ان شاء هللا)‬
 ‫بداية العصر الذهبي للشبكات‬
‫العصبية االصطناعية بين ‪-1950‬‬
‫‪1960‬‬
‫• ال تزال الشبكات العصبية االصطناعية تعرف على أنها‬
‫مكملة لطرق الحساب التقليدية‪.‬‬
‫• يعرف‪ 7‬العالم ‪ John Von Newmann‬على أنه والد علم‬
‫الحساب الحديث و كان شديد االهتمام بنمذجة الدماغ‪.‬‬
‫• في عام ‪ ،1988‬قام العديد من العلماء بدراسة العالقة بين‬
‫فكر‪7‬ة العالم ‪ John Von Newmann‬و أفكار الباحثين‬
‫في مجال الشبكات العصبية منهم على سبيل المثال‪:‬‬
‫(‪)Rosenfeld, Anderson, Johnson, Brrown‬‬
 ‫بداية العصر الذهبي للشبكات‬
‫العصبية االصطناعية بين ‪-1950‬‬
‫‪1960‬‬
‫• من هذه الشبكات‪:‬‬
‫‪ .1‬شبكة الـ ‪Preceptrons‬‬
‫‪ .2‬شبكة ‪ADALINE‬‬
 ‫شبكة الـ ‪Preceptrons‬‬
‫(القادرة على اإلحساس و اإلدراك)‬
‫تعتبر هذه الشبكة من الشبكات الضخمة و المتميزة بقدراتها الجيدة‪.‬‬ ‫•‬
‫تتألف‪ 7‬هذه الشبكة من طبقة دخل تدعى (الشبكية) و سلسلة من‬ ‫•‬
‫ترابطات األوزان الثابتة بين العصبونات المتشار‪7‬كة‪.‬‬
‫يمكن تعديل األوزان لتالئم المشكلة المطروحة‪.‬‬ ‫•‬
‫تستخدم شبكات ‪ perceptrons‬قاعدة تعلم تعتمد على مبدأ التوليف‬ ‫•‬
‫التكر‪7‬اري لألوزان حتى تستقر‪ 7‬عند قيم مثالية‪.‬‬
‫ثبت أن التعليم المعتمد على شبكات بر‪7‬يسبترون قادر على تعديل‬ ‫•‬
‫األوزان بحيث تصبح قريبة من القيم المثلى للمسألة المطلوب حلها‪.‬‬
 ‫شبكة ‪ADALINE‬‬
‫(األعصاب الخطية التكيفية)‬
‫• طور العالم ‪ Bernard Widrow‬قاعدة للتعلم سميت باسم‬
‫قاعدة متوسط المربعات الصغري‪ .‬ثم أطلق عليها بعد ذلك‬
‫قاعدة ‪ Delta‬وهي قريبة من فكرة قاعدة التعلم المستخدمة‬
‫في شبكات الـ ‪.Preceptrons‬‬
‫• تقوم قاعدة دلتا للتعلم بتعديل األوزان بحيث تنقص من‬
‫االختالف بين دخل الشبكة و خرجها مقار‪7‬نة مع الخرج‬
‫المطلوب‪.‬‬
‫• لنا عودة بالتفصيل لهذا الموضوع ان شاء هللا تعالى‪.‬‬
‫سنوات الهدوء (السبعيناتـ)‬
‫بدى العمل خالل هذه السنوات هادئاً‪ .‬لكن‬ ‫•‬
‫هناك العديد من الباحثين بدأو بنشر أعمالهم‬
‫منهم‪:‬‬
‫العالم ‪ Kohonen‬من جامعة ‪Helsinki‬‬ ‫•‬
‫للتكنولوجيا‪.‬‬
‫العالم ‪ Anderson‬من جامعة ‪.Brown‬‬ ‫•‬
‫العالم ‪ Grossberg‬من جامعة ‪.Boston‬‬ ‫•‬
‫العالم ‪ Carpenter‬قام بعمل نظرية الرنين‬ ‫•‬
‫التكيفي‪.‬‬
‫الحـماس المتجـدد في الثمانياتـ‬
‫أدي اخفاق شبكات ‪ Perceptrons‬في حل بعض المشاكل‬ ‫•‬
‫مثل الحلول لتابع (‪ )XOR‬و ضعفها في التعلم بالنسبة‬
‫للشبكات متعددة الطبقات إلى ظهور شبكات أخرى منها‪-:‬‬
‫شبكات االنتشار العكسي (‪)Backpropagation‬‬ ‫‪.1‬‬
‫شبكات هوبفيلد (‪)Hopfield nets‬‬ ‫‪.2‬‬
‫شبكات ‪Neocognitron‬‬ ‫‪.3‬‬
‫آلة بولتز‪7‬مان (‪)Boltzmann machine‬‬ ‫‪.4‬‬
‫تنفيذ العتاد الصلب (‪)Hardware Implementation‬‬ ‫‪.5‬‬
 ‫بداية الشبكات العصبية مع‬
‫عصبونات العالم ‪McCulloch-Pitts‬‬
‫• المتطلبات المطلوبة للعصبونات المقترجة من قبل العالمين‬
‫كما يلي‪-:‬‬
‫‪ .1‬تتمتع العصبونات بتمثيلها لالشارة بشكل ثنائي (‪ )1,0‬و‬
‫تكون استجابتها ثنائية أيضا (‪ )0‬أو (‪.)1‬‬
‫‪ .2‬تر‪7‬تبط العصبونات مع بعضها بترابطات مرفقة يوزن بأخذ‬
‫قيمة معينة‪.‬‬
‫‪ .3‬يمكن لإلشارة أن تنتقل من عصبون ألخرإذا كانت قيمة‬
‫الوزن على المسار‪ 7‬الواصل بين العصبونات موجبة‪ .‬أما إذا‬
‫كانت سالبة فال تنتقل االشارة و تأخذ األوزان نفس القيمة‬
‫بالنسبة لجميع العصبونات‪.‬‬
 ‫تابع الشبكات العصبية مع‬
‫عصبونات العالم ‪McCulloch-Pitts‬‬
‫‪ .4‬يملك كل عصبون قيمة عتبة معين و ال يشع (يفعل) هذا‬
‫العصبون إال إذا وصل قيمة عتبته إلى قيمة أكبر من العتبة‬
‫المحددة‪.‬‬
‫‪ .5‬توضع قيمة جهد التبة اعتمادا على دراسة معينة‪ ،‬و يجب أن‬
‫تكون كل القيم الداخلة للعصبون ال تساوي الصفر‪.7‬‬
‫‪ .6‬تمر االشارة عبر الترابطات خالل خطة زمنية واحدة‪.‬‬
‫الشكل التالي يوضح مثال بسيط لعصبونات العالم ‪McCulloch-‬‬
‫‪ Pitts‬و يبين بعض خصائص الشبكة المق‪P‬ترحة‪.‬‬
McCulloch-Pitts ‫مثال عن عصبون‬

2
X1

X2 2 Y

X3
-1
 ‫مالحظات حول عصبونات العالم‬
‫‪McCulloch-Pitts‬‬
‫الترابطات بين (‪ )Y & X2( & )Y & X1‬فعالة ألن قيمة‬ ‫‪.1‬‬
‫وزنها أكبر‪ 7‬من الصفر‪.7‬‬
‫الترابطات لها نفس القيمة ألنهم مربوطين إلى نفس الوحدة‪.‬‬ ‫‪.2‬‬
‫في الرسم السابق جهد العتبة القيمة (‪ )4‬بالنسبة للوحدة ‪.Y‬‬ ‫‪.3‬‬
‫تعتبر جهد العتبة بالنسبة لوحدة الخرج (‪ )y‬عائقا أمام‬ ‫‪.4‬‬
‫االشارات القادمة لهذه الوحدة و التي تملك أوز‪7‬ان موجبة‬
‫فعالياتها أقل من جهد العتبة و تحتاج االشارات المفعلة إلى‬
‫خطوة زمنية واحدة لكي تمر من عصبون ألخر‪.7‬‬
 ‫البنية الهندسية لشبكة‬
‫‪McCulloch-Pitts‬‬

‫• الوحدة ‪ Y‬ممكن أن تسقبل أي إشارة قادمة من أي عدد من‬

‫العصبونات األخر‪7‬ي وفق تصميم (‪)McCulloch‬للشبكة‬
‫العصبية‪ .‬وتكون الترابطات بين العصوبات فعالة إذا كانت‬
‫قيمة أوزانها (‪ ،)W>0‬وتكون في حالة غير‪ 7‬فعالية إذا كانت‬
‫قيمة أوزانها (‪ ،)P<0-‬حيث(‪.)P>0‬‬
‫• والشكل التالي يوضح ذلك حيث فر‪7‬ضنا أن هذه الشبكة مكونة‬
‫من ‪ n‬وحدة دخل (‪ )X1, X2, …, Xn‬تر‪7‬سل إشارتها الفاعلة‬
‫إلي الوحدة ‪ Y‬و ‪ M‬وحدة دخل (‪)Xn+1, Xn+2, …, Xn+m‬‬
‫ترسل إشاراتها غير الفعالة إلى الوحدة ‪.Y‬‬
‫البينة الهندسية لعصبون ‪McCulloch-Pitts‬‬

‫‪w‬‬
‫‪X1‬‬
‫إشارات فعالة‬

‫‪Xn‬‬
‫‪w‬‬
‫‪Y‬‬
‫‪Xn+1‬‬ ‫‪-p‬‬
‫إشارات غير فعالة‬

‫‪Xn+m‬‬
‫‪-p‬‬
 ‫البنية الهندسية لشبكة‬
‫‪McCulloch-Pitts‬‬
‫• يعطي تابع التنشيط للوحدة ‪ Y‬بالعالقة‪:‬‬
‫‪1 if y _ in  ‬‬
‫‪f  y _ in   ‬‬
‫‪0 if y _ in  ‬‬
‫• حيث أن قيمة دخل الوحدة هو‪ y_in‬وهو المجموع الكلي إلشارة‬
‫الدخل المستقبلة و ‪ θ‬هي قيمة جهد العتبة ويجب أن تكون قيمتة وفق‬
‫العالقة التالية بالنسبة لإلشارات المنوعة ‪:‬‬
‫‪θ > n.w – p‬‬
‫حيث (‪ )P‬هي القيمة المطلقة ألوزان اإلشارات الممنوعة‬
 ‫البنية الهندسية لشبكة‬
‫‪McCulloch-Pitts‬‬
‫• أن الوحدة ‪ Y‬تشع أوتفعل إذا استقبلت ‪ K‬إشارة فعالة‬
‫أو أكثر حيث تكون قيمة جهد العتبة‪:‬‬

‫‪k.w     k  1 w‬‬
‫• ورغم أن قيمة األوزان الداخلة إلى أحد الوحدات‬
‫ولتكن ‪ Y1‬يجب أن تكون نفسها إال أنه ال يمكن أن‬
‫تكون بنفس القيمة بالنسبة للوحدة ‪.Y2‬‬
 ‫الخوارزمية لشبكة‬
‫‪McCulloch-Pitts‬‬
‫• توضع األوزان الخاصة بعصبونات ‪))McCulloch-Pitts‬‬
‫ويحدد جهة العتبة ‪ θ‬من أجل تابع التنشيط المستعمل بالنسبة‬
‫للشبكة تقوم هذه الشبكة بإنجاز مجموعة من التوابع المنطقية‬
‫والبسيطة وتستخدم خوارزمية التدريب لتبين قيم األوز‪7‬ان‬
‫المستخدمة وقيمة جهد العتبة ‪.θ‬‬
‫• وسوف نورد اآلن مجموعة من األمثلة المطبقة علي أساس‬
‫شبكة‪ McCulloch-Pitts‬إلظهار‪ 7‬قدر‪7‬ة عصوبات هذه الشبكة‬
‫علي نمذجة أي تابع أو ظاهرة يمكن أن تمثل كتابع منطقي‬
‫ويتضمن المقرر مثاأل يوضح قدرة العصبونات على نمذجة أحد‬
‫الظواهر‪ 7‬النفسية وجميع األمثلة التي سنوردها اآلن تملك جهد عتبة‬
‫(‪ )θ =2‬كما هو موضح في األشكال التالية‪.‬‬
 ‫الخوارزمية لشبكة‬
‫‪McCulloch-Pitts‬‬
‫• ويرمز‪ 7‬لتفعيل الوحدة ‪ xi‬في اللحظة (‪ )t‬بـ )‪ xi(t‬وتستقبل‬
‫الوحدة ‪ Xi‬تفعيلها في الحظة(‪ )t‬من الوحدة التي ترسل‬
‫إشارتها لها في اللحظة (‪ )t-1‬وسنستخدم في أمثلتنا مجموعة‬
‫من التوابع المنطقية (‪ )NOR, AND, OR‬وجميعها‬
‫تستخدم شبكة مكونة من وحدتي دخل ‪ X1, X2‬ووحدة‬
‫خرج ‪ .Y‬تمثل قيم الدخل كقيم ثنائية وكذلك الخرج ‪.‬‬
 ‫المثال األول‪ :‬التابع ‪AND‬‬
‫• يعطي التابع ‪ AND‬استجابة‬
‫“‪ ”True‬إذا كان المدخلين بحالة‬ ‫‪X1‬‬ ‫‪X2‬‬ ‫‪→y‬‬
‫“‪ ”True‬أي (‪ 1‬منطقي ) وفي‬
‫باقي الحاالت تكون استجابتة‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫“‪ ”False‬وإذا مثلنا االستجابة‬
‫“‪ ”True‬بالقيمة “‪ "1‬واالستجابة‬
‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬
‫“‪ ”False‬بالقيمة “‪ "0‬فيكون‬
‫شكل جدول التابع (‪ )AND‬كما‬
‫بالجدول المناظر‪.‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫• يوضح الشكل التالي شكل الشبكة‬
‫المستخدمة حيث يأخذ جهد العتبة‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬
‫بالنسبة للوحدة ‪ Y‬القيمة (‪.)θ=2‬‬
‫ النجاز‬McCulloch-Pitts ‫شبكة‬
)AND( ‫التابع‬

1
X1
Y

X2

1
 ‫المثال اـلثاني‪ :‬التابع ‪OR‬‬
‫• يعطي التابع ‪ OR‬استجابة “‪ ”True‬إذا‬
‫كان أيا ً من قيم الدخل في حالة “‪”True‬‬ ‫‪X1‬‬ ‫‪X2‬‬ ‫‪→y‬‬
‫وفي أي حالة أخري تكون األستجابة‬
‫“‪ ”False‬ويعرف تابع الـ ‪OR‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫بـ”‪ ”Inclusive OR‬أي تابع ‪OR‬‬
‫الشامل إذا كان كال دخليه يأخذ قيمة‬
‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬
‫“‪ ”True‬وتكون استجابته “‪. ”True‬وإذا‬
‫مثلنا االستجابة “‪ ”True‬بالقيمة “‪"1‬‬
‫واالستجابة “‪ ”False‬بالقيمة”‪ ”0‬فيكون‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬
‫شكل جدول التابع كما بالجدول المناظر‬
‫• يوضح الشكل التالي الشبكة المستخدمة‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬
‫لهذا التابع وجهد العتبة فيها عند الوحدة‬
‫)‪.Y (2=θ‬‬
‫ النجاز‬McCulloch-Pitts ‫شبكة‬
)OR( ‫التابع‬

2
X1
Y

X2

2
 ‫المثال الثالث ‪ :‬التابع ‪AND NOT‬‬
‫‪ • X1‬عتبر التابع ‪ AND NOT‬مثاأل‬ ‫‪X2‬‬ ‫‪→y‬‬
‫لتوابع منطقية غير متناظرة أثناء‬
‫معالجتها لقيم الدخل وتكون‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪0‬‬
‫االستجابة في هذا التابع “‪”True‬‬
‫إذا كانت قيمة الدخل “‪true” X1‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬
‫وقيمة الدخل “‪ False” X2‬وفي‬
‫باقي الحاالت تكون االستجابة‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫“‪ ”False‬ونستخدم قيمة ثنائية‬
‫لتمثيل الدخل المنطقي وقيم‬
‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬
‫الخرج ‪ .‬و يوضح الجدول‬
‫المناظر عمل هذا التابع‪:‬‬
‫تابع المثال اـلثالث ‪ :‬التابع ‪AND NOT‬‬
‫• ويوضح الشكل التالي الشبكة التي تنجز تابع (‪AND‬‬
‫‪ ،)NOT‬وبكلمات أخرى يكون الخرج ‪ Y‬فعاأل في‬
‫اللحظة ‪ t‬إذا وفقط إذا كانت الوحدة ‪ X1‬فعالة في‬
‫اللحظة (‪ )t-1‬وكذلك الوحدة ‪ X2‬غير فعالة في نفس‬
‫الزمن وجهد العتبة لهذه الشبكة هو(‪θ(=2‬‬
‫ النجاز‬McCulloch-Pitts ‫شبكة‬
)AND NOT( ‫التابع‬

2
X1
Y

X2

-1
 ‫المثال الرابع ‪ :‬التابع ‪XOR‬‬
‫‪ • X1‬يعرف التابع ‪ XOR‬باسم‬ ‫‪X2‬‬ ‫‪→y‬‬
‫(‪ )Exclusive OR‬و فيه‬
‫تكون االستجابة”‪ ”true‬إذا كان‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪0‬‬
‫أحد المداخل بحالة “‪ ”true‬وفي‬
‫الحاالت االخرى تكون‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬
‫االستجابة “‪ ”false‬و الجدول‬
‫المناظر يبين عمل هذا التابع‪.‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬
‫• الشكل التالي يوضح الشبكة‬
‫المستخدمة لهذا التابع‪.‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬
‫ النجاز‬McCulloch-Pitts ‫شبكة‬
)XOR( ‫التابع‬

2
X1 2 X1
-1 Y
-1
X2 2 X2
1
 ‫‪Hot and Cold Example‬‬

‫لقد تمت دراسته تفصيليا ً‬

‫في مقرر الذكاء‬
‫االصطناعي‬
‫تمت بحمد هللا و فضله‬