REDES NEURONALES

ARTIFICIALES
(RNA)
Aprendizaje
RNA: PERCEPTRN

Redes Neuronales Artificiales

Las entradas Xi representan las seales que provienen de otras

neuronas
Los pesos Wi son la intensidad con que estn conectadas dos
neuronas; tanto Xi como Wi son valores reales.
neta = XiWi

Aprendizaje de las RNA

El aprendizaje se manifiesta en el proceso de
cambiar la fortaleza de las conexiones entre las
neuronas (clculo de los pesos)
Hay dos vas:
-No adaptativo: Se determina de antemano cual
ser el valor de los pesos
-Adaptativo: No existe una forma para determinar
de antemano los pesos, por lo que se necesita un
proceso iterativo:
Wi(t) = Wi(t-1) + Wi

Aprendizaje de las RNA

Wi(t) = Wi(t-1) + Wi

1) Cmo calcular los Wi en cada iteracin?

2) Cuntas iteraciones realizar?
3) Con qu valor comenzar los Wi(0)?

Aprendizaje de las RNA

El aprendizaje puede ser:
-Supervisado: Tenemos un conjunto de objetos
con su descripcin completa (rasgos y clase a
que pertenecen) (Conjunto de entrenamiento)
-No supervisado: Tenemos un conjunto de
objetos con su descripcin incompleta
(tpicamente desconocemos las clases en que se
pueden agrupar: Problema de Clustering)

Algunas Tcnicas de Aprendizaje:

Supervisadas:
-Aprendeizaje correlacional Hebbiano
(Regla de Hebb)
-Algoritmo LMS (Least Mean Square)
-Backpropagation
No Supervisadas:
- Aprendizaje Asociativo
- Aprendizaje Competitivo

PERCEPTRN
Caractersticas
-Entradas reales
-Aprendizaje supervisado
-El espacio debe ser linealmente
separable

PERCEPTRN - Antecedentes
-La primera red neuronal conocida, fue desarrollada en
1943 por Warren McCulloch y Walter Pitts
-Suma de las seales de entrada, multiplicadas por unos
valores de pesos escogidos aleatoriamente.
-La entrada es comparada con un patrn preestablecido
para determinar la salida de la red.
-Si en la comparacin, la suma de las entradas
multiplicadas por los pesos es mayor o igual que el
patrn preestablecido la salida de la red es uno (1), en
caso contrario la salida es cero (0).

PERCEPTRN - Antecedentes
-La red tipo Perceptrn fue inventada por el psiclogo
Frank Rosenblatt en el ao 1957
-El primer modelo de Perceptrn fue desarrollado en un
ambiente biolgico imitando el funcionamiento del ojo
humano. El fotoperceptrn: era un dispositivo que
responda a seales pticas.

PERCEPTRN
Esquema general de un Perceptrn
sencillo:

PERCEPTRN
-Era inicialmente un dispositivo de aprendizaje
-En su configuracin inicial no estaba en capacidad
de distinguir patrones de entrada muy complejos
-Sin embargo mediante un proceso de aprendizaje era
capaz de adquirir esta capacidad
-En esencia, el entrenamiento implicaba un proceso
de refuerzo mediante el cual la salida de las unidades
A se incrementaba o se decrementaba dependiendo de
si las unidades A contribuan o no a las respuestas
correctas del Perceptrn para una entrada dada.

PERCEPTRN
-En 1969 Marvin Minsky y Seymour Papert
publicaron su libro: Perceptrons: An introduction to
Computational Geometry
-Anlisis detallado del Perceptrn, en trminos de sus
capacidades y limitaciones

PERCEPTRN
-La funcin de salida de la red es llamada funcin
umbral o funcin de transferencia (tipo hardlim):
1 si (neta+bias) >= 0
f(neta+bias) =
0 si (neta+bias) < 0
-Tambin puede utilizarse una funcin de
transferencia tipo hardlims (salidas 1 -1)

Estructura de la Red (Perceptrn)

La neurona de salida realiza la suma ponderada de las

entradas, suma el bias y pasa el resultado a una funcin de
transferencia de tipo hardlim(s). La regla e decisin es
responder +1 si el patrn presentado pertenece a la clase
A, o 0(1) si el patrn pertenece a la clase B.

Regla de Aprendizaje (Perceptrn)

El Perceptrn es un tipo de red de aprendizaje supervisado, es
decir necesita conocer los valores esperados para cada una de las
entradas presentadas; su comportamiento est definido por pares
de esta forma:
Cuando pj es aplicado a la red, la salida de la red es comparada
con el valor esperado tj
Recordemos que la salida de la red esta determinada por:

a = f( XiWi + bias) = hardlim(XiWi + bias)

Algoritmo general de aprendizaje:

1) Se inicializa la matriz de pesos y el valor del bias, por lo general se asignan valores
aleatorios a cada uno de ellos.
2) Se presenta el primer patrn a la red, junto con la salida esperada en forma de pares
entrada/salida
Se calcula la salida de la red por medio de

a = f( XiWi + bias)

donde f puede ser la funcin hardlim o hardlims

3) Cuando la red no retorna la salida correcta, es necesario alterar el valor de los
pesos, tratando de llevarlo hasta p y as aumentar las posibilidades de que la
clasificacin sea correcta, una posibilidad es adicionar p a w haciendo que el
vector w apunte en la direccin de p, y de esta forma despus de repetidas
presentaciones de p a la red, w se aproximar a p; este es el procedimiento
adoptado para la regla de aprendizaje del Perceptrn.

En general:
El valor a correspondiente a la aplicacin del objeto p a la red
constituye la clasificacin (o salida) de la red para p.
Este valor puede ser igual a t (la clasificacin real de p) diferente.
Si son iguales significa que la red a brindado el valor correcto para
p, de lo contrario la red de ha equivocado
Los posibles casos son los siguientes:
1) a = t
La salida de la Red es igual a la clasificacin
de p por tanto funcion correctamente y no hay que hacer cambios
en los pesos
2) t = 1 y a = 0
3) t = 0 y a = 1
En los dos ltimos casos la red se ha
equivocado por tanto sera necesario modificar los pesos (aprender)

Las acciones para el aprendizaje, en cada caso seran:

1. t = a
2. t=1, a=0
3. t=0, a=1

WN = WA
WN = WA + p
WN = WA p

Simplificaremos los casos haciendo: e = t-a

1. e = 0
WN = WA
2. e = 1
WN = WA + p
3. e = -1
WN = WA p
En general:
WN = WA + e * p
BiasN = BiasA + e

Ejemplo:

Ejemplo:
Utilizaremos cuatro puntos para el aprendizaje de la RNA
P1 = ( 2, 1) T1 = 1 (clase A)
P2 = ( 0, -1) T2 = 1 (clase A)
P3 = (-2, 1) T3 = -1 (clase B)
P4 = ( 0, 2) T4 = -1 (clase B)
Partimos de cualquier valor (aleatorios) para los pesos y el
bias:
W = ( -0.7, 0.2 ) bias = 0.5

Procedimiento general:
El procedimiento de aprendizaje de la red (ajuste
de los pesos) se resume en aplicar cada objeto de la
muestra a la red y ajustar los pesos en caso de que
la salida de la red no sea correcta, de acuerdo a las
frmulas ya explicadas:
WN = WA + e * p
BiasN = BiasA + e
Donde +
e = t-a
t = valor real del objeto
a = valor calculado por la Red

Paso 1. Objeto P1 = (2,1) T1 = 1

W = ( -0.7, 0.2 ) bias = 0.5

Aplicamos la Red para P1

neta+bias = -0.7*2 + 0.2*1 + 0.5 = -0.7
a = hardlims(-0.7) = -1
T1 = 1

a = -1

Por tanto es necesario ajustar los pesos:

e = T1 a = 1 (-1) = 2
WN = W + e*P1 = (-0.7,0.2) + 2*(2,1)
WN = (3.3, 2.2)
biasN = bias + e = 0.5 + e = 2.5

Paso 2. Objeto P2 = (0,-1) T2 = 1

W = ( 3.3, 2.2 ) bias = 2.5

Aplicamos la Red para P2

neta+bias = 3.3*0 + 2.2*-1 + 2.5 = 0.3
a = hardlims(0.3) = 1
T2 = 1

= a = 1

Por tanto NO es necesario ajustar los pesos

Paso 3. Objeto P3 = (-2,1) T3 = -1

W = ( 3.3, 2.2 ) bias = 2.5

Aplicamos la Red para P3

neta+bias = 3.3*-2 + 2.2*1 + 2.5 = -1.9
a = hardlims(-1.9) = -1
T3 = -1

= a = -1

Por tanto NO es necesario ajustar los pesos

Paso 4. Objeto P4 = (0,2) T4 = -1

W = ( 3.3, 2.2 ) bias = 2.5

Aplicamos la Red para P4

neta+bias = 3.3*0 + 2.2*2 + 2.5 = 6.9
a = hardlims(6.9) = 1
T4 = -1

a = 1

Por tanto es necesario ajustar los pesos:

e = T1 a = -1 (1) = -2
WN = W + e*P4 = (3.3,2.2) + -2*(0,2)
WN = (3.3, -1.8)
biasN = bias + e = 2.5 + 2 = 0.5

Hemos concluido con todos los objetos de la muestra,

por tanto los pesos calculados para la red son:
W = (3.3, -1.8)
bias 0.5

Podemos verificar la Red para los cuatro objetos:

RNA(P1)
RNA(P2)
RNA(P3)
RNA(P4)

=
=
=
=

1
1
-1
-1

(
(
(
(

neta+bias =
neta+bias)=
neta+bias =
neta+bias =

5.3
2.3
-7.9
-3.1

)
)
)
)

Limitacin
Este tipo de red puede resolver solamente problemas cuyas salidas estn
clasificadas en dos categoras diferentes y que permitan que su espacio de
entrada sea dividido en regiones linealmente separables
El proceso para determinar si un problema es linealmente separable o no, se
realiza grficamente sin problema, cuando los patrones de entrada generan
un espacio de dos dimensiones, como en el caso del ejemplo; sin embargo,
esta visualizacin se dificulta cuando el conjunto de patrones de entrada es
de tres dimensiones, y resulta imposible de observar grficamente cuando los
patrones de entrada son de dimensiones superiores; en este caso se requiere
plantear condiciones de desigualdad que permitan comprobar la
separabilidad lineal de los patrones, esto se realiza con base en la ecuacin de
salida del Perceptrn:
W*P+Bias >= 0 para los Objetos P, clasificados como 1
W*P+Bias < 0 para los Objetos P, clasificados como 0 (-1)

Ejercicio:
Dados el siguiente conjunto de objetos
P1
P2
P3
P4
P5
P6

=
=
=
=
=
=

( 5, -1
( 2, 6
( 3, 3
( 2, 1
( -1, 1
( 1, -2

)
)
)
)
)
)

T1
T2
T3
T4
T5
T6

= 1
= 1
= 1
= -1
= -1
= -1

A) Determine si el conjunto es linealmente separable (represntelos en el

Plano X-Y)
B) Si son linealmente separables, construya una RNA tipo Perceptrn,
partiendo de los siguientes valores para los pesos:
W1 = 0.5
W2 = -0.7
bias = 0.5

Frmula Punto-Pendiente de la ecuacin de la recta

Se estudiarn rectas que no son paralelas al eje Y, con pendiente m, y que pasan
por un punto P1(x1, y1) . Cualquier otro punto P de la recta lo denominaremos
P(x, y) .
La pendiente de la recta que pasa por P1(x1, y1) y P2(x2, y2) es:
m = x = y2- y1

y
x2-x1
La ecuacin Punto- Pendiente es: y y1 = m(x x1).

Ejemplo
Hallar la ecuacin de la recta que pasa por el punto (-4, 3) con pendiente 1.

Solucin: La ecuacin punto- pendiente es:

y 3 = -1(x (-4)).
y - 3 = -x 4.
y = -x - 1

Ejemplo 2

Halle la ecuacin de la recta que pasa por los puntos(-4, 3) and (2, -5).
Solucin:
m = y2- y1
m= -5- (3) = -8 = - 4
x2-x1
2 (-4) 6
3

Por la ecuacin punto- pendiente (y 3) = - 4 ( x+4)

3
Luego y= -4 x- 7
3 3

 X= -b

w1

Y= -b .
w2

Bias
Pesos

Neurona
+ PesoW1
+ PesoW2
+ Umbral
+ Entrada1
+ Entrada2
+ SalidaRed
+ Clasificacion
+ Supervisar ( )
+ Ajustes ( )
+ PintarPunto ( )
+ PintarRecta ( )

Ejemplos
uno
dos