Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Conceptos de Entrenamiento de una Red

Neuronal
Reynaldo Daz Seplveda
Sistemas de Control
Universidad Michoacana de San Nicolas de Hidalgo
Facultad de Posgrado de Ingeniera Elctrica

7 de diciembre de 2014

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

ndice

Entrenamiento Gradual con Redes Estticas

Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

ndice

Entrenamiento Gradual con Redes Estticas

Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

Consideremos la red esttica que se ha esta usando. Lo que

se quiere es entrenarlo de forma incremental, por lo que los
pesos y bias se actualizan despus de que se present cada
entrada. En este caso se utiliza la funcin de adapt, las
entradas y las objetivos se presentan como secuencias.

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas
Suponer que queremos entrenar la red para crear la siguiente
funcion lineal
t = 2p1 + p2
Con entradas anteriores
 
 
 
 
1
2
2
3
P1 =
, P2 =
, P3 =
, P4 =
2
1
3
1
Los objetivos pordria ser
t1 = [4] , t2 = [5] , t3 = [7] .t4 = [7]

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

Para un entrenamiento gradual se presentan las entradas y

obetivos como secuencias
P = { [1; 2] [2; 1] [2; 3] [3; 1] }
T ={ 4 5 7 7 }

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

En primer lugar vamos a configurar la red con cero pesos y

bias iniciales, tambien configuraremos la tasa de aprendizaje
igual a cero para ver el efecto del entrenamiento gradual
net = linearlayer (0, 0);
net = configure(net, P, T );
net.IW {1, 1} = [ 0 0 ];
net.b{1} = 0;

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

Ahora podemo sentrenar la red de forma gradual

[net, a, e, pf ] = adapt(net, P, T )

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

Las salidas de la red siguen siendo cero, debido a que la tasa

de aprendizaje es cero, y los pesos no son actualizados. Los
errores son igual a los objetivos
a = [0] [0] [0] [0]
e = [4] [5] [7] [7]

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

Si ahora se establece la tasa de aprendizaje a 0,1 se puede ver

como la red es ajuastada a cada entrada que presentada
net.inputWeights{1, 1}.learnParam.lr = 0,1;
net.biases{1, 1}.learnParam.lr = 0,1;
[net, a, e, pf ] = adapt(net, P, T );

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Estticas

Redes Estticas

a = [0] [2] [6] [5,8]

e = [4] [3] [1] [1,2]
La primera salida es la misma que con la tasa de aprendizaje
cero, porque no hay actualizacin hasta que es presentada la
primera entrada. La segunda salida es diferente, porque los
pesos han sido actualizados. Los pesos siguen siendo
modificados conforme el error es calculado, si la tasa de
aprendizaje est configurada correctamente el error tendera a
cero.

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

ndice

Entrenamiento Gradual con Redes Estticas

Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Redes Dinmicas
Para entrenar la red de forma gradual, pirmero se presentan
las entradas y las metas. Tenemos una entrada inicial Pi, las
entradas P y los objeivos T como un conjunto de elemtos

Pi = {1}
P ={ 2 3 4 }
T ={ 3 5 7 }
Tomaremos la red lineal con un retraso en la entrada,
inicializamos los pesos en cero y configuramos la tasa de
aprendizaje en 0,1
Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Redes Dinmicas



net = linearlayer ( 0 1 , 0,1);
net = configure(net,
P, T );

net.IW {1, 1} = 0 0 ;
net.biasConnect = 0;
Queremos entrenar la re para crear la corriente de salida
sumanda la corriente y las entradas anteriores, esta es la mism
secuencia que se utiliz en le ejemplo anterior con la
excepcin de que se asigna el primer trmino de la sucesin
como la condicin inicial por el retraso.

Reynaldo Daz Seplveda

Entrenamiento Gradual con Redes Estticas

Entrenamiento Gradual con Redes Dinmicas

Redes Dinmicas

Redes Dinmicas

[net, a, e, pf ] = adapt(net, P, T , Pi)

a = [0] [2,4] [7,98]
e = [3] [2,6] [0,98]
La primera salida es cero porque los pesos aun no estan
actualizados, los pesos estan cambiando en cada paso.

Reynaldo Daz Seplveda