REDES NEURONALES ARTIFICIALES

REDES NEURONALES
Introduccin
Clasificacin

de redes neuronales:

Estructura
Aprendizaje

Aplicacin

de las redes neuronales a la

identificacin de sistemas

REDES NEURONALES

Neurona: base del funcionamiento del cerebro.

Sistema de procesamiento cerebral de la

informacin:

Complejo, No lineal y Paralelo.

Elementos de que consta: sinapsis, axn, dentritas

y soma o cuerpo

ELEMENTOS DE UNA RNA

Una red neuronal es "un nuevo sistema para

el tratamiento de la informacin, cuya
unidad bsica de procesamiento est
inspirada en la clula fundamental del
sistema nervioso humano: la neurona".
Se interconectan neuronas en tres tipos de
capas:
De entrada: reciben estmulos externos.
Oculta: elementos internos de
procesamiento (se pueden estructurar en
varias capas).
De salida: reciben la informacin
procesada y retornan la respuesta del
sistema al exterior.

ELEMENTOS DE UNA RNA

NEURONA ARTIFICIAL

Neurona artificial: unidad de procesamiento de la

informacin, es un dispositivo simple de clculo
que ante un vector de entradas proporciona una
nica salida.

Elementos:

Conjunto de entradas, xj
a
Pesos sinpticos, wi
Funcin de activacin:
w1x1+ w2x2 + ... + wnxn = a
Funcin de transferencia:
y = F (w1x1+ w2x2 + ... + wnxn )
Bias o polarizacin: entrada constante de
magnitud 1, y peso b que se introduce en el
sumador

DISEO Y PROGRAMACION
Modelar

matemticamente el problema
en cuestin.
Formular una solucin mediante un
algoritmo.
Las RNA debern aprender
automticamente las propiedades
deseadas.
Entrenamiento o aprendizaje, ms
especfico que programacin.

NEURONA ARTIFICIAL
Principales

funciones de transferencia:

Lineal: y=ka
Escaln: y = 0 si a<0; y=1 si a>=0
Sigmoide
Gaussiana.

RNA de una capa

Una neurona aislada dispone de poca potencia de clculo.

Los nodos se conectan mediante la sinapsis
Las neuronas se agrupan formando una estructura llamada
capa.
Los pesos pasan a ser matrices W (n x m)
La salida de la red es un vector: Y=(y1, y2, ... , yn)T
Y=F(WX+b)

RNA Multicapa

Redes multicapa: capas en cascada.

Tipos de capas:

Entrada
Salida
Oculta

No hay realimentacin => red

feedforward

Salida depende de entradas y pesos.

Si hay realimentacin => red recurrente

Efecto memoria
Salida depende tambin de la historia
pasada.
Una RNA es un aproximador general de
funciones no lineales.

Perceptrones
McCulloch

y Pitts, en 1943, publicaron el

primer estudio sobre RNA.
El elemento central: perceptrn.
El modelo biolgico ms simple de un
perceptrn es una neurona y viceversa.
Es decir, el modelo matemtico ms
simple de una neurona es un perceptrn.
a
y

APRENDIZAJE
Los

cambios en el proceso de
aprendizaje se reducen a destruccin,
modificacin y creacin de conexiones
entre las neuronas.
La creacin de una conexin implica que
el peso de la misma pasa a tener un valor
distinto de cero.
Una conexin se destruye cuando su
valor pasa a ser cero.

APRENDIZAJE

Entrenamiento: proceso de aprendizaje de la red.

Objetivo: tener un comportamiento deseado.
Mtodo:
Uso de un algoritmo para el ajuste de los parmetros libres de la red: los
pesos y las bias.
Convergencia: salidas de la red = salidas deseadas.
Tipos de entrenamiento:
Supervisado.
Pares de entrenamiento: entrada - salida deseada.
Error por cada par que se utiliza para ajustar parmetros
Ej: el perceptrn simple, la red Adaline, el perceptrn multicapa,
red backpropagation, y la memoria asociativa bidireccional.

No-supervisado.

Solamente conjunto de entradas.

Salidas: la agrupacin o clasificacin por clases
Ej: las memorias asociativas, las redes de Hopfield, la mquina de
Boltzmann y la mquina de Cauchy, las redes de aprendizaje
competitivo, las redes de Kohonen o mapas autoorganizados y
las redes de resonancia adaptativa (ART).

Reforzado: Medio entre supervisado y no supervisado

APRENDIZAJE

Algoritmo supervisado:
1.
2.
3.

Aplicar patrn de entrada y calcular salida de la

red
Si salida correcta, volver a 1
Si salida incorrecta:

4.

0 sumar a cada peso su entrada

1 restar a cada peso su entrada

Volver a 1

Proceso iterativo, si el problema es linealmente

separable, este algoritmo converge en un tiempo
finito.

Nos da los pesos y las bias de la red que resuelve

el problema.

Redes Neuronales Lineales.

Funcin de transferencia lineal.

Algoritmo de entrenamiento de Widrow-Hoff o Delta,
tiene en cuenta la magnitud del error.
Entrenamiento:
Suma de los cuadrados de los errores sea mnima.
Superficie de error con mnimo nico.
Algoritmo tipo gradiente.

Aproximan funciones lineales.

REGLA DELTA
Los

algoritmos actualizan los pesos

mediante:

w w w

La

variacin entre los distintos mtodos est

en la forma de calcular w.
Se define una medida de error para cada
patrn de entrenamiento p:

E (d y )
p

1
2

p 2

REGLA DELTA
Se

deben encontrar los wi que minimicen

el error cuadrtico:
E E p
pD

Para

La

1
2

(d

y p )2

esta regla de aprendizaje,

E
wi
wi

idea es definir un vector gradiente:

E E
E
E
,
,...,
w1 w2
wm

REGLA DELTA
Se

debe encontrar la direccin en la que

este vector hace menor al error E.
Algunas frmulas tiles (funcin lineal):

E E y

wi y wi
Las

y
xi
wi

E
(d p y p )
y

redes Adaline y Madaline utilizan esta

regla de aprendizaje.

Backpropagation

Clave en el resurgimiento de las redes neuronales.

Primera descripcin del algoritmo fue dada por
Werbos en 1974

Generalizacin del algoritmo de Widrow-Hoff para

redes multicapa con funciones de transferencia
no-lineales y diferenciables.

Propiedad de la generalizacin.

La funcin de transferencia es no-lineal, la

superficie de error tiene varios mnimos locales.

Algoritmo
backpropagation I
Adelante

Descripcin:

Atrs

Tras inicializar los pesos de forma aleatoria y con valores

pequeos, seleccionamos el primer par de entrenamiento.
Calculamos la salida de la red
Calculamos la diferencia entre la salida real de la red y la salida
deseada, con lo que obtenemos el vector de error
Ajustamos los pesos de la red de forma que se minimice el error
Repetimos los tres pasos anteriores para cada par de
entrenamiento hasta que el error para todos los conjuntos de
entrenamiento sea aceptable.

Descenso por la superficie del error

Clculo de derivadas del error respecto de los pesos y de
las bias.

Algoritmo
backpropagation II

Detalles:

SSE: E=SEp=S (ypk-opk)2

wij=- E/ wij

Pasos:

Inicializacin:

Fase hacia delante:

Construccin de la red.
Inicializacin aleatoria de pesos y umbrales (-0.5, 0.5)
Criterio de terminacin (nmero mximo de iteraciones,).
Contador de iteraciones n=0.
Calcular la salida de la red para cada patrn de entrada.
Calcular el error total cometido (SSE)
Si la condicin de terminacin se satisface, parar

Fase hacia atrs:

Algoritmo backpropagation III

Fase hacia atrs:

Incrementar el contador n=n+1.

Para cada neurona de salida calcular las derivadas
parciales del error con respecto a los pesos que unen a la
ltima capa oculta con la de salida: dk=(ok-yk)f(netk) donde
netj=Siwijxi+bj
Para cada unidad oculta, calcular las derivadas parciales
del error con respecto a los pesos que unen la capa de
entrada con la oculta. dj=f(netj)Skdkwjk
Actualizar pesos: wij(n+1)=djoi+awij(n)
Volver a la fase hacia delante.

Inconvenientes del algoritmo backpropagation:

Tiempo de entrenamiento no acotado.

Dependiente de las condiciones iniciales:

Parlisis de la red.
Mnimos locales.

Underfitting.

Redes Neuronales no
supervisadas I

Autoorganizativas: durante el proceso de aprendizaje la

red debe descubrir por si misma regularidades o
categoras => la red debe autoorganizarse en funcin
de las seales procedentes del entorno.
Mapa de Rasgos Autoorganizados, SOM (Kohonen, 80)
Caractersticas:

Red competitiva
Arquitectura unidireccional de dos capas:
Capa de entrada: m neuronas, una por cada vector de
entrada.
Capa segunda, en la que se realiza el procesamiento,
formando el mapa de rasgos. Tiene nx X ny neuronas
operando en paralelo.
Todas las neuronas de entrada estn conectadas a las
neuronas de la segunda capa, a travs de los pesos wij

Redes Neuronales NoSupervisadas II

Cada neurona (i,j) calcula la similitud entre el vector de

entradas y su vector de pesos
Vence la neurona cuyo vector de pesos es ms similar
al vector de entrada.

Cada neurona sirve para detectar alguna

caracterstica del vector de entrada.
Funcin de vecindad:
relacin entre neuronas
prximas en el mapa.

RNA no supervisadas III

Aprendizaje:
1.
2.
3.

4.
5.

6.
7.

Inicializacin de los pesos wij

Presentacin de las entradas x(t)
Cada neurona calcula, la similitud entre su vector de pesos wij
y el vector de entrada x, usando la distancia Eucldea:

Determinacin de la neurona ganadora:

Actualizacin de los pesos de la neurona ganadora y sus
vecinas
Las dems neuronas no actualizan su peso
Si se ha alcanzado el nmero de iteraciones parar, si no volver
al paso 2.

VENTAJAS
Ventajas

de las RNA:

Aprendizaje adaptativo: lo necesario es aplicar un

buen algoritmo y disponer de patrones (pares) de
entrenamiento.
Auto-organizacin => conduce a la generalizacin
Tolerancia a fallos: las redes pueden aprender
patrones que contienen ruido, distorsin o que estn
incompletos.
Operacin en tiempo real: procesan gran cantidad
de datos en poco tiempo.
Facilidad de insercin en tecnologa ya existente.

APLICACIONES
Deteccin

de patrones.
Filtrado de seales
Segmentacin de datos
Control
Identificacin.

GRACIAS!