1.1 Qu es una red neuronal?

Una red neuronal es una mquina que est diseada para modelar la manera en que el
cerebro desarrolla una tarea particular o funcin de inters, la red es usualmente
implementada usando componentes electrnicos o es simulada en una computadora
digital con ayuda de software especializado.
Las redes neuronales emplean una interconexin masiva de simples clulas
computacionales llamadas neuronas o unidades de procesamiento.
De manera ms formal, la definicin de red neuronal vista como una mquina adaptable
es:
Una red neuronal es un procesador masivo distribuido de manera paralela, construida
con unidades de procesamiento simple, que es propensa naturalmente a almacenar
conocimiento por experiencia y disponer de ste para su uso. Se asemeja al cerebro
humano en dos aspectos:
1. El conocimiento es adquirido por la red de su entorno a travs de un proceso de
aprendizaje.
2. Las fuerzas de conexin interneuronales, conocidas como pesos sinpticos, son
usadas para almacenar el conocimiento adquirido.
El procedimiento usado para llevar a cabo el proceso de aprendizaje es llamado el
algoritmo de aprendizaje, cuya funcin es modificar los pesos sinpticos de la red de
manera ordenada para obtener un objetivo de diseo deseado. De hecho, es posible que
la red neuronal modifique su propia topologa.
Las redes neuronales son tambin llamadas neurocomputadoras, redes conexionistas,
procesadores distribuidos paralelamente, etc.
Beneficios de las redes neuronales
Es aparente que una red neuronal deriva su poder computacional a travs de, primero, su
estructura masiva paralelamente distribuida, y, segundo, de su habilidad para aprender y
as generalizar. Generalizacin se refiere q que la red neuronal produce salidas
razonables para entradas que no fueron tomadas en cuenta durante el entrenamiento
(aprendizaje).
El uso de redes neuronales ofrece las siguientes propiedades y habilidades:
1. No linealidad. Una neurona artificial puede ser lineal o no lineal. Una red
neuronal, construida con la interconexin de neuronas no lineales, es por si
misma no lineal. Adems, la no linealidad es de un tipo especial que es
distribuido a travs de toda la red. La no linealidad es importante sobretodo si el
mecanismo fsico responsable de la generacin de la seal de entrada en
inherentemente no lineal.
2. Mapeo entrada-salida. Un paradigma popular de aprendizaje llamado
aprendizaje con un maestro o aprendizaje supervisado envuelve la modificacin
de los pesos sinpticos de una red neuronal por la aplicacin de una lista de
muestras experimentales etiquetadas o muestras de tarea. Cada muestra consiste
en una nica seal de entrada y una correspondiente respuesta deseada.

La red es presentada con un ejemplo obtenido aleatoriamente de la lista, y los

pesos sinpticos (parmetros libres) de la red son modificados para minimizar la
diferencia entre la respuesta deseada y la respuesta actual de la red producida
por la seal de entrada en concordancia con un criterio estadstico apropiado. El
entrenamiento de la red es repetido por muchas muestras de la lista hasta que la
red alcanza un estado estacionario donde no hay ms cambios significantes en
los pesos sinpticos. Las muestras de entrenamiento son repetidas durante la
sesin de entrenamiento pero en diferente orden. As la red aprende de las
muestras construyendo un mapeo entrada- salida para el problema que se tiene.
3. Adaptabilidad. Las redes neuronales tienen una capacidad inherente para adaptar
sus pesos sinpticos a los cambios en el entorno. En particular, una red neuronal
es entrenada para operar en condiciones especficas del entorno. Cuando la red
est operando en un entrono no estacionario, una red neuronal puede ser
diseada para cambiar sus pesos sinpticos para cambiar sus pesos sinpticos en
tiempo real. Para darnos cuenta de los beneficios de la adaptabilidad, las
principales constantes de tiempo del sistema deben de ser lo suficientemente
amplias para que el sistema ignore falsos disturbios y lo suficientemente cortas
para responder a los cambios realmente importantes del entorno, esto es
conocido como el dilema de estabilidad-plasticidad.
4. Respuesta evidente. Una red neuronal puede ser diseada para proveer
informacin no slo de un patrn en particular que fue seleccionado, sino de la
confianza con la que su decisin fue hecha.
5. Informacin contextual. El conocimiento es representado por la estructura y el
estado de activacin de la red neuronal. Cada neurona en la red es
potencialmente afectada por la actividad global de las dems neuronas en la red.
6. Tolerancia a fallas. Una red neuronal tiene el potencial para ser inherentemente
tolerante a fallas, o capaz de realizar un cmputo robusto, en el sentido que su
desarrollo se degrada fcilmente bajo condiciones operativas adversas.
7. Implementacin VLSI. La naturaleza masivamente paralela de una red neuronal
la hace potencialmente rpida para el cmputo de tareas especficas. Esta misma
caracterstica hace a la red neuronal adecuada para su implementacin usando
tecnologa integrada a gran escala (VLSI). Una virtud particular de VLSI es que
provee los medios para capturar conductas verdaderamente complejas de una
manera altamente jerrquica.
8. Uniformidad de anlisis y diseo. Las redes neuronales gozan de universalidad
como procesadores de informacin. Es decir, la misma notacin es usada en
todos los dominios que envuelven la aplicacin de redes neuronales. Esto se
manifiesta de diferentes maneras:

Neuronas, de una forma u otra, representa un ingrediente comn a todas

las redes neuronales.
Esta comunin hace posible compartir teoras y algoritmos de
aprendizaje en diferentes aplicaciones de redes neuronales.

Redes modulares pueden ser construidas a travs de la invisible

integracin de mdulos.
9. Analoga neurobiolgica. El diseo de una red neuronal es motivada por la
analoga con el cerebro, que es una prueba viviente que el proceso paralelo
tolerante a fallas es no slo posible fsicamente sino rpido y poderoso. Los
neurobilogos ven a las redes neuronales como una herramienta de investigacin
para la interpretacin de fenmenos neurobiolgicos. Por el otro lado, los
ingenieros buscan la neurologa para obtener nuevas ideas para resolver
problemas ms complicados que aquellos basados en tcnicas convencionales.

1.3 Modelos de una neurona.

Una neurona es la unidad de procesamiento de informacin que compone una red
neuronal.

En el modelo de una neurona, que se muestra en la figura 1.5, nosotros podemos

identificar tres elementos bsicos:
1.- Sinapsis o Conexiones: Representa una seal x que se conecta a la entrada j, de la
neurona k, que multiplica la seal por un peso w. Cuando nos referimos al peso w es
importante saber que significan los subndices que conlleva. El primer subndice refiere
a la neurona y el segundo a la entrada en cuestin, en este caso w kj, puede tomar valores
positivos o negativos. Cuando nos referimos a la seal tendremos que definir un
subndice que se refiere a la entrada en cuestin, en este caso xj.
2.- Sumador: Suma todas las seales entrantes una vez que fueron multiplicadas por su
peso respectivo.
3.- Funcin de activacin: Sirve para limitar la amplitud de la seal de salida de la
neurona acondicionando la seal.
Este modelo incluye tambin una tendencia que lleva un subndice de la neurona bk.
Esta tendencia es un parmetro externo de la neurona artificial por lo que podramos
tomarlo en cuenta como una entrada ms fijada en +1 y con un peso igual a la tendencia
bk, figura 1.7.

Esta sirve para incrementar o disminuir la entrada total de la funcin de activacin, es

decir la salida del sumador. Puede tomar valores positivos o negativos. El efecto que
produce en la salida de la neurona esta tendencia se muestra en la figura 1.6.

Tipos de funcin de activacin.

Se denota por () y define la salida de una neurona en trminos del campo local
inducido .
1.- Threshold Function:

Su comportamiento se expresa de la siguiente manera:

Este comportamiento describe la propiedad de todo o nada de McCulloch-Pitts model.

Donde el campo local inducido k es:

2.- Piecewise-linear

Esta funcin se comporta de la siguiente manera:

Este comportamiento se puede ver como una aproximacin de amplificacin no linear.

Se puede describir su comportamiento como que:
La lnea sube mientras no choque con la saturacin.
Se comporta como una funcin Threshold si la lnea de ascendencia se vuelve muy
grande.
3.- Sigmoid function: Es la ms usada en la construccin de redes neuronales. Es
descrita como una funcin de incremento que balancea un comportamiento linear y no
linear. Va obteniendo valores continuos desde 0 hasta 1. Si es necesario se puede
generar una funcin que valla desde -1 hasta 1, aunque en este caso la funcin de
activacin obtiene valores asimtricos con respecto al original.

Este comportamiento se puede representar para una funcin Threshold como:

Aunque para que tenga la forma de una funcin Sigmun podramos ocupar la funcin
hiperblica de la tangente.
()=tanh()
1.6 Arquitectura de redes.
La manera de cmo estn estructuradas las neuronas de una red neuronal es de suma
importancia ya que est ntimamente relacionado con el algoritmo de aprendizaje
seleccionado para entrenar la red.
En general se pueden encontrar 3 clases de arquitecturas de redes:
1.- Redes de una capa con alimentacin hacia adelante.
Las neuronas estn organizadas en forma de capas en una red neuronal. La forma ms
simple consiste en una capa de entrada y una capa de salida de neuronas. Cabe
mencionar que la capa de entrada no se cuenta, ya que aqu no se realiza ningn
procesamiento.

2.- Redes multicapa con alimentacin hacia delante.

Se caracteriza por tener una o ms capas ocultas, en donde los nodos de procesamiento
son llamados neuronas ocultas o unidades ocultas. La funcin de las neuronas ocultas es
intervenir entre la entrada y salida de la red haciendo una funcin de ayuda.
Cabe mencionar que entre mayor cantidad de capas ocultas se agreguen, la red podr
tener mayor capacidad de determinar variedades.
El funcionamiento de una red con varias capas consiste en que la entrada de la red pasa
elementos al patrn de activacin que se encarga de mandar seales a las neuronas en la
segunda capa o la primera oculta. La salida de la primera capa oculta alimenta la entrada
de la segunda capa oculta y as sucesivamente hasta llegar a la salida de la red.
Cuando en una red neuronal se conecta cada nodo de una capa a todos los nodos de la
siguiente capa, se dice que est totalmente conectada. En el caso de que falten por
conectar algunos nodos entre capa y capa, se dice que est parcialmente conectada.
3.-Red recurrente.
Esta red se distingue de las anteriores en que presenta al menos un lazo de
retroalimentacin. En este tipo de red se puede conectar con o sin capas ocultas. Otra
caracterstica es el poderla conectarla de dos maneras:
-

Con retroalimentacin independiente a cada neurona.

Con retroalimentacin de cada nodo de una capa hacia las dems neuronas de la
capa.

Cabe sealar que el lazo de retroalimentacin tiene un gran papel para el aprendizaje y
desempeo de la red, ya que se puede aprender mejor y con mayor rapidez. El realizar
una retroalimentacin implica colocar retardos (z-1) que hacen el sistema no lineal. Lo
anterior hace que la red cumpla con las caractersticas de no linealidad mencionadas en
el inicio.
1.8 Inteligencia artificial (AI) y redes neuronales.
La meta de la inteligencia artificial es el desarrollo de los paradigmas de los algoritmos
que requieren las mquinas para realizar tareas cognitivas, las cuales el humano las
puede realizar mucho mejor.
La AI debe ser capaz de realizar 3 cosas:
1.- Almacenar conocimiento.
2.- Aplicar el conocimiento almacenado para resolver problemas.
3.- Adquirir nuevo conocimiento a travs de la experiencia.
Un sistema de AI debe tener 3 componentes principales: representacin, razonamiento y
aprendizaje.

La representacin se refiere al penetrante uso del lenguaje de smbolos para representar

tanto un conocimiento general como un problema de inters especfico acerca de la
solucin de un problema. Los smbolos son fciles de entender para los humanos,
permitiendo as interactuar con la mquina. El conocimiento es una declaracin o clase
de procedimiento.
En una representacin declarativa, el conocimiento es representado como una coleccin
esttica de verdades con una pequea cantidad de procedimientos generales usado para
manipular las verdades.
En una representacin de procedimiento, el conocimiento es encarnado en un cdigo
ejecutable que acte fuera del significado de conocimiento.
EL razonamiento es la habilidad de resolver problemas y debe cumplir ciertas
condiciones como:
-Ser capaz de expresar y resolver un extenso rango de problemas.
- El sistema debe ser capaz de hacer explcita e implcita la informacin que conoce.
-el sistema debe tener un control del mecanismo para determinar las operaciones a
realizar en un problema particular.
El aprendizaje es tomado del entorno, en donde la informacin es tomada para hacer
mejoras en el conocimiento base y finalmente el elemento de desempeo usa el
conocimiento base para mejorar su tarea. Cabe mencionar que el tipo de informacin
que entra a la mquina es imperfecta, dejando as situaciones en las cuales la mquina
no conoce exactamente que debe hacer. As la mquina adivina recibiendo
retroalimentacin y de sta manera valida su hiptesis.
El aprendizaje de la mquina envuelve 2 diferentes tipos de procesamiento de
informacin:
-

Procesamiento inductivo da diseos y reglas que son determinadas de datos y

experiencias crudas.
Procesamiento deductivo donde las reglas generales son usadas para determinar
verdades especficas.

Se mencionan tambin algunos puntos en los que se puede comparar una red neuronal
como modelos cognoscitivos:
- Nivel de explicacin.
Se menciona que la representacin de smbolos es presumible porque realizan una
accin. La AI asume la existencia de representacin mental, y su modelo cognitivo
como el procesamiento secuencial de representacin de smbolos.
Otro aspecto es el desarrollo del procesamiento paralelo distribuido que simula la
interaccin de muchas neuronas.
-Estilo de procesamiento.

En la AI clsica el procesamiento es secuencial como en cualquier computadora.

Pero cuando no hay un orden predeterminado se pueden realizar las operaciones
paso a paso.
- Representacin estructural.
En esta parte se dice que la representacin con smbolos posee una estructura cuasilingstica, con la caracterstica de tener composicionalidad.
En general la AI se puede describir como la manipulacin formal del lenguaje de
algoritmos y la representacin de datos en una moda TOP-DOWN.
Las redes neuronales pueden describirse como procesadores paralelos distribuidos
con la habilidad natural de aprender, usualmente operan en una moda bottom up.
2.1 Introduccin.
Aprendizaje es la actividad vital que una neurona. Al aprender de su ambiente ella
ajusta los pesos sinpticos y la tendencia de sus neuronas. Definimos aprendizaje
como:
El proceso por el cual los parmetros libres de una red neuronal se adaptan a travs de
una serie de estmulos dados por el medio ambiente en el cual la red es introducida. El
tipo de aprendizaje es determinado por la manera en que cambia el parmetro.
El proceso de aprendizaje conlleva los siguientes eventos:
La red neuronal es estimulada por un ambiente.
La red neuronal experimenta cambios en sus parmetros libres como resultado
de estos estmulos.
La red neuronal responde de una manera nueva al ambiente debido a los
cambios que han ocurrido en su estructura.
Las reglas que se siguen para resolver el problema de aprendizaje es llamado algoritmo
de aprendizaje. Hay de varios tipos y ventajas que caracterizan a cada uno de ellos. .
Bsicamente lo que cambia es los algoritmos es la manera en que se lleva a cabo el
ajuste de los pesos sinpticos.
2.2 Correccin del error en el aprendizaje

Analizando la Fig. 2.1a

La neurona k es controlada por el vector de error x(n) producido por una o ms capas de
capas ocultas, las cuales a su vez son controladas por los estmulos aplicados a los

nodos en la fuente de la red neuronal. El argumento n denota tiempo discreto, o ms

precisamente, el paso del tiempo, de un proceso iterativo, en ajustar los pesos sinpticos
de una neurona k. La salida es y(k) la cual es comparada con la respuesta deseada
denotada por dk(n). Consecuentemente una seal de error ek(n) es producida:
ek(n)= dk(n) yk(n)
La seal ek(n) acta como un mecanismo de control al aplicar una secuencia de ajustes
a los pesos sinpticos de una neurona k. Los ajustes tienen la finalidad de llevar la salida
yk(n) lo ms cercano posible la salida deseada. Esto es logrado al minimizar la funcin
costo o ndice del desempeo, E(n), definido en trminos del error:
E(n)

1 2
e k ( n)
2

E(n) es el valor instantneo del valor de la energa del error. El ajuste contina hasta que
el sistema alcanza el estado de equilibrio en donde el proceso de aprendizaje termina.
Minimizar la funcin costo E(n) es nombrado como la regla delta o Widrow-Hoff.
Wkj(n)= valor del peso sinptico de la neurona k excitada por el elemento xj(n) del
vector de seal x(n) al paso de tiempo n. Por lo tanto el ajuste aplicado Wkj(n) al peso
dinaptico Wkj(n) en el tiempo n es:

Donde es una constante positiva que determina la velocidad de aprendizaje de un paso

a otro en el proceso de aprendizaje.
La regla delta la podramos definir como:
El ajuste hecho a los pesos sinpticos de una neurona es proporcional al producto del
error de la seal y la seal de entrada de la sinapsis.
La regla delta toma en cuenta que la seal del error es totalmente medible. Lo que
quiere decir que la neurona tiene una fuente externa que le provee de la seal deseada.
En otras palabras la neurona es visible al mundo exterior.
Procesando los ajustes sinpticos Wkj(n) obtenemos los pesos sinpticos actualizados:

En efecto wkj(n) y wkj(n+1) puede ser vista como los pesos sinpticos nuevo y viejos. Lo
cual pudiramos reescribir como:

En la Figura 2.1b se muestra una grfica del flujo de seales representando el proceso
de correccin de error. Se puede ver que la correccin del error es un ejemplo de
retroalimentacin de lazo cerrado. En este caso slo se tiene a para la correccin del
error y determina ste el desempeo del aprendizaje de la correccin de errores.

2.4 Aprendizaje Hebbian.

Postula que cuando un axn de una clula A est lo suficientemente cerca de una clula
B y repetidamente se comunica con ella, algunos procesos crecen o cambios
metablicos toman lugar en una o ambas clulas de tal manera que la eficiencia de A y
B crecen.
Esto lo propuso como base del aprendizaje por asociacin replantendolo como:

Si dos neuronas en ambas partes de una sinapsis son activadas simultneamente,

entonces la fuerza de esa sinapsis es incrementada.
Si dos neuronas en ambo lados de la sinapsis son activadas asincrnicamente,
entonces esa sinapsis es debilitada o eliminada.

La sinapsis Hebbian se caracteriza por:

Un mecanismo dependiente del tiempo: La modificacin de la sinapsis Hebbiana
depende en el tiempo exacto de la ocurrencia de la pre-sinapsis y la post-sinapsis.
Mecanismo local: Las seales de informacin se mantiene por un espacio temporal
donde se produce una modificacin sinptica local que es la una entrada especfica.
Mecanismo interactivo: La ocurrencia de un cambio en una sinapsis Hebianna depende
en los signos en ambos lados de la sinapsis. No se puede hacer predicciones.
Mecanismo correlacional La condicin para cambiar la eficiencia sinptica es la
conjuncin de los signos pre y post sinpticos. La ocurrencia de las seales pre y post
sinpticas es una razn suficiente para producir una modificacin en la sinapsis.
Aumento y descenso de una sinapsis:
Una relacin positiva en la sinapsis la hace ms fuerte y una negativa la hace ms dbil.
El debilitamiento de la sinapsis podra no estar ligado a algo ms como la pre o postsinapsis. Una sinapsis positiva es aquella donde la pre y post sinapsis son positivas. Esto
en una sinapsis Hebbiana porque en una anti Hebbiana la sinapsis se fortalece
negativamente y debilita positivamente.
Modelado matemtico de una modificacin Hebbiana:
Consideremos:

Wkj peso sinptico

K neurona
Pre-sinapsis xj
Post-sinapsis yk
El ajuste aplicado al peso en el paso del tiempo n es expresado en general como
wkj(n)=F(yk(n),xj(n))
Donde F( , )es una funcin de las seales post y pre sinpticas. Estas seales son
tratadas como adimensionales. Esta formula se puede representar de varias formas
dentro de las cuales estn estas dos:
Hebbs hiptesis:

Donde es una constante positiva que determina la velocidad de aprendizaje. Es

referida como la regla de la actividad del producto. En la Fig 2.3 se muestra la
representacin de la ecuacin.

Hiptesis de covarianza.
Una de las maneras de pasar con las limitacin de la hiptesis de Hebb. En esta
hiptesis la pre y post sinapsis son reemplazadas por la desviacin de la pre y post
sinapsis de su respectivo promedio sobre un cierto intervalo de tiempo.
Consideremos:
Wkj peso sinptico
K neurona
Pre-sinapsis xj
Post-sinapsis yk
Donde es la velocidad de aprendizaje del parmetro. Los promedios de x y y
constituyen las entradas que determinan el signo de la modificacin sinptica.

La covarianza permite:

Convergencia a un estado no trivial que es alcanzado cuando xk=x or yj=y.

Prediccin para el incremento y el descenso de la sinapsis.

Observaciones importantes:
1.

El peso sinptico wkj es aumentado si hay suficientes niveles de pre y post

actividades que son que xj>x or yk>y sean satisfechas.
El peso sinptico wkj disminuye si:

Hay una activacin pres-sinptica sin suficiente activacin postsinptica.

Hay una activacin post-sinptica en la ausencia de una suficiente

activacin post-sinptica.

2.

2.5 Aprendizaje competitivo

Las neuronas de salida de una red neuronal compiten con otras para activarse de tal
manera que solamente una se activa, a diferencia del aprendizaje Hebbiano donde varias
se pueden activar al mismo tiempo.
Hay tres elementos bsicos para regular el aprendizaje competitivo:

Una serie de neuronas que son iguales excepto por algunos pesos sinpticos
aleatoreamente distribuidos y que por lo tanto responden las neuronas
diferentemente a modelos a la entrada.
Un lmite impuesto en la fortaleza de cada neurona.
Un mecanismo que permite que las neuronas compitan por activarse primero a
una serie de entradas. Slo una va a ganar y poderse activar

Las neuronas aprenden a especializarse en grupos de caractersticas similares de tal

manera que despus se vuelven lderes en varias clases de entradas.
En la forma ms sencilla del aprendizaje competitivo la red neuronal slo tiene una capa
de neuronas a la salida la cual est totalmente conectada a los nodos de entrada. La red
puede incluir conexiones de retroalimentacin entre las neuronas como se muestra en la
Fig. 2.4. En esta estructura de la figura la retroalimentacin desarrolla la inhibicin
lateral con cada neurona tendiendo a inhibir la neurona que est conectada a su lado. En
contraste las conexiones hacia delante estn todas excitadas.

Para que una neurona k sea la ganadora su campo local inducido para el modelo
especfico x necesita ser el ms grande entre las neuronas competidoras. La seal de
salida yk de esa neurona ganadora es igual a uno. Las seales de salida de las neuronas
perdedoras con iguales a cero. Por lo que tenemos

Donde vk representa la accin combinatoria de todas las entradas y retroalimentaciones

de la neurona k.
Si wkj es el peso sinptico de la entrada en el nodo j a la neurona k. Suponer que cada
neurona localiza los pesos sinpticos entre los nodos de entrada entonces

Por lo tanto una neurona aprende cambiando los pesos sinpticos de las neuronas
inactivas a las activas. Si una neurona no responde a un modelo particular de entrada
entonces no se habr aprendido Si la neurona gana perder una cierta proporcin de su
peso sinptico cada uno de sus nodos de entrada y ese peso perdido ser distribuido de
forma igual a los nodos de entrada.
Segn la regla de aprendizaje competitivo el cambio de peso W kj(n) aplicado al peso
sinptico wkj es:

Donde es la velocidad de aprendizaje del parmetro. Esta regla tiene el efecto sobre
todo movimiento del vector de peso sinptico w k de una neurona ganadora k hacia su
modelo de entrada x.
Una analoga geomtrica se muestra en la Fig 2.5.

Cada modelo de entrada tiene su propia longitud por lo que lo podemos ver como un
punto en una esfera de dimensin N donde N es el nmero de nodos de entrada. N
tambin representa la dimensin de cada peso sinptico wk. Por lo que podemos asumir
que todas las neuronas en la red estn obligadas a tener la misma longitud Euclideana.

Reconocimiento de patrones.
El humano realiza el reconocimiento de patrones a travs del proceso de aprendizaje,
como lo es con las redes neuronales.
El reconocimiento de patrones se puede definir como el proceso por el cual un patrn o
seal es asignada a una de las varias clases o categoras prescritas. Una red neuronal
desempea el reconocimiento de patrones realizando primero una sesin de
entrenamiento, en donde se mandan repetidas entradas junto con la categora al patrn
que pertenecen. Despus un nuevo patrn que nunca ha sido visto por la red es
presentado, pero que es de alguna poblacin de los patrones usados para entrenar la red.
La red es capaz de reconocer a que grupo especfico pertenece, debido a la informacin
dada en el entrenamiento.
El reconocimiento de patrones desempeado por la red neuronal es en naturaleza
estadstico, donde los patrones son presentados como puntos en espacio de decisin
multidimensional. El espacio de decisin es dividido en regiones, cada una de las cuales
es asociada con una clase. La decisin de los lmites de cada regin se determina con el
proceso de entrenamiento. La construccin de los lmites es hecho de manera estadstica
por la variabilidad inherente que existe dentro de y entre las clases.
En general, las mquinas de reconocimiento de patrones que usan redes neuronales
pueden tomar una de dos formas:

La mquina se divide en dos partes, una red no supervisada para extraccin de

caractersticas y una parte como red supervisada para la clasificacin.
En trminos conceptuales, un patrn es representado como un conjunto de m
observaciones, que son vistos como un punto x en un espacio dimensional de
observacin. La extraccin de caractersticas es descrito por la transformacin que
mapea el punto x a un punto inmediato y en un espacio dimensional de caractersticas q
con q < m. La clasificacin es por s descrita como una transformacin que mapea en
punto y intermedio en una de las clases en un espacio dimensional r , donde r es el
nmero de clases que pueden ser distinguidas.
La mquina es diseada como una simple red multicapas con alimentacin hacia delante
usando un algoritmo de aprendizaje supervisado. En la segunda aproximacin, la tarea
de extraccin de caractersticas es realizada por unidades computacionales en las capas
ocultas de la red.
Dependiendo de la aplicacin de inters es la aproximacin que se usar.

Imagen 2. Ilustracin de la clsica aproximacin

al patrn de clasificacin.
Funcin de aproximacin.
Esta es la tercera tarea de aprendizaje. Supongamos que se tiene un mapeo que sigue
una funcin descrita por: d = f(x), en donde el vector x es la entrada, y el vector d es la
salida.
El valor del vector de la funcin f(.) se asume como desconocido. Debido a la falta de
conocimiento de la funcin f(.) , una cierta funcin es dada, por ejemplo

F = ((Xi , di )) x=1N .
El objetivo es disear una red neuronal que aproxime la funcin que no sabemos f(.) tal
como la funcin F(.) describiendo la entrada-salida mapeada actualmente por la red,
cerca todava de f(.) en una deteccin Euclidiana sobre todas las entradas comos e
muestra: ||F(x) f(x) || < E
para toda x, donde E es un valor positivo pequeo. El
valor de N es el conjunto de datos del entrenamiento. Por lo que la aproximacin va
haciendo que el error sea menor.
La habilidad de una neurona de aproximar un mapeo de entradas-salidas se puede
explicar de dos maneras:
Identificacin del sistema. Por ejemplo para un sistema MIMO se tienen entradas Xi, Yi
como salida de la red neuronal, di como la seal deseada. Se realiza una comparacin
entre la di con Yi, de donde se obtiene un valor de error Ei que es usado para ajustar los
parmetros libres de la red para minimizar de manera estadstica la funcin deseada y la
funcin no conocida.

Imagen 3. Diagrama de bloques del sistema de identificacin.

Sistema inverso. Si suponemos que nos dan un sistema MIMO con una memoria
conocida cuya entrada y salida es descrita por la funcin d = f(x), lo que se requiere es
construir el sistema inverso que da como resultado el vector x en respuesta del vector d.
El sistema inverso puede ser descrito como: x = f-1 (d).

Imagen 4. Diagrama de bloques del sistema de modelado inverso.

En este tipo de situacin xi y di son intercambiados. Ahora di es usado como entrada y
xi es tratado como la respuesta deseada. Ei denota la diferencia entre xi y la salida
actual yi de la red neuronal que produce la respuesta di. Como en el caso anterior el
valor del error sirve para aproximar y minimizar la diferencia entre las salidas del
sistema inverso no conocido y la red neuronal de modo estadstico. Despus es
manipulado de manera computacional mediante el entrenamiento.

Control.
El control es otra tarea de aprendizaje que puede ser realizado por la red neuronal. El
aprender controlar no debe ser nuevo, ya que el cerebro humano es como una
computadora, donde las salidas son acciones.
Considerando un sistema de control con retroalimentacin, donde se requiere que la
salida del sistema sea retroalimentada a la entrada. La salida de la planta y es restada del
valor de referencia d suministrado de una fuente externa. El error de la seal e es
aplicado al control neuronal con la finalidad de ajustar los parmetros libres.
El objetivo primordial de el controlador es proveer entradas adecuadas a la planta para
hacer que sus salidas y sigan la seal de referencia d.
Para realizar ajustes en los parmetros libres de la planta acorde con el algoritmo de
aprendizaje de correccin de error se tiene que conocer la matriz jacobiana:
J = (d Yk / d uj)
Donde Yk es un elemento de la salida de la planta, u j es un elemento de la entrada de la
planta u. Debido a que las derivaciones de varios valores de k y j dependen del punto de
operacin de la planta que son no conocidos, se procede a la aproximacin con una de
las dos reglas:
- Aprendizaje indirecto. Usa la medida actual de entrada y salida en la planta, una red
neuronal es construida primero para producir una copia de sta. Este modelo es usado
para estimar el valor J de la matriz jacobina. Las derivadas parciales son usadas en la
correccin de error en el proceso del algoritmo de aprendizaje cuando se ajustan los
valores por medios computacionales.
- Aprendizaje directo. Las seales de las derivadas parciales son generalmente
conocidas y quedan constantes en el rango dinmico de la planta. Esto sugiere que se
haga una aproximacin de las derivadas por su signo individual. El control neuronal es
por tanto habilitado para aprender el ajuste de sus parmetros libres directamente de la
planta.
Imagen 5.
Diagrama de
bloques del
sistema de
Control con
retroalimentacin.

Filtrado.
Este trmino se refiere generalmente en dispositivos o algoritmos que son usados para
extraer informacin acerca de cantidades prescritas o de inters de un conjunto de datos
mezclados con ruido. En general se realiza un proceso de filtrado cuando hay 3 tareas
bsicas de procesamiento de informacin:
1.- Filtrado. Esta tarea se refiere a la extraccin de informacin acerca de un valor o
cantidad de inters en un tiempo discreto n.
2.- Suavizado. Esta tarea se diferencia de la anterior en que no necesita tener disponible
un tiempo n, lo medido despus de un tiempo n tambin puede ser usado para obtener
informacin. Esto quiere decir que en el suavizado hay un retrazo en producir los datos
de inters. Ya que se tienen datos en el tiempo n y despus, se logra que este proceso
tenga mayor exactitud que el filtrado en sentido estadstico.
3.- Prediccin. Esta tarea es diagnosticada del lado del procesamiento de informacin.
El fin es derivar o anticipar informacin de alguna cantidad de inters en un tiempo n +
no (futuro).
Un problema de filtrado similar al problema del cocktail ocurre en las redes neuronales
(artificiales). Se trata en que el ruido afecta de manera notoria la comunicacin. En este
mbito tiene el nombre de umbrella of blind signal separation, en donde se tienen una
fuente desconocida de seales (si(n))im =1 que son mutuamente independientes. Estas
seales son linealmente mezcladas por un sensor desconocido para producir el vector m
de 1 observacin.
x(n) = A u (n)
donde : u(n) = (u1(n), u2(n), . Um(n))T
x(n) = (x1(n), x2(n), . Xm(n))T
donde A es una matriz mezclada no singular desconocida de dimensin m por m. Dado
el vector de observaciones x(n), el requerimiento es recopilar las seales originales
u1(n), u2(n), . Um(n) de una manera no supervisada.
El objetivo es predecir el valor actual x(n) del proceso, basado en valores pasados que
son uniformemente plasmados en el tiempo como lo mostrado por x(n-T), x(n-2T), ,
x(n-mT) en donde T es el tiempo de muestreo y m es el orden de prediccin. La
prediccin puede ser resuelta con los mtodos existentes, tal como lo es el de correccin
de error. La prediccin debe ser vista como un modelo de construccin en el sentido de
que al hacer ms iqueo el error en un modo estadstico, la red mejorar y servir como
modelo del proceso fsico. La red neuronal es una muy buen opcin para los casos en
los cuales el comportamiento del sistema no es lineal.

Imagen 6. Diagrama de bloques de la separacin de fuente ciega

Imagen 7. Diagrama de bloques de la prediccin no lineal.

2.11 Memoria
En un contexto neurolgico, la memoria se refiere a las alteraciones neuronales
inducidas por la interaccin de un organismo con su entorno. Si no hay cambios no
puede haber memoria. Para que la memoria sea til debe ser accesible al sistema
nervioso para que as pueda influir en conductas futura. De cualquier manera, un patrn
de actividad debe ser inicialmente almacenado en la memoria por un proceso de
aprendizaje. Cuando un patrn de actividad particular es aprendido, es almacenado en el
cerebro donde es llamado cuando se le requiere. La memoria puede ser dividida en
memoria de corto plazo y memoria de largo plazo, dependiendo del tiempo de
retencin. La memoria de corto plazo se refiere a la compilacin de conocimiento que
representa el estado actual del entorno. Cualquier discrepancia entre el conocimiento
almacenado en la memoria de corto plazo y el nuevo estado es usada para actualizar
la memoria de corto plazo. La memoria a largo plazo, se refiere al conocimiento
adquirido por un largo tiempo o de forma permanente.
La memoria ofrece las siguientes caractersticas:

La memoria es distribuida
El patrn de estmulo (clave) y el patrn de respuesta (almacenada) de una
memoria asociada consiste en vectores de datos.
La informacin es almacenada en la memoria por la configuracin de un patrn
espacial de actividad neuronal a lo largo de un gran nmero de neuronas.
La informacin contenida en un estmulo no slo determina la localizacin
donde fue almacenada en la memoria pero adems una direccin para su
recuperacin.

Aunque las neuronas no representan clulas de cmputo confiables y de poco

ruido, la memoria exhibe un alto grado de resistencia al ruido o dao de tipo
difusivo.
Puede haber interaccin entre los patrones individuales almacenados en
memoria. (De otra manera la memoria debera de ser excepcionalmente larga
para poder acomodar el almacenamiento de un largo nmero de patrones en
perfecto aislamiento). Es por esto que puede haber distintas posibilidades de
error en la memoria durante el proceso de renombramiento.

En una memoria distribuida, el tema de inters son las actividades simultneas de

muchas neuronas diferentes, que son el resultado de estmulos externos o internos. Las
actividades neuronales forman un patrn espacial dentro de la memoria que contiene
informacin acerca del estmulo. Con esta informacin, la memoria desarrolla un mapeo
distribuido que transforma un patrn de actividad en el espacio de entrada en otro patrn
de actividad en el espacio de la salida.

La figura ilustra una red que puede ser considerada como componente modelo de un
sistema nervioso. Cada neurona en la capa de entrada est conectada a cada una de las
neuronas en la capa de salida. Las conexiones sinpticas actuales entre las neuronas son
complejas y redundantes. Una unin ideal simple es usada para representar el efecto
integrado para todos los contactos sinpticos entre las dendritas de una neurona en la
capa de entrada y las ramas del axn de una neurona en la capa de salida. El nivel de
actividad de una neurona en la capa de entrada puede afectar el nivel de actividad de
cada neurona en la capa de salida.

La situacin correspondiente de una red neuronal artificial se ilustra en la figura.

Aqu tenemos una capa de entrada de nodos de origen y una capa de salida de neuronas
que actan como nodos de cmputo. En este caso, los pesos sinpticos de la red son
incluidos como partes integrales de las de las neuronas en la capa de salida. Los enlaces
entre las dos capas de la red son simples alambres.

1.7 Representacin del conocimiento

El conocimiento se refiere a almacenar informacin o modelos, usados por una
persona o mquina para interpretar, predecir y responder apropiadamente a el mundo
exterior.
Las principales caractersticas de la representacin de conocimiento son dos:
Lo que hace explicito la informacin
Como la informacin es interpretada para su posterior uso.
Se puede decir que una buena representacin de la informacin se traduce en una buena
solucin.
La red neuronal debe aprender el modelo de su ambiente y mantenerlo muy acorde a su
mundo exterior para lograr sus metas.
El conocimiento del mundo consiste de dos tipos de informacin.
La informacin previa: informacin que se sabe ya del mundo.
La informacin que por medio de mediciones. Se usan sensores que registran
esta informacin y que generan distorsiones. Estas observaciones dan una
reserva de informacin que se usa para construir los ejemplos para entrenar a la
red.
Los ejemplos pueden ser:
Etiquetados: Pareja de entrada y salida deseada
No etiquetados: Consiste de una interpretacin de la entrada sola.
En cualquier caso un grupo de ejemplos representa conocimiento del mundo exterior
que la red puede aprender por medio de entrenamiento.
La informacin, o muestras, de entrenamiento son pares de seales de entrada con su
correspondiente salida deseada.
El diseo de una red neuronal puede seguirse de la siguiente manera:
Aprendizaje: Se selecciona una arquitectura apropiada, Y un nmero de
neuronas a la entrada y a la salida correspondiente al nmero de variables a
modificar. Se realizan una serie de entrenamientos para perfeccionar el
algoritmo.
Generalizacin: Ahora se entrena la red con situaciones que no se haban
contemplado en el entrenamiento Se evala que tan certera respondi a la seal
desconocida. Esta caracterstica lo diferencia de un procesador de informacin.
La red lidia con informacin real dejndola a esta programarse por si misma por lo que
no solamente la red provee el modelo implcito del ambiente, sino que realiza la
funcin d un procesador de informacin.
Los ejemplos pueden ser:
Positivos: Si la informacin de entrenamiento contiene el objetivo en inters
Negativos: Contiene informacin que no contiene el objetivo en inters y que si
puede confundir a la red.
La representacin del conocimiento del ambiente se define como los valores que toman
los parmetros libres de la red. Esto marca la clave para un buen desempeo.