TEMATICA:

Prcticas Pre Profesionales II

X Ciclo
Ingeniera de Sistemas
DATOS DE IDENTIFICACIN
CURSO

: Prcticas Pre Profesionales II

FECHA DE ENTREGA

: 17 de Julio de 2015

SEMESTRE ACADMICO

: 2015 I

ESTUDIANTE

: LUZ MARA ALFARO ESQUIVEL

FACULTAD

: FACULTAD DE INGENIERA ARQUITECTURA Y URBANISMO

ESCUELA PROFESIONAL

: INGENIERA DE SISTEMAS

PROFESOR

Programa Acadmico de Educacin

Superior a Distancia

CNN (CONVNET) CONVOLUTIONAL NEURAL NETWORKS

I. INTRODUCCIN
El diseo de las redes neuronales convolucionales sigue el descubrimiento
de mecanismos visuales en los organismos vivos. En nuestro cerebro, la
corteza visual contiene una gran cantidad de clulas. Estas clulas son
responsables de detectar la luz en pequeas, sub-regiones del campo visual,
llamados campos receptivos superpuestos. Estas clulas actan como filtros
locales sobre el espacio de entrada. Las clulas ms complejas tienen
campos receptivos ms grandes. Se crea un operador de convolucin para
llevar a cabo la misma funcin por todas estas clulas.

Redes

neuronales

convolucionales se introdujeron
en un artculo de 1980 por
Kunihiko Fukushima. En 1988 se
desarrollaron por separado, con
el

paralelo

explcito

circunvoluciones

entrenables

para seales temporales, por

Toshiteru

Homma,

Les

Atlas,

y Robert

J.

Marks

II.

Su

diseo

fue

posteriormente mejorado en 1998 por Yann LeCun , Lon Bottou, Yoshua

Bengio, y Patrick Haffner, generalizada en 2003 por Sven Behnke,

simplificado por Patrice Simard, David Steinkraus, y John C. Platt en el mismo

ao. La famosa red LeNet-5 puede clasificar dgitos xito, que se aplica a
reconocer comprobar los nmeros. Sin embargo, teniendo en cuenta los
problemas ms complejos de la amplitud y profundidad de la red seguirn
aumentando el que se convertira limitada por los recursos informticos. El
enfoque utilizado por LeNet no realiz bien con problemas ms complejos.

II. RESUMEN DE LA TEMTICA ABORDADA

a) Ideas o Palabras importantes
-

Capa de Convolucin

Capa de Pooling

Capa FC (Fully Conntected)

b) Desarrollo de la temtica
Los diferentes tipos de capas:
- Capa Convolucional
A diferencia de una convolucin codificado a mano kernel (Sobel,
Prewitt, Roberts), en una red neural convolucional, los parmetros de
cada ncleo de convolucin son entrenados por el algoritmo de
backpropagation. Hay muchos ncleos de convolucin en cada capa,
y cada ncleo se replica en toda la imagen con los mismos
parmetros. La funcin de los operadores de convolucin es extraer
diferentes caractersticas de la entrada. La capacidad de una red
neuronal vara, dependiendo del nmero de capas. Las primeras
capas de convolucin obtendrn las caractersticas de bajo nivel,
como bordes, lneas y curvas. Cuantas ms capas de la red tiene, las
caractersticas de alto nivel que van a recibir.
-

Capa de Relu
Relu es la abreviatura de Unidades Rectificado lineales . Esta es una
capa de neuronas que utilizan la no saturacin funcin de activacin

f ( x )=max ( 0, x) .
Aumenta las propiedades no lineales de la funcin de decisin y de la
red global sin afectar los campos receptivos de la capa de
convolucin.

Otras funciones se utilizan para aumentar la no linealidad. Por

ejemplo,

la

saturacin

f ( x )=tanh ( x ) , f ( x )= tanh ( x ) .

de tangente
Y

la funcin

hiperblica
sigmoide

f ( x )=(1+ ex )1 .
En comparacin con las unidades de TANH, la ventaja de RELU es que
la red neuronal se entrena varias veces ms rpido.

Capa de Pooling
A fin de reducir la varianza, capas de fondo comn calculan la max o
el valor promedio de una caracterstica particular sobre una regin de
la imagen. Esto asegurar que se obtenga el mismo resultado,
incluso cuando las caractersticas de imagen tienen pequeas
traducciones. Esta es una operacin importante para la clasificacin
de objetos y deteccin.

Mtodo de Insercin
Desde una capa totalmente conectada ocupa la mayor parte de los
parmetros, que es propenso a overfitting . El mtodo de desercin
se introduce para evitar sobreajuste. En cada etapa de formacin, los
nodos individuales estn bien "abandonaron" de la red con una
probabilidad 1-p o mantenidos con probabilidad p, por lo que una red
reducida es izquierda; Tambin se eliminan los bordes entrantes y
salientes a un nodo cado-out. Slo la red reducida est entrenado en
los datos en esa etapa. Los nodos eliminados son luego reinsertados
en la red con sus pesos originales.
En las etapas de formacin, la probabilidad de un nodo oculto ser
retenido (es decir, no se redujo) es generalmente 0,5; para la entrada
de nodos de la probabilidad de retencin debe ser mucho mayor,
intuitivamente, porque la informacin se pierde directamente cuando
se ignoran nodos de entrada.

A la hora de la prueba despus del entrenamiento ha terminado, nos

gustara idealmente gustara encontrar un promedio de la muestra de
todas las posibles 2 ^ n redes cado fuera; por desgracia esto es
infeasable para n grande. Sin embargo, podemos encontrar una
aproximacin mediante el uso de la red completa con la salida de
cada nodo ponderado por un factor de p, por lo que el valor esperado
de la salida de cualquier nodo es el mismo que en las etapas de
formacin. Esta es la mayor contribucin del mtodo de desercin: a
pesar de que efectivamente genera 2 ^ n redes neuronales, y como
tal permite la combinacin de modelos, en tiempo de prueba slo una
nica red necesita ser probado.
Al evitar la formacin de todos los nodos en todos los datos de
formacin, desercin disminuye sobreajuste en redes neuronales. El
mtodo

tambin

mejora

significativamente

la

velocidad

de

formacin. Esto hace que la combinacin modelo prctico, incluso

para redes neuronales profundas.

Capa Prdida
Se puede utilizar diferentes funciones de prdida para diferentes
tareas. Prdida Softmax se utiliza para predecir una sola clase de K
clases

mutuamente

excluyentes. Sigmoide

prdida

de

entropa

cruzada se utiliza para la prediccin de K valores de probabilidad

independiente en [0,1]. Prdida euclidiana se utiliza para la regresin
a las etiquetas de valor real [-inf, inf]
Aplicaciones:
- El reconocimiento de imgenes
Redes neuronales convolucionales se utilizan a menudo en sistemas
de reconocimiento de imagen. Han logrado una tasa de error del 0,23
por ciento sobre la base de datos MNIST, que a partir de febrero 2012
es el ms bajo alcanzado en la base de datos. Otro artculo sobre el
uso de la CNN para la clasificacin de imgenes inform que el
proceso de aprendizaje era "sorprendentemente rpido"; en el mismo

papel, los mejores resultados publicados en el momento se lograron

en la base de datos y la base de datos MNIST Norb.
Cuando se aplica al reconocimiento facial , que fueron capaces de
contribuir a una gran disminucin de la tasa de error. En otro papel,
que fueron capaces de lograr una tasa de reconocimiento del 97,6
por ciento en "5600 imgenes fijas de ms de 10 temas". CNNs se
han utilizado para evaluar la calidad de vdeo de una manera objetiva
despus de haber sido entrenados de forma manual; el sistema
resultante tena un muy bajo error cuadrtico medio.

Anlisis de Videos
El video es ms compleja que las imgenes ya que tiene otra
dimensin temporal. La forma comn es fusionar las caractersticas
de

diferentes

redes

neuronales

convolucionales,

que

son

responsables de espacial y corriente temporal.

Procesamiento del lenguaje natural

Redes neuronales convolucionales tambin han visto su uso en el
campo de procesamiento de lenguaje natural o PNL. Al igual que el
problema de la clasificacin de imgenes, algunas tareas de PNL
pueden formularse como asignar etiquetas a las palabras en una
oracin. La materia prima de la red neuronal entrenada moda que va
a extraer las caractersticas de las frases. El uso de algunos
clasificadores, podra predecir nuevas sentencias.

Jugar Go
Redes neuronales convolucionales se han utilizado en ordenador Go.
En diciembre de 2014, Christopher Clark y Amos Storkey publicaron
un artculo que muestra una red de convolucin entrenado por

aprendizaje supervisado a partir de una base de datos de juegos

profesionales humanos podra superar a GNU Go y ganar algunos
partidos contra Monte Carlo Bsqueda rbol Fuego 1.1 en una
fraccin del tiempo que tom Fuego jugar. Poco despus se anunci
que una gran red neuronal convolucional 12 capas haba predicho
correctamente el movimiento profesional en el 55% de las posiciones,
igualando la precisin de un dan 6 jugador humano. Cuando se utiliz
la red de convolucin entrenados directamente a jugar juegos de Go,
sin ningn tipo de bsqueda, que venci el programa de bsqueda
tradicional GNU Go en el 97% de los juegos, e igual el rendimiento
del rbol de bsqueda Monte Carlo programa Fuego simulando diez
mil playouts (alrededor un milln de posiciones) por jugada

III. APLICACIN AL CENTRO DE PRCTICAS

a) Cmo se podra aplicar al centro de prcticas?
CLASIFICACIN DE IMGENES CON EL ALGORITMO CNN

Una

de

las

principales

aplicaciones

del

algoritmo

CNN

es

el

reconocimiento de modelos aprendidos. Fruto de ello es la gran cantidad

de trabajo dedicado a la explotacin de esta caracterstica. Se pueden
hallar estrategias de aprendizaje muy eficientes que aseguran un ptimo
almacenamiento de patrones, modelos de neuronas con capacidades de
reconocimiento bien definidas, estudios tericos que aseguran la
estabilidad de la red, y anlisis de la capacidad de almacenamiento de
informacin de la misma. Se ha empleado mucho esfuerzo en reproducir
dos de las caractersticas principales del cerebro humano, aprendizaje y
reconocimiento, as como en comprender los principios que las
gobiernan.
Lo que se planea implementar en la empresa Computadoras y
Negocios S.A.C. es la utilizacin de este algoritmo en la aplicacin Web
del lado del cliente para realizar de una manera ms ptima de
ubicacin de los productos clasificando de una manera inteligente las
imgenes de estos con slo realizar una bsqueda.

En la figura podemos observar cmo se va filtrando desde el ingreso de

varias opciones, hasta llegar a la imagen buscada.

b) Qu ventajas se lograra?
Las ventajas de utilizar esta tecnologa:

La posibilidad de trabajo en tiempo real con imgenes digitalizadas.

Mejor ordenamiento y clasificacin de las imgenes de los diversos

productos.
Mejor presentacin del producto al cliente.
Incrementara la competitividad
Mayor satisfaccin del cliente al momento de usar la aplicacin.

c) Qu desventajas se tiene?
Las desventajas de utilizar esta tecnologa:
d) Qu herramientas tecnolgicas se necesitan implementar?

CONCLUSIONES Y RECOMENDACIONES
CONCLUSIONES:
-

Las redes neuronales CNN proporcionan un mtodo alternativo de

clasificacin de imgenes.
La aplicacin del algoritmo CNN en un problema de clasificacin simple
permiti

observar

cmo

es

su

funcionamiento

verificar

su

alta

dependencia de los datos de entrenamiento.

RECOMENDACIONES:
-

Se sugiere que la aplicacin de los mtodos emergentes debe ser muy

cuidadosa y exige un entendimiento cabal de sus ventajas y limitaciones.

BIBLIOGRAFA
-

Ueli

Meier; Jonathan

Masci; Luca

M.

Gambardella; Jurgen

Schmidhuber

(2011). "flexible, de alto rendimiento convolucionales redes neuronales para

la imagen Clasi fi cacin". Actas de la vigsima segunda conferencia
conjunta internacional sobre volumen de Inteligencia Artificial-Volume Two 2,
1237-1242.

Deng, Jia, et al. "Imagenet: Una base de datos jerrquica imagen a gran
escala" Visin por Computador y Reconocimiento de Patrones, 2009. CVPR
2009. Conferencia IEEE sobre. IEEE 2009.

Vengo, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). .

"Capa-Wise Greedy Formacin de Redes profundas" Avances en Sistemas de
Procesamiento de Informacin Neural, 153-160.

10

Srivastava, Nitish; C. Geoffrey Hinton; Alex Krizhevsky; Ilya Sutskever; Ruslan

Salakhutdinov (2014). "Desercin Escolar: Una manera sencilla para Prevenir
Redes Neuronales de sobreajuste". Journal of Machine Learning Investigacin
15 (1): 1929-58.

S. Behnke. Jerrquicas Redes Neuronales de interpretacin de imgenes,

volumen 2766 de Lecture Notes in Computer Science. Springer, 2003.

Homma, Toshiteru; Les Atlas; Robert Marcas II (1988). "Una red neuronal
artificial para el espacio-temporal bipolares patrones: Aplicacin a la
clasificacin de fonemas. Los avances en Neural Information Processing
Systems, 31-40.

II.- RESUMEN DE LA TEMATICA ABORDADA (mximo 4 hojas)

a) Ideas o palabras importantes
b) Desarrollo de la temtica

III.- APLICACIN AL CENTRO DE PRCTICAS (mximo 3 hojas)

(El alumno debe exponer en forma expositiva y grfica como podra aplicar la temtica abordada a su centro
de prcticas)

a) Cmo se podra aplicar al centro de prcticas?

b) Qu ventajas se lograra?
c) Qu desventajas se tiene?
d) Qu herramientas tecnolgicas se necesitan implementar?

Conclusiones y recomendaciones
Bibliografa.

11