Almacenamiento Masivo

Debido al gran avance que existe da con da en las tecnologas de informacin, las organizaciones se han tenido que enfrentar a nuevos desafos que les permitan analizar, descubrir y entender ms all de lo que sus herramientas tradicionales reportan sobre su informacin, al mismo tiempo que durante los ltimos aos el gran crecimiento de las aplicaciones disponibles en internet (georeferenciamiento, redes sociales, etc.) han sido parte importante en las decisiones de negocio de las empresas. El presente artculo tiene como propsito introducir al lector en el concepto de Big Data y describir algunas caractersticas de los componentes principales que constituyen una solucin de este tipo.

1. Introduccin
El primer cuestionamiento que posiblemente llegue a su mente en este momento es Qu es Big Data y porqu se ha vuelto tan importante? pues bien, en trminos generales podramos referirnos como a la tendencia en el avance de la tecnologa que ha abierto las puertas hacia un nuevo enfoque de entendimiento y toma de decisiones, la cual es utilizada para describir enormes cantidades de datos (estructurados, no estructurados y semi estructurados) que tomara demasiado tiempo y sera muy costoso cargarlos a un base de datos relacional para su anlisis. De tal manera que, el concepto de Big Data aplica para toda aquella informacin que no puede ser procesada o analizada utilizando procesos o herramientas tradicionales. Sin embargo, Big Data no se refiere a alguna cantidad en especfico, ya que es usualmente utilizado cuando se habla en trminos de petabytes y exabytes de datos. Entonces Cunto es demasiada informacin de manera que sea elegible para ser procesada y analizada utilizando Big Data? Analicemos primeramente en trminos de bytes: Gigabyte = 109 = 1,000,000,000 Terabyte = 1012 = 1,000,000,000,000 Petabyte = 1015 = 1,000,000,000,000,000 Exabyte = 1018 = 1,000,000,000,000,000,000 Adems del gran volumen de informacin, esta existe en una gran variedad de datos que pueden ser representados de diversas maneras en todo el mundo, por ejemplo de dispositivos mviles, audio, video, sistemas GPS, incontables sensores digitales en equipos industriales, automviles, medidores elctricos, veletas, anemmetros, etc., los cuales pueden medir y comunicar el posicionamiento, movimiento, vibracin, temperatura, humedad y hasta los cambios qumicos que sufre el aire, de tal forma que las aplicaciones que analizan estos datos requieren que la velocidad de respuesta sea lo demasiado rpida para lograr obtener la informacin correcta en el momento preciso. Estas son las caractersticas principales de una oportunidad para Big Data. Es importante entender que las bases de datos convencionales son una parte importante y relevante para una solucin analtica. De hecho, se vuelve mucho ms vital cuando se usa en conjunto con la plataforma de Big Data. Pensemos en nuestras manos izquierda y derecha, cada una ofrece fortalezas individuales para cada tarea en especfico. Por ejemplo, un beisbolista sabe que una de sus manos es mejor para lanzar la pelota y la otra para atraparla; puede ser que cada mano intente hacer la actividad de la otra, mas sin embargo, el resultado no ser el ms ptimo.

2. De dnde proviene toda esa informacin?

Los seres humanos estamos creando y almacenando informacin constantemente y cada vez ms en cantidades astronmicas. Se podra decir que si todos los bits y bytes de datos del ltimo ao fueran guardados en CD's, se generara una gran torre desde la Tierra hasta la Luna y de regreso. Esta contribucin a la acumulacin masiva de datos la podemos encontrar en diversas industrias, las compaas mantienen grandes cantidades de datos transaccionales, reuniendo informacin acerca de sus clientes, proveedores, operaciones, etc., de la misma manera sucede con el sector pblico. En muchos pases se administran enormes bases de datos que contienen datos de censo de poblacin, registros mdicos, impuestos, etc., y si a todo esto le aadimos transacciones financieras realizadas en lnea o por dispositivos mviles, anlisis de redes sociales (en Twitter son cerca de 12 Terabytes de tweets creados diariamente y Facebook almacena alrededor de 100 Petabytes de fotos y videos), ubicacin geogrfica mediante coordenadas GPS, en otras palabras, todas aquellas actividades que la mayora de nosotros realizamos varias veces al da con nuestros "smartphones", estamos hablando de que se generan alrededor de 2.5 quintillones de bytes diariamente en el mundo. 1 quintilln = 10 30 = 1,000,000,000,000,000,000,000,000,000,000 De acuerdo con un estudio realizado por Cisco[1], entre el 2011 y el 2016 la cantidad de trfico de datos mviles crecer a una tasa anual de 78%, as como el nmero de dispositivos mviles conectados a Internet exceder el nmero de habitantes en el planeta. Las naciones unidas proyectan que la poblacin mundial alcanzar los 7.5 billones para el 2016 de tal modo que habr cerca de 18.9 billones de dispositivos conectados a la red a escala mundial, esto conllevara a que el trfico global de datos mviles alcance 10.8 Exabytes mensuales o 130 Exabytes anuales. Este volumen de trfico previsto para 2016 equivale a 33 billones de DVDs anuales o 813 cuatrillones de mensajes de texto. Pero no solamente somos los seres humanos quienes contribuimos a este crecimiento enorme de informacin, existe tambin la comunicacin denominada mquina a mquina (M2M machine-tomachine) cuyo valor en la creacin de grandes cantidades de datos tambin es muy importante. Sensores digitales instalados en contenedores para determinar la ruta generada durante una entrega de algn paquete y que esta informacin sea enviada a las compaas de transportacin, sensores en medidores elctricos para determinar el consumo de energa a intervalos regulares para que sea enviada esta informacin a las compaas del sector energtico. Se estima que hay ms de 30 millones de sensores interconectados en distintos sectores como automotriz, transportacin, industrial, servicios, comercial, etc. y se espera que este nmero crezca en un 30% anualmente.

3. Qu tipos de datos debo explorar?

Muchas organizaciones se enfrentan a la pregunta sobre qu informacin es la que se debe analizar?, sin embargo, el cuestionamiento debera estar enfocado hacia qu problema es el que se est tratando de resolver?

Si bien sabemos que existe una amplia variedad de tipos de datos a analizar, una buena clasificacin nos ayudara a entender mejor su representacin, aunque es muy probable que estas categoras puedan extenderse con el avance tecnolgico.

Figura 1. Tipos de datos de Big Data

1.- Web and Social Media: Incluye contenido web e informacin que es obtenida de las redes sociales como Facebook, Twitter, LinkedIn, etc, blogs. 2.- Machine-to-Machine (M2M): M2M se refiere a las tecnologas que permiten conectarse a otros dispositivos. M2M utiliza dispositivos como sensores o medidores que capturan algn evento en particular (velocidad, temperatura, presin, variables meteorolgicas, variables qumicas como la salinidad, etc.) los cuales transmiten a travs de redes almbricas, inalmbricas o hbridas a otras aplicaciones que traducen estos eventos en informacin significativa. 3.- Big Transaction Data: Incluye registros de facturacin, en telecomunicaciones registros detallados de las llamadas (CDR), etc. Estos datos transaccionales estn disponibles en formatos tanto semiestructurados como no estructurados.

4.- Biometrics: Informacin biomtrica en la que se incluye huellas digitales, escaneo de la retina, reconocimiento facial, gentica, etc. En el rea de seguridad e inteligencia, los datos biomtricos han sido informacin importante para las agencias de investigacin. 5.- Human Generated: Las personas generamos diversas cantidades de datos como la informacin que guarda un call center al establecer una llamada telefnica, notas de voz, correos electrnicos, documentos electrnicos, estudios mdicos, etc

4. Componentes de una plataforma Big Data

Las organizaciones han atacado esta problemtica desde diferentes ngulos. Todas esas montaas de informacin han generado un costo potencial al no descubrir el gran valor asociado. Desde luego, el ngulo correcto que actualmente tiene el liderazgo en trminos de popularidad para analizar enormes cantidades de informacin es la plataforma de cdigo abierto Hadoop. Hadoop est inspirado en el proyecto de Google File System(GFS) y en el paradigma de programacin MapReduce, el cual consiste en dividir en dos tareas (mapper reducer) para manipular los datos distribuidos a nodos de un clster logrando un alto paralelismo en el procesamiento. Hadoop est compuesto de tres piezas: Hadoop Distributed File System (HDFS), Hadoop MapReduce y Hadoop Common. Hadoop Distributed File System(HDFS) Los datos en el clster de Hadoop son divididos en pequeas piezas llamadas bloques y distribuidas a travs del clster; de esta manera, las funciones map y reduce pueden ser ejecutadas en pequeos subconjuntos y esto provee de la escalabilidad necesaria para el procesamiento de grandes volmenes. La siguiente figura ejemplifica como los bloques de datos son escritos hacia HDFS. Observe que cada bloque es almacenado tres veces y al menos un bloque se almacena en un diferente rack para lograr redundancia. Figura 2. Ejemplo de HDFS

Hadoop MapReduce MapReduce es el ncleo de Hadoop. El trmino MapReduce en realidad se refiere a dos procesos separados que Hadoop ejecuta. El primer proceso map, el cual toma un conjunto de datos y lo convierte en otro conjunto, donde los elementos individuales son separados en tuplas (pares de llave/valor). El proceso reduce obtiene la salida de map como datos de entrada y combina las tuplas en un conjunto ms pequeo de las mismas. Una fase intermedia es la denominada Shuffle la cual obtiene las tuplas del proceso map y determina que nodo procesar estos datos dirigiendo la salida a una tarea reduce en especfico. La siguiente figura ejemplifica un flujo de datos en un proceso sencillo de MapReduce.

Figura 3. Ejemplo de MapReduce Hadoop Common Hadoop Common Components son un conjunto de libreras que soportan varios subproyectos de Hadoop. Adems de estos tres componentes principales de Hadoop, existen otros proyectos relacionados los cuales son definidos a continuacin: Avro Es un proyecto de Apache que provee servicios de serializacin. Cuando se guardan datos en un archivo, el esquema que define ese archivo es guardado dentro del mismo; de este modo es ms sencillo para cualquier aplicacin leerlo posteriormente puesto que el esquema esta definido dentro del archivo. Cassandra Cassandra es una base de datos no relacional distribuida y basada en un modelo de almacenamiento de <clave-valor>, desarrollada en Java. Permite grandes volmenes de datos en forma distribuida. Twitter es una de las empresas que utiliza Cassandra dentro de su plataforma. Chukwa Diseado para la coleccin y anlisis a gran escala de "logs". Incluye un toolkit para desplegar los resultados del anlisis y monitoreo. Flume Tal como su nombre lo indica, su tarea principal es dirigir los datos de una fuente hacia alguna otra localidad, en este caso hacia el ambiente de Hadoop. Existen tres entidades principales: sources, decorators y sinks. Un source es bsicamente cualquier fuente de datos, sink es el

destino de una operacin en especfico y un decorator es una operacin dentro del flujo de datos que transforma esa informacin de alguna manera, como por ejemplo comprimir o descomprimir los datos o alguna otra operacin en particular sobre los mismos. HBase Es una base de datos columnar (column-oriented database) que se ejecuta en HDFS. HBase no soporta SQL, de hecho, HBase no es una base de datos relacional. Cada tabla contiene filas y columnas como una base de datos relacional. HBase permite que muchos atributos sean agrupados llamndolos familias de columnas, de tal manera que los elementos de una familia de columnas son almacenados en un solo conjunto. Eso es distinto a las bases de datos relacionales orientadas a filas, donde todas las columnas de una fila dada son almacenadas en conjunto. Facebook utiliza HBase en su plataforma desde Noviembre del 2010. Hive Es una infraestructura de data warehouse que facilita administrar grandes conjuntos de datos que se encuentran almacenados en un ambiente distribuido. Hive tiene definido un lenguaje similar a SQL llamado Hive Query Language(HQL), estas sentencias HQL son separadas por un servicio de Hive y son enviadas a procesos MapReduce ejecutados en el cluster de Hadoop. El siguiente es un ejemplo en HQL para crear una tabla, cargar datos y obtener informacin de la tabla utilizando Hive
CREATE TABLE Tweets (from_user STRING, userid BIGINT, tweettext STRING, retweets INT) COMMENT 'This is the Twitter feed table' STORED AS SEQUENCEFILE; LOAD DATA INPATH 'hdfs://node/tweetdata' INTO TABLE TWEETS; SELECT from_user, SUM(retweets) FROM TWEETS GROUP BY from_user;

Jaql Fue donado por IBM a la comunidad de software libre. Query Language for Javascript Object Notation (JSON) es un lenguaje funcional y declarativo que permite la explotacin de datos en formato JSON diseado para procesar grandes volmenes de informacin. Para explotar el paralelismo, Jaql reescribe los queries de alto nivel (cuando es necesario) en queries de "bajo nivel" para distribuirlos como procesos MapReduce. Internamente el motor de Jaql transforma el query en procesos map y reduce para reducir el tiempo de desarrollo asociado en analizar los datos en Hadoop. Jaql posee de una infraestructura flexible para administrar y analizar datos semiestructurados como XML, archivos CSV, archivos planos, datos relacionales, etc. Lucene Es un proyecto de Apache bastante popular para realizar bsquedas sobre textos. Lucene provee de libreras para indexacin y bsqueda de texto. Ha sido principalmente utilizado en la implementacin de motores de bsqueda (aunque hay que considerar que no tiene funciones de "crawling" ni anlisis de documentos HTML ya incorporadas). El concepto a nivel de arquitectura de Lucene es simple, bsicamente los documentos (document) son dividos en campos de texto (fields) y se genera un ndice sobre estos campos de texto. La indexacin es el componente clave

de Lucene, lo que le permite realizar bsquedas rpidamente independientemente del formato del archivo, ya sean PDFs, documentos HTML, etc. Oozie Como pudo haber notado, existen varios procesos que son ejecutados en distintos momentos los cuales necesitan ser orquestados para satisfacer las necesidades de tan complejo anlisis de informacin. Oozie es un proyecto de cdigo abierto que simplifica los flujos de trabajo y la coordinacin entre cada uno de los procesos. Permite que el usuario pueda definir acciones y las dependencias entre dichas acciones. Un flujo de trabajo en Oozie es definido mediante un grafo acclico llamado Directed Acyclical Graph (DAG), y es acclico puesto que no permite ciclos en el grafo; es decir, solo hay un punto de entrada y de salida y todas las tareas y dependencias parten del punto inicial al punto final sin puntos de retorno. Un ejemplo de un flujo de trabajo en Oozie se representa de la siguiente manera: Figura 4. Flujo de trabajo en Oozie

Pig Inicialmente desarrollado por Yahoo para permitir a los usuarios de Hadoop enfocarse ms en analizar todos los conjuntos de datos y dedicar menos tiempo en construir los programas MapReduce. Tal como su nombre lo indica al igual que cualquier cerdo que come cualquier cosa, el lenguaje PigLatin fue diseado para manejar cualquier tipo de dato y Pig es el ambiente de ejecucin donde estos programas son ejecutados, de manera muy similar a la relacin entre la mquina virtual de Java (JVM) y una aplicacin Java. ZooKeeper ZooKeeper es otro proyecto de cdigo abierto de Apache que provee de una infraestructura centralizada y de servicios que pueden ser utilizados por aplicaciones para asegurarse de que los procesos a travs de un cluster sean serializados o sincronizados. Internamente en ZooKeeper una aplicacin puede crear un archivo que se persiste en memoria en los servidores ZooKeeper llamado znode. Este archivo znode puede ser actualizado por cualquier nodo en el cluster, y cualquier nodo puede registrar que sea informado de los cambios ocurridos en ese znode; es decir, un servidor puede ser configurado para "vigilar" un znode en particular. De este modo, las aplicaciones pueden sincronizar sus procesos a travs de un cluster distribuido actualizando su estatus en cada znode, el cual informar al resto del cluster sobre el estatus correspondiente de algn nodo en especfico.

Como podr observar, ms all de Hadoop, una plataforma de Big Data consiste de todo un ecosistema de proyectos que en conjunto permiten simplificar, administrar, coordinar y analizar grandes volmenes de informacin.

5. Big Data y el campo de investigacin

Los cientficos e investigadores han analizado datos desde ya hace mucho tiempo, lo que ahora representa el gran reto es la escala en la que estos son generados. Esta explosin de "grandes datos" est transformando la manera en que se conduce una investigacin adquiriendo habilidades en el uso de Big Data para resolver problemas complejos relacionados con el descubrimiento cientfico, investigacin ambiental y biomdica, educacin, salud, seguridad nacional, entre otros. De entre los proyectos que se pueden mencionar donde se ha llevado a cabo el uso de una solucin de Big Data se encuentran: El Language, Interaction and Computation Laboratory (CLIC) en conjunto con la Universidad de Trento en Italia, son un grupo de investigadores cuyo inters es el estudio de la comunicacin verbal y no verbal tanto con mtodos computacionales como cognitivos. Lineberger Comprehensive Cancer Center - Bioinformatics Group utiliza Hadoop y HBase para analizar datos producidos por los investigadores de The Cancer Genome Atlas(TCGA) para soportar las investigaciones relacionadas con el cncer. El PSG College of Technology, India, analiza mltiples secuencias de protenas para determinar los enlaces evolutivos y predecir estructuras moleculares. La naturaleza del algoritmo y el paralelismo computacional de Hadoop mejora la velocidad y exactitud de estas secuencias. La Universidad Distrital Francisco Jose de Caldas utiliza Hadoop para apoyar su proyecto de investigacin relacionado con el sistema de inteligencia territorial de la ciudad de Bogot. La Universidad de Maryland es una de las seis universidades que colaboran en la iniciativa acadmica de cmputo en la nube de IBM/Google. Sus investigaciones incluyen proyectos en la lingistica computacional (machine translation), modelado del lenguaje, bioinformtica, anlisis de correo electrnico y procesamiento de imgenes. Para ms referencias en el uso de Hadoop puede dirigirse a : http://wiki.apache.org/hadoop/PoweredBy El Instituto de Tecnologa de la Universidad de Ontario (UOIT) junto con el Hospital de Toronto utilizan una plataforma de big data para anlisis en tiempo real de IBM (IBM InfoSphere Streams), la cual permite monitorear bebs prematuros en las salas de neonatologa para determinar cualquier cambio en la presin arterial, temperatura, alteraciones en los registros del electrocardiograma y electroencefalograma, etc., y as detectar hasta 24 horas antes aquellas condiciones que puedan ser una amenaza en la vida de los recin nacidos. Los laboratorios Pacific Northwest National Labs(PNNL) utilizan de igual manera IBM InfoSphere Streams para analizar eventos de medidores de su red elctrica y en tiempo real verificar aquellas excepciones o fallas en los componentes de la red, logrando comunicar casi de manera inmediata a los consumidores sobre el problema para ayudarlos en administrar su consumo de energa elctrica.

La esclerosis mltiple es una enfermedad del sistema nervioso que afecta al cerebro y la mdula espinal. La comunidad de investigacin biomdica y la Universidad del Estado de Nueva York (SUNY) estn aplicando anlisis con big data para contribuir en la progresin de la investigacin, diagnstico, tratamiento, y quizs hasta la posible cura de la esclerosis mltiple. Con la capacidad de generar toda esta informacin valiosa de diferentes sistemas, las empresas y los gobiernos estn lidiando con el problema de analizar los datos para dos propsitos importantes: ser capaces de detectar y responder a los acontecimientos actuales de una manera oportuna, y para poder utilizar las predicciones del aprendizaje histrico. Esta situacin requiere del anlisis tanto de datos en movimiento (datos actuales) como de datos en reposo (datos histricos), que son representados a diferentes y enormes volmenes, variedades y velocidades.

Bibliografa
http://www.ibm.com/developerworks/ssa/local/im/que-es-big-data/ http://www.sas.com/offices/europe/spain/SASbigdata.html http://www.oracle.com/lad/technologies/big-data/index.html https://www.centrodeinnovacionbbva.com/magazines/innovation-edge/publications/21-bigdata/posts/153-big-data-en-que-punto-estamos