Big Data para la Ciudad Inteligente

El proyecto CONVIVE
Tabla de contenido

Objetivo principal ............................................................................................................. 3

Enunciado tcnico del proyecto ........................................................................................ 3
Estrategia de desarrollo .................................................................................................... 4
Subsistema de adquisicin de Datos ......................................................................................... 4
Subsistema de Gestin de Datos ............................................................................................... 4
Subsistema de Anlisis de Datos ............................................................................................... 5

Conclusiones Finales. ........................................................................................................ 6

Objetivo principal
El objetivo principal del proyecto CONVIVE es mejorar el conocimiento del estado real de la ciudad a
travs de la medicin de datos de su entorno y de la informacin aportada por los ciudadanos. Para ello
se desplegar toda la infraestructura necesaria para adquirir esa informacin y tratarla
adecuadamente.

Un objetivo especfico del proyecto es que el tratamiento de datos debe realizarse con tecnologas
relacionadas con el Big Data. As nos aseguraremos de que el sistema pueda integrar fuentes de
informacin variadas incluso despus de que el sistema haya sido creado.

Enunciado tcnico del proyecto

El sistema a implementar consiste en una plataforma de anlisis de varias fuentes de informacin
existentes en el Ayuntamiento de Madrid. Para ello debe solucionar tres aspectos fundamentales:

a. La recogida de informacin de la ciudad. Este sistema incluye datos de dispositivos, de

ciudadanos y de entidades.
b. La gestin de los datos recogidos. Debe ser lo suficientemente genrica para gestionar
posibles incertidumbres en los datos propias de una ciudad: informacin incompleta,
nuevas fuentes de informacin, nuevos campos en la misma informacin, etc.
c. El anlisis de los datos almacenados. Los anlisis pueden basarse en la combinacin de
varios conjuntos de datos integrados en el sistema. Es necesario tener en cuenta que
estos datos pueden estar en ubicaciones diferentes y pueden tener un tamao que no
permita su adecuado procesamiento en una sola mquina.

En una ciudad el nmero de fuentes de informacin no est fijado ya que en cualquier momento
pueden aparecer nuevas fuentes de informacin a medida que se implanten tecnologas nuevas o
formas distintas de participar por parte de los ciudadanos. En el proyecto CONVIVE se definen algunas
fuentes de informacin que deben ser tratadas y se emplean tecnologas que faciliten la integracin de
nuevas fuentes de informacin en el futuro. Las fuentes de informacin que debe gestionar CONVIVE
son:

Avisos de incidencias en la va pblica por parte de los ciudadanos. El sistema integrar

estos avisos tanto de forma interactiva (para gestionar la incidencia) como de forma
procesada (registros de avisos durante un periodo de tiempo).
o Los avisos interactivos se almacenarn en un sistema que permita la actualizacin
del estado de los mismos.
o Los avisos procesados suelen corresponder a avisos interactivos que han sido
transformados a un formato que facilita su procesamiento estadstico. De esta
forma se podr relacionar estos avisos con otras fuentes estadsticas disponibles
en la ciudad.
Informacin acstica de la ciudad. El sistema integrar los datos del nivel de ruido existente
en distintas partes de la ciudad. Para ello obtendr la informacin de ruido en
determinadas zonas y los registrar para su posterior anlisis.
Estrategia de desarrollo
Para llevar a cabo el proyecto CONVIVE se divide su desarrollo en tres subsistemas distintos que
coinciden con los tres aspectos a solucionar previamente comentados.

Subsistema de adquisicin de Datos

En este subsistema de deben solucionar aspectos relacionados con la recogida de la informacin. Para
ello debe desplegar una red de sensores acsticos en la ciudad (encargados del proceso de recogida de
informacin de ruido) y habilitar un sistema de comunicacin para los ciudadanos (con el fin de generar
avisos de incidencias en la va pblica).

En el proyecto CONVIVE tendremos dos tipos de informacin al finalizar el trabajo en este subsistema:

1. Una base de datos con informacin sobre las incidencias reportadas por los ciudadanos. En esta
base de datos se almacenan las incidencias activas y cuyo estado se puede actualizar. Como
criterio de diseo se almacenarn en una base de datos (no en un fichero) ya que tiene ciertas
ventajas para su gestin.
2. Informacin relacionada con los niveles de ruido. Se recoger informacin de los sensores
desplegados en la ciudad y se almacenarn en ficheros con formato CSV.

Subsistema de Gestin de Datos

En este subsistema de deben solucionar aspectos relacionados con el almacenamiento y sincronizacin
de la informacin a travs de distintas mquinas.

Dado que no se implementar realmente el subsistema de adquisicin de datos (aunque s se llevar a

cabo un diseo detallado), se obtendrn ficheros con informacin del portal de datos abiertos del
Ayuntamiento de Madrid (http://datos.madrid.es/portal/site/egob). Este portal tiene un catlogo de
datos disponibles bajo los principios de la iniciativa Datos Abiertos (Open Data), que impulsa la
publicacin abierta, regular, reutilizable y autorizada de los datos de carcter pblico. En concreto se
utilizarn los conjuntos de datos siguientes:

a. Datos del Sistema AVISA. Tiene informacin de avisos de ciudadanos sobre incidencias
en la va pblica. Es un fichero en formato CSV.
 b. Informacin de la contaminacin acstica. Obtenido de la misma fuente
(Ayuntamiento de Madrid) en formato CSV.

El conjunto de datos del sistema AVISA contiene incidencias reportadas y procesadas. En el contexto
del proyecto CONVIVE, el conjunto de datos facilitado por el sistema AVISA ser utilizado como
incidencias que ya han sido procesadas. Adems, aunque tampoco se tendrn datos reales en la base
de datos definida previamente en el subsistema de adquisicin de datos, es necesario implementar los
procedimientos para transformar las entradas de la base de datos en ficheros compatibles con el
formato definido por AVISA.

Una vez que tengamos todos los datos como ficheros en formato CSV (los datos de AVISA, los de la base
de datos transformados al formato AVISA y los de ruido) utilizaremos un sistema que permita
distribuirlos a travs de varias mquinas y sincronizarlos para facilitar su acceso.

Para resumir, en este subsistema se deben realizar las siguientes tareas:

1. Obtener los ficheros de datos del sistema AVISA del Ayuntamiento de Madrid.
2. Obtener los ficheros de ruido del Ayuntamiento de Madrid.
3. Crear el procedimiento de transformacin de entradas de la base de datos en ficheros en
formato compatible con los del sistema AVISA.
4. Incluir todos los ficheros, los del sistema AVISA, los generados a partir de la base de datos y los
de ruido, en un sistema de ficheros distribuido.

Subsistema de Anlisis de Datos

En este subsistema de obtiene informacin til a partir de todos los datos disponibles. En un sistema
real se cruzaran los datos del sistema AVISA, con los de niveles de ruido y con varios datos ms para
obtener informacin sintetizada y en muchos casos inferir relaciones entre distintos hechos que estn
ocurriendo. En el caso del proyecto CONVIVE, por motivos de claridad a la hora de aprender conceptos,
se utilizar nicamente un fichero con los datos del sistema AVISA en formato CSV. Se descartarn tanto
los datos de ruido como cualquier otro tipo de fuente de datos que puede obtenerse del Ayuntamiento
de Madrid.
En el proyecto CONVIVE se realizarn dos acciones con los datos:

1. Se analizarn los datos existentes del sistema AVISA para obtener informacin sintetizada de
los incidentes reportados. Para ello debe tenerse en cuenta que el fichero con los datos puede
estar repartido entre varias mquinas y que se debe utilizar un modelo de programacin que
facilite el acceso a todos esos datos sin cargar la mquina en la que se ejecute.
2. Se visualizarn los datos del sistema AVISA para que sean ms fcilmente entendibles por los
destinatarios finales. Las decisiones finales sobre las acciones a tomar las llevarn a cabo
personas con distintas capacidades de abstraccin y sntesis. Para facilitar esas decisiones se
mostrarn los datos mediante modelos visuales que permitan una mejor comprensin de
stos.

Conclusiones Finales.
El sistema CONVIVE no es plenamente funcional, y tampoco se busca que lo sea. Las distintas
funcionalidades definidas, as como los datos gestionados, estn pensados para que sea sencillo incluir
conceptos referentes a las distintas tecnologas asumidas por el rea del Big Data. En los siguientes
mdulos se ir realizando una explicacin de estas tecnologas, aplicndose para desarrollar una
solucin vlida para el proyecto CONVIVE.