Técnicas de Análisis de Información en Neurociencias
Aplicadas Juan I. Larregui(1,6), Juan A. Biondi(1,2,4), Gerardo Fernández(2,4), Marcela Schumacher(2,4), David Orozco(4,5), Liliana R. Castro(2,3,4), Silvia M. Castro(1,4,6), Osvaldo Agamennoni(2,4)
schumachermarcela@gmail.com, davidorozco@live.com, lcastro@uns.edu.ar, smc@cs.uns.edu.ar, oagamen@uns.edu.ar (1) VyGLab, Dpto. de Cs. e Ing. de la Computación, Universidad Nacional del Sur (2) Instituto de Investigación en Ingeniería Eléctrica (IIIE) (3) Dpto. de Matemática, Universidad Nacional del Sur (4) Grupo de Investigación y Desarrollo en Procesos Cognitivos, Universidad Nacional del Sur (5) Clínica Privada Bahiense, Bahía Blanca (6) Instituto de Ciencias e Ingeniería de la Computación (ICIC)
RESUMEN técnica es utilizada en disciplinas muy diversas
vinculadas a la evaluación de los procesos Determinar cuál es la información más cognitivos que se desarrollan en el ser humano. relevante de un conjunto de datos es una tarea Los eye-tracker son en general dispositivos de fundamental en su proceso de análisis. En un costo muy elevado y que requieren una grandes conjuntos de datos calibración para su uso. Dependiendo de la multidimensionales es crucial poder aplicación que se le quiera dar a la información determinar cuáles son las dimensiones más extraída o de la patología del sujeto de estudio, relevantes que caracterizan el conjunto de a veces no es posible realizar este proceso. datos con una mínima pérdida de información Nuestro grupo de investigación en dicha transformación; esto es relevante actualmente trabaja en técnicas de reducción tanto desde el punto de vista del análisis dimensional, visualización y extracción de computacional como desde el visual. Para ello, características además de en la utilización de se aplican técnicas de reducción dimensional. estas técnicas para diseñar y desarrollar eye- Otro aspecto importante es la determinación de trackers de bajo costo, independientes de la características distintivas de los subconjuntos posición y libres de calibración. para su posterior diferenciación. Este proceso es conocido como extracción de Palabras clave: eye-tracking, reducción características. dimensional, extracción de características, El seguimiento de los movimientos oculares análisis visual. (eye tracking) permite evaluar la información adquirida por una persona durante la lectura u CONTEXTO observación de una imagen. Durante ambos Parte de este trabajo se desarrolla en el procesos, el ojo realiza movimientos en las contexto de la línea de investigación cuales la información es adquirida para luego Identificación y Desarrollo en Procesos ser interpretada por el cerebro. El eye-tracker Cognitivos. El grupo está integrado por registra y graba tanto información relativa a los becarios e investigadores del Dpto. de movimientos como el tiempo que necesita la Matemática, del Dpto. de Ingeniería Eléctrica persona para procesar la información. Esta y de Computadoras pertenecientes al Instituto 355
de Investigaciones en Ingeniería Eléctrica permitan diferenciar distintas patologías que
(IIIE) y del Laboratorio de Investigación y podrían estar afectando al cerebro. Desarrollo en Visualización y Computación Entre las diversas patologías, hay algunas en Gráfica (VyGLab) del Dpto. de Ciencias e. las que los pacientes no soportan el uso de Ingeniería de la Computación, todos ellos medidas de fijación (por ejemplo en autismo). pertenecientes a la Universidad Nacional del En estos casos, es de suma importancia que los Sur. dispositivos de adquisición no requieran su La línea de Investigación presentada está uso, haciendo necesario contar con inserta en el Proyecto PICT 2013 0403 dispositivos que no requieran calibración. Evaluación del desempeño cognitivo a través 2. LÍNEAS DE INVESTIGACIÓN Y del comportamiento ocular, Categoría: Plan Argentina Innovadora 2020. Tipo: A, dirigido DESARROLLO por el Dr. Osvaldo Agamennoni y financiado En la línea de investigación planteada en por la ANPCyT. También se encuentra inserta este trabajo se pretende avanzar en la búsqueda en el proyecto acreditado Análisis Visual de de metodologías que permitan una evaluación Grandes Conjuntos de Datos (24/N037), objetiva (no dependiente del profesional que la dirigido por la Dra. Silvia Castro y financiado efectúa), sin someter a estrés a la persona por la Secretaría General de Ciencia y evaluada, y no invasiva (se registran los Tecnología de la Universidad Nacional del movimientos oculares con una cámara de video Sur. de alta velocidad) que posibiliten detectar Deterioro Cognitivo Leve (DCL) o incipiente 1. INTRODUCCIÓN [1]. De esta manera se pretende facilitar la El eye-tracker es un dispositivo no invasivo determinación de deterioro cognitivo normal que permite, mediante la grabación de los por edad del producido por otras patologías movimientos oculares, el diagnóstico neurodegenerativas y, posteriormente, el temprano de enfermedades neuro- seguimiento temporal periódico del paciente. degenerativas [1], [6], [9]. La detección Para esto, se prevé el uso de técnicas de análisis temprana de diversas enfermedades neuro- multirresolución y de reducción dimensional degenerativas permite, en muchos casos, de grandes conjuntos de datos y la extracción prolongar una calidad de vida razonable para el de características distintivas de la misma para paciente y el entorno familiar, como así su posterior análisis y visualización. Para esto también reducir el costo asistencial. se plantea utilizar técnicas de machine Lograr avances en el conocimiento sobre el learching, en particular sparse autoencoders modelado de los movimientos oculares en el [12] y análisis mediante la transformada proceso de lectura y de observación de una curvelet [11], de manera de encontrar las escena o imagen nos permitirá ahondar en el dimensiones representativas de un conjunto de conocimiento de las estrategias que utiliza el datos. Además, se plantea la visualización de cerebro cuando procesa información. Definir esta información como parte esencial del nuevos y mejores modelos que permitan tener proceso. en cuenta aspectos fisiológicos del sistema Constituye otra línea de investigación la óculo-motor permitirá efectuar mejores utilización de técnicas de extracción de predicciones sobre tales comportamientos. características en imágenes para el diseño y el Dado que esta información es inherentemente desarrollo de dispositivos eye-tracker de bajo multi-dimensional, resulta necesario contar costo, independientes de la posición y libres de con técnicas que permitan conocer cuáles de calibración. ellas son los que mejor la representan; además, es de suma importancia poder encontrar patrones distintivos que nos 356
3. RESULTADOS un amplio margen de variación en dicho
comportamiento sobre el cual es importante OBTENIDOS/ESPERADOS concentrar el estudio, con el fin de evaluar la En el grupo de trabajo se desarrolló un posibilidad de hacer una detección antes de método orientado al diagnóstico y medición llegar a la etapa Prodrómica. del deterioro cognitivo temprano a partir del Nuestro objetivo es utilizar esta capacidad modelado del movimiento ocular durante el de abordaje sobre temáticas de modelado, proceso de lectura ([2], [5], [6], [7], [8], [9]). representación y visualización de la Se desarrollaron diversos modelos del información al caso particular del sistema comportamiento ocular que permiten evaluar oculomotor a los efectos de vincular los la manera en que personas sanas y pacientes en aspectos sistémicos funcionales con los una fase muy temprana de la enfermedad fisiológicos y cognitivos. procesan información durante la lectura. Para Una de las primeras actividades previstas es ello se diseñó el material de estímulo definir una serie de marcadores que muestren apropiado que permitió medir el desempeño de claramente el desempeño cognitivo vinculado la memoria ejecutiva, de la memoria de a los aspectos atencionales, de funcionamiento trabajo, de la memoria semántica y de la de la memoria de trabajo, la memoria ejecutiva memoria de recuperación (retrieval memory). y la memoria semántica. Se estudiarán A partir de este trabajo de investigación se diversas formulaciones de los mismos con el analizaron distintos aspectos de la fin de contar con un conjunto que permita problemática del DCL o incipiente. Se describir, de la mejor manera posible, los estudiaron los efectos de la predictibilidad de distintos aspectos de la capacidad cognitiva de las palabras actualmente fijada y de las una persona. Para ello se utilizarán también entrantes (que no son necesariamente las técnicas que permitan cuantificar la inmediatas siguientes) sobre la duración de la incertidumbre de los modelos [15] a los efectos fijación. Cuando una oración es leída por de mejorar progresivamente las estimaciones a lectores sanos, se generan expectativas y se medida que se adquieran nuevos datos y poder realizan predicciones sobre las palabras estimar con la mayor precisión posible un DCL entrantes reduciendo luego el tiempo de ocasionado por la EA. fijación ocular sobre tales palabras. Tales Con el objetivo de facilitar el análisis de la fijaciones permiten evaluar el funcionamiento información disponible y su desarrollo de la memoria de trabajo, de la memoria temporal por parte de los profesionales de la semántica y de la memoria de recuperación, salud, se estudiarán y evaluarán distintas entre otras facultades. Esta capacidad alternativas de visualización de la misma ([3], predictiva se distorsiona, por ejemplo, durante [4]). los primeros estadios de la enfermedad de De acuerdo al estado del arte, la información Alzheimer [7]. es obtenida por medio de dispositivos costosos Se analizó el efecto de la previsibilidad que requieren de cooperación del sujeto bajo contextual de una oración en el estudio para ser calibrados. En contextos comportamiento del movimiento ocular de los prácticos, esta fase de calibración no siempre pacientes con enfermedad de Alzheimer leve, es posible debido a la naturaleza de la en comparación con los controles de la misma enfermedad del paciente. La habilidad de edad, utilizando la técnica de eye-tracking y medir automáticamente variables relacionadas modelos lineales de efecto mixto [8]. Los al comportamiento utilizando sensado basado resultados de este trabajo indican que es en visión computacional puede ser valiosa a la posible hacer el diagnóstico temprano del hora de permitir obtener información deterioro cognitivo típico de una enfermedad relacionada con tipo Alzheimer [1] y, por otro lado, que existe 357
el comportamiento del sujeto bajo estudio sin Tesis en Desarrollo
requerir intervención humana sustancial. Tesis de Doctorado en Ciencias de la Tecnologías como behaviour imaging pueden Computación ser utilizadas en varios casos en un instrumento - Juan I. Larregui. Tema: Reconstrucción de medición dado que aportan herramientas de 3D en Tiempo Real. Dirección: Dra. Silvia bajo costo computacional para manejar Castro. grandes cantidades de datos de video e información de otras fuentes obtenida durante - Juan A. Biondi. Desarrollo de Modelos las sesiones. En particular, puede permitir la del Comportamiento Ocular. Dirección: síntesis, visualización y comparación de la Dra. Silvia Castro, Dr. Osvaldo información observada entre poblaciones y a Agamennoni. través del tiempo, de una manera que no Becarios resulta posible mediante métodos manuales - Juan I. Larregui. Becario CONICET, Beca [13]. Para explorar esta línea de investigación Interna Doctoral. sin renunciar a tomar en cuenta todos los casos - Juan A. Biondi. Becario PICT. particulares donde un eye-tracker no está disponible y/o el usuario no puede cooperar en Cursos de Pre/Post grado relacionados con la fase de calibración, puede ser utilizado un el tema de la línea de Investigación dictados dispositivo menos preciso pero de bajo costo, por integrantes del Grupo de Trabajo no invasivo, seguro y libre de calibración. Cursos de Pregrado - Wavelets de primera generación: Una 4. FORMACIÓN DE RECURSOS introducción. Materia optativa para los HUMANOS estudiantes de la Licenciatura en El Dr. Agamennoni y la Dra. Liliana Castro Matemática. Dto. de Matemática. UNS. son especialistas en el área de desarrollo de - Procesamiento de Imágenes. Materia modelos determinísticos y de los límites de optativa para los estudiantes de la incertidumbre de los mismos. La Dra. Silvia Ingeniería en Sistemas de Computación. Castro trabaja en el área de Visualización. El UNS. Dr. Gerardo Fernández trabaja en el modelado - Teoría de Sistemas Lineales. UNS. de los movimientos oculares y su utilización en el desarrollo de técnicas de diagnóstico de Cursos de Posgrado deterioro cognitivo. La Farm. Marcela - Introducción a la teoría de wavelets y sus Schumacher realiza tareas vinculadas con la aplicaciones. Liliana Castro. Secretaría de evaluación de la técnica de diagnóstico Posgrado y Educación Continua. UNS. temprano de deterioro cognitivo y el Dr. David Orozco realiza actividades vinculadas con los - Aplicaciones de wavelets Seminario. aspectos médicos. El Ing. Juan Larregui trabaja Liliana Castro. Secretaría de Posgrado y en análisis multirresolución y procesamiento Educación Continua. UNS. de imágenes. El Ing. Juan Biondi trabaja en - Modelación de Sistemas. Osvaldo aspectos computacionales del desarrollo de los Agamennoni. Secretaría de Posgrado y tests y en el diseño y desarrollo de las Educación Continua. UNS. visualizaciones adecuadas y en el desarrollo de - Procesamiento y Análisis de Imágenes. técnicas de reducción dimensional. Silvia Castro, Secretaría de Posgrado y Educación Continua. UNS. - Visualización de Grandes Conjuntos de Datos. Silvia Castro, Luján Ganuza. 358
Secretaría de Posgrado y Educación reading in patients with mild Alzheimer disease
Neuropsychologia, Vol 62, pp 143-151. 2014. Continua. UNS. [9] Fernández G., Schumacher M., Mandolesi P., - Introducción al Análisis Funcional y a la Colombo O., Castro L., Agamennoni O. Eye Teoría de Operadores. Liliana Castro. movement behavior during reading in patients with Dto. de Matemática. UNS. probable Alzheimer disease. Presentado en la 17th European Conf. of Eye Movements (ECEM), Lund, 5. BIBLIOGRAFÍA Suecia, 2013. [1] Alberta, M.S., DeKosky, S.T., Dickson, D., [10] Kliegl, R., Nuthmann, A., Engbert, R. Duboise, B., Feldman,H., Fox, M., Gamst, A., Tracking the mind during reading: The influence of Holtzman, D.M., Jagust, W.J., Petersen, R.C., past, present, and future words on fixation Snyder, P.J., Carrillo, M. C., Thies. B., Phelps, durations. Journal of Experimental Psychology: C.H. The diagnosis of mild cognitive impairment General, 135, 12-35. 2006. due to Alzheimer’s disease: Recommendations [11] Larregui, J.I., Castro, L.R., Castro, S.M., from the National Institute on Aging-Alzheimer’s Curvelet Transform for Bovine Iris Segmentation, Association workgroups on diagnostic guidelines V Congreso de Matemática Aplicada, for Alzheimer’s disease. Alzheimer’s & Dementia. Computacional e Industrial, 2015. Vol 7, pp: 270–279. 2011. [12] NG, Andrew. Sparse autoencoder. CS294A [2] Alvarez, M., Castro, L., Agamennoni, O. Set Lecture notes. 2011. Membership Estimation Theory for Wiener [13] Rehg, J. M. (2011, June). Behavior Imaging: Modelling using HLCPWL Functions. International Using Computer Vision to Study Autism. In MVA Journal of Modelling, Identification and Control. (pp. 14-21). Vol 14, pp 13-26. 2011. [14] Sigut, J., Piñeiro, J., González, E., Torres, J. [3] Card, S., Mackinlay, J., Shneiderman, B., An expert system for supervised classifier design: Readings in Information Visualization – Using Application to Alzheimer diagnosis. Expert Vision to Think, M. K., 1999. Systems with Applications 32 927–938. 2007. [4] Escarza, S., Larrea, M., Urribarri, D., Martig, [15] Uusitalo L., Lehikoinen A., Helle I., Myrberg S., Castro, S., Integrating Semantics in the K. An overview of methods to evaluate uncertainty Visualization Process. En Scientific Visualization: of deterministic models in decision support. Interactions, Features, Metaphors, Dagstuhl Environmental Modelling & Software Vol: 63, pp: FOLLOW-UPS Series Hans Hagen Ed., Schloss 24-31. 2015. Dagstuhl-Leibniz-Zentrum für Informatik. Dagstuhl, Alemania, 2, 92-102, Vol2, 2011. [5] Fernández, G., Biondi, J., Castro, S., Agamenonni, O. Pupil size behavior during on line processing of sentences. Journal of Integrative Neuroscience, 2017. [6] Fernández, G., Castro, L., Schumacher, M., Agamennoni, O. Diagnosis of mild Alzheimer Disease through the Analysis of Eye Movements during Reading. Journal of Integrative Neuroscience. 2015. [7] Fernández G., Laubrock J., Mandolesi P., Colombo O., Agamennoni O. Registering eye movements during reading in Alzheimer disease: difficulties in predicting upcoming words. Journal of Clinical and Experimental Neuropsychology. Vol. 36, Iss. 3, pp: 302-316. 2014. [8] Fernandez G., Manes F., Rotstein N., Colombo O., Mandolesi P., Politi L., Agamennoni O. Lack of contextual-word predictability during