p. 1

universidad de buenos aires procesamiento y análisis de registros de actividad ocular monografía señales y imágenes en biomedicina autor federico santa coloma profesores dr ing pedro arini dr ing sergio lew julio de 2011

[close]

p. 2

procesamiento y análisis de registros de actividad ocular federico santa coloma tabla de contenidos Índice de figuras ii Índice de tablas iii introducción 1 materiales y métodos 2 1 introducción 2 2 estructura del experimento 2 3 registro de datos 4 3.1 registro ocular 4 3.2 registro de variables de ensayo 5 3.3 realización del experimento 6 4 procesamiento de datos 6 4.1 segmentación 6 4.2 filtrado y corrección 8 4.3 movimiento sacádico 8 4.4 detección 9 resultados 11 conclusiones 12 i

[close]

p. 3

procesamiento y análisis de registros de actividad ocular federico santa coloma Índice de figuras fig 1 postura del individuo durante el experimento 2 fig 2 estructura pantalla 3 fig 3 segmentación de experimentos 6 fig 4 trayecto de un segmento 7 fig 5 representación de sacadas con segmentos de recta 8 fig 6 prueba de wilcoxon p<0.002 11 ii

[close]

p. 4

procesamiento y análisis de registros de actividad ocular federico santa coloma Índice de tablas tabla 1 registro de variables oculares 4 tabla 2 registro de variables de ensayo 5 tabla 3 variables numéricas detectadas de cada segmento 9 iii

[close]

p. 5

procesamiento y análisis de registros de actividad ocular federico santa coloma introducciÓn numerosos trabajos actuales [16 17 18 19 estudian la percepción visual atentiva un método para fijación en uno o mas aspectos interesantes de un sistema y prescindir de los demás práctica que permite reducir la zona de análisis con el fin de minimizar la necesidad de recursos en este trabajo se estudiará el proceso de fijación visual y los movimientos sacádicos en humanos mediante el análisis de señales de movimiento ocular registradas en sujetos realizando experimentos de clasificación de imágenes naturales página 1

[close]

p. 6

procesamiento y análisis de registros de actividad ocular federico santa coloma materiales y mÉtodos 1 introducción fig 1 postura del individuo durante el experimento durante el experimento se utilizó un eye-tracker para registrar actividad ocular el equipo utilizado fue un eyelink 1000 de sr-research suministrado por el laboratorio de neurosciencias integrativa lni de la facultad de ciencias exactas fceyn de la universidad de buenos aires uba el equipo permitió registrar la posición del punto de foco del ojo y la dilatación pupilar con una frecuencia de muestreo de 1khz también se registraron todos los eventos generados por el mouse durante el experimentos permitiéndo contar con información valiosa para analizar en foma conjunta con el registro ocular de ahora en adelante ro se realizaron experimentos con 3 individuos cada uno compuesto por 39 ensayos similares 2 estructura del experimento el experimento esta compuesto por 39 ensayos el individuo se encuentra sentado frente a una pc y debe controlar el mouse la pantalla esta dividida horizontalmente en dos mitades la izquierda contiene las imágenes clasificadas en la parte superior izquierda figura 2 a1 se página 2

[close]

p. 7

procesamiento y análisis de registros de actividad ocular federico santa coloma encuentran las imagenes pertenecientes a un grupo casos positivos y en la parte inferior izquierda a1 a3 es grande y gris a2 tamaño a4 chico grande borde punteado liso color blanco gris nucleo sin con indistinto indistinto indistinto indistinto a5 probar fig 2 estructura pantalla figura 2 a2 las restantes a su vez la mitad derecha esta segmentada verticalmente en tres parte la superior figura 2 a3 contiene renglones donde se forman las oraciones que definen las reglas la parte media figura 2 a4 contiene botones para formar las oraciones la parte inferior figura 2 a5 contiene un botón de prueba para indicar que se finalizó el ensayo al comienzo de cada ensayo se muestra la pantalla sin objetos solamente hay un punto de fijación del ojo luego de 2 segundos de fijación se muestran todos los objetos en la pantalla los renglones que definen las reglas a3 no son modificables directamente sinó a través de los botones del area a4 al inicio del ensayo todos los renglones en a3 están vacíos cuando el individuo selecciona uno en el area a4 se seleccionan los botones que definen el renglón inicialmente todos los botones indistinto están seleccionado se muestra en gris una vez que el individuo observa las imágenes y presiona los botones que generan las oraciones puede apretar el botón probar para ver si la solución es correcta en éste caso pasa al siguiente ensayo donde se pone a prueba otro concepto si las elecciones no son correctas tendrá página 3

[close]

p. 8

procesamiento y análisis de registros de actividad ocular que volver a intentar hasta superar el ensayo federico santa coloma 3 registro de datos se realizó el registro de todas las variables necesarias para el análisis los datos registrados se separan en dos grupos según su procedencia 3.1 registro ocular el ro es realizado con la aplicación suministrada por el fabricante del eyetracker este permite tener una resolución temporal de 1 ms en los datos en la tabla 1 se describe brevemente el contenido de las variables registradas por el eyetracker el instrumento se encuentra conectado a otra pc que se encarga de leer y almacenar los datos para no sobrecargar los recursos de la pc que evalúa el experimento ambas pcs se encuentran conectadas por red para interactuar y pasar sinformación sobre el inicio y la finalización de los registros variable samples descripción contiene 2 vectores con la posición del ojo en coordenadas del eje horizontal y vertical de la pantalla en pixeles y un vector con el valor de dilatación de la pupila el largo de los vectores es l=sratet donde t es la duración registro y srate=1000 contiene un vector con la localización temporal de las sacadas del ojo derecho contiene un vector con la localización temporal de las sacadas del ojo derecho contiene un vector con la localización temporal del pestaneo del ojo derecho contiene un vector con la localización temporal del pestaneo del ojo izquierdo contiene un vector con la localización temporal de las marcas realizadas en el registro contiene un vector con los mensajes marcados en los tiempos guardados en msgtime contiene la corrección que debe ser realizada a los vectores de posición de samples tabla 1 registro de variables oculares resac lesac rebli lebli msgtime msgline driffcorrect página 4

[close]

p. 9

procesamiento y análisis de registros de actividad ocular federico santa coloma 3.2 registro de variables de ensayo también se registraron todas las variables que definen la configuración particular del ensayo cada experimento genera de forma aleatoria el orden en que se presentan los ensayos todos estos órdenes generados durante la ejecución del experimento son registrados para el posterior análisis por otro lado se registran las acciones realizadas con el mouse y los eventos que éstas generan cada vez que se presiona el botón del mouse se almacena el instante de tiempo las coordenadas en la pantalla y los botones presionados en caso que los haya también se guarda la información de cada ensayo que permite reproducirlo completamente y estudiar su evolución en el tiempo la tabla 2 describe brevemente el contenido de las variables almacenadas variable descripción para el experimento se registan las variables zonas contiene las posiciones y tamaños de todas las zonas que generan eventos del mouse renglones y botones individuo contiene el nombre edad y sexo del individuo preguntado al inicio del experimento para cada uno de los 39 ensayos se registra las variables concepto contiene el concepto que está siendo evaluado ejemplo 3[2]1 11000000 realización contiene la realización elegida de forma aleatoria ejemplo 00001100 posición imágenes almacena un vector son las posiciones y tamaños del area de cada imagen para los n =2 d ejemplos los que están marcados con un 1 en el vector de realización son los casos positivos y se ubican en la parte superior inicio sub-ensayo contiene la localización temporal del inicio del ensayo puede ser un vector con más de un valor si el individuo tuvo errores y realizó más de una vez el ensayo en ese caso se guarda el tiempo de inicio de cada sub-ensayo ejemplo [10.125 21.003 lo resolvió en 2 intentos fin sub-ensayo contiene la localización temporal del inicio del ensayo puede ser un vector con más de un valor si el individuo tuvo errores y realizó más de una vez el ensayo en ese caso se guarda el tiempo de fin de cada sub-ensayo ejemplo [19.003 25.449 lo resolvió en 2 intentos eventos mouse contiene la posición del mouse tecla presionada y nro de area si presionó un botón de la pantalla reglas contiene la información de cada uno de los renglones escritos por el individuo estado de los botones del area a4 tabla 2 registro de variables de ensayo página 5

[close]

p. 10

procesamiento y análisis de registros de actividad ocular federico santa coloma 3.3 realización del experimento se realizó la evaluación del experimento completo y registro de datos a 3 sujetos cada experimento contiene 39 conceptos distintos el experimento comienza con una calibración del eyetracker y su posterior validación durante el transcurso de todo el experimento el eyetracker registra los datos oculares y los almacena para su posterior análisis se utilizó como entorno del experimento la aplicación matlab de mathworks Ésta permite tener una precisión muy alta de la componente temporal en el registro de las variables e interoperar con la aplicación suministrada por el fabricante del eyetracker para ralizar marcas en los registros dar orden de comienzo y fin la duración del experimento es de aproximadamente 40 minutos debe realizarse en un recinto aislado de ruido y sin fuentes luminosas la dilatación pupilar y las componentes espaciales del registro dependen de la reflexión de la luz sobre la pupila y retina la presencia de fuentes luminosas externas pueden distorcionar la señal introduciendo ruido a las mediciones 4 procesamiento de datos 4.1 segmentación el procesamiento de la información proveniente de los dos registros y comienza con una inicio_ensayo4 33,101s fin_ensayo4 42,913s fig 3 segmentación de experimentos página 6

[close]

p. 11

procesamiento y análisis de registros de actividad ocular federico santa coloma segmentación de los ros para su reordenamiento y clasificación recordemos que los ensayos no se encuentran ordenados de la misma manera en todos los individuos para cada uno se estableció un orden aleatorio la segmentación es la etapa donde se reestablece el orden de los ensayos cuyo orden en el experimento había sido establecido de forma aleatoria el registro de las variables del ensayo contiene los tiempos de inicio y fin de cada ensayo exitoso también se cuenta en ese registro con las posiciones de cada una de las areas donde fueron posicionados los ejemplos de la realización y los renglones y botones para expresar de forma fig 4 trayecto de un segmento explicita el concepto los ros de posición entre los tiempos del ensayo pueden ser representados en los ejes x e y para obtener las trayectorias del ojo en el plano del monitor superponiendo esta información se obtiene una imagen como se muestra en la figura 4 para cada uno de los ensayos y de los individuos Ésto es sólo una proyección del ensayo en el tiempo ya que las señales almacenadas y los registros de acciones del mouse contienen toda la información temporal sobre al evolución del ensayo información muy importante para estudiar el proceso cognitivo página 7

[close]

p. 12

procesamiento y análisis de registros de actividad ocular federico santa coloma 4.2 filtrado y corrección luego de segmentar los ros las señales son filtradas y se interpola la información perdida durante los parpadeos el eyetracker pierde capacidad de registro y los datos guardados no son consistentes por ésto es necesario identificar los parpadeos e interpolar la señalen durante el tiempo del mismo como se mencionó en la tabla 1 el ro cuenta con la localizacion temporal de los parpadeos durante todo el registro Ésto nos marca el tiempo de inicio y fin de cada parpadeo y nos permite fig 5 representación de sacadas con segmentos de recta recortar al señal en ese tiempo e interpolar los datos las marcas de inicio y fin del parpateo se realiza cuando se pierde la señal de posición de los ojos no obstante durante un intervalo de tiempo antes y después de las marcas de inicio y fin no se realiza un registro correcto de la posición la corrección de realiza mediante la interpolación de los datos en todo el intervalo de tiempo con registro incorrecto 4.3 movimiento sacádico los humanos como tantos otros animales no miran una escena con el ojo quieto sinó que éste se mueve de un lugar a otro localizando las partes interesante de la escena generando un mapa página 8

[close]

p. 13

procesamiento y análisis de registros de actividad ocular federico santa coloma mental 3-dimensional una de las razones por la cual el humano posee movimientos sacádicos es que el punto central de al retina llamado fovea posee una resolución mucho más alta que el resto mediante el proceso de observación de una escena el ojo centra los puntos de interés en la fovea pudiendo así contár con gran precisión y resolución en ese punto para poder saltar entonces al siguiente punto una sacada es el movimiento rápido y simultaneo de los dos ojos en la misma dirección iniciada por el campo ocular de los lóbulos frontal y parietal del cerebro las sacadas son un mecanismo que sirven para la fijación el movimiento ocular rápido y la fase rápida del optokinetic nystagmus [1 la sacada es el movimiento más rápido producido por el cuerpo humano la velocidad angular máxima de una sacada alcanza los 1000° por segundo en monos y es un poco menor en humanos la sacada a un estímulo inesperado normalmente tarda 200 milisegundos en iniciar y toma entre 20 y 200 milisegundos en terminar dependiende de su amplitud [2 [3 4.4 detección cada segmento de señal filtrada y corregida debe ser procesada para detectar variables que puedan ser analizadas numéricamente en el intervalo de tiempo entre cada sacada el ojo se encuentra quieto registrando la escena esto es denominado fijación la detección de sacadas se variable descripción para cada uno de los segmentos de recta se obtiene inicio posición xy donde comienza el salto y tiempo t en ms ejemplo 563,227,1001212 fin posición xy donde comienza el salto y tiempo t en ms ejemplo 234,1103,1001217 zona inicio almacena el identificador de la zona desde donde inicia el salto las zonas 0 a la 15 corresponden a los 16 ejemplos las zonas 16 a 19 corresponden a los 4 renglones las zonas 20 a 31 corresponden a los 12 botones la zona 32 corresponde al botón de prueba zona fin almacena el identificador de la zona donde termina el salto ejemplo zona inicio contiene el nro de ejemplo que se encontraba en a zona de inicio sólo si 0 zona inicio 15 ejemplo zona fin contiene el nro de ejemplo que se encontraba en a zona de fin sólo si 0 zona fin 15 caso positivo inicio indica si el ejemplo zona inicio es un caso positivo caso positivo fin indica si el ejemplo zona in es un caso positivo tabla 3 variables numéricas detectadas de cada segmento página 9

[close]

p. 14

procesamiento y análisis de registros de actividad ocular realiza con la interpolación de dos fijaciones detectadas federico santa coloma para detectar una fijación es importante conocer la dinámica del movimiento sacádico tanto como las fijaciones las fijaciones tienen una duración mínima de 100 ms por lo tanto se considera que el ojo está realizando una fijación si el registro de su posición en ambas componentes se encuentra constante o acotada en un valor pequeño durante el transcurso del mínimo tiempo se utilizó un umbral de detección de 30px de la pantalla y un tiempo de 100 ms para detectar las fijaciones este proceso permite obtener un vector con las posiciones e instantes de cada uno de los puntos de la pantalla observados los valores sucesivos de fijaciones distintas son considerados una sacada se obtiene un vector con todas las sacadas cuyo origen es una fijación y destino otra esta información junto con su localización temporal es almacenada para su posterior análisis ver tabla 3 la figura 5 muestra los segmentos de recta que representan sacadas de la figura 4 en este caso se muestran sólo los segmentos de recta que tienen inicio y fin en la zona izquierda de la pantalla donde se muestran los conceptos página 10

[close]

p. 15

procesamiento y análisis de registros de actividad ocular federico santa coloma resultados mediante este análisis se realizó un conteo de las veces que el individuo miró cada caso positivo previo a esto se realizó una clasificación de los casos positivos según la forma en la que fueron definidos los casos positivos definidos por sus características sólos es un renglón fueron marcados con un 1 los casos positivos que fueron agrupados con otro caso positivo en un renglón fueron marcados con un 2 de esta forma la marca indica el nro de casos positivos que incluía el grupo que lo definió realizado el conteo de sacadas a cada ejemplo se calculó el promedio de sacadas por caso positivo según su clasificación se realizó el promedio de sacadas por casos positivos definidos solos en un renglón y el promedio de sacadas de casos positivos agrupados fig 6 prueba de wilcoxon p<0.002 en la figura 6 se puede ver una diferencia significativa ente la cantidad de veces que fueron mirados los casos positivos definidos barra 1 y los agrupados barra 2 teniendo este último caso un valor más elevado página 11

[close]