EVALUACIN DEL CUESTIONARIO

ESPERI

RESUMEN DE LA VALORACIN DEL TEST

Descripcin general
Caractersticas Nombre del test Autor Autor de la adaptacin espaola Editor de la adaptacin espaola Fecha de la ltima revisin del test en su adaptacin espaola Constructo evaluado rea de aplicacin Soporte
2009 Trastornos del comportamiento Psicologa Clnica, Educativa y Forense Lpiz y papel e informtico

Descripcin
ESPERI. Cuestionario para la deteccin de los trastornos del comportamiento en nios y adolescentes. Mara Jos Parellada, Javier San Sebastin y Rosario Martnez

Valoracin general
Caractersticas Calidad de los Materiales y documentacin Fundamentacin terica Adaptacin Espaola Anlisis de los tems Validez de contenido Validez de constructo Anlisis del sesgo Validez predictiva Fiabilidad: equivalencia Fiabilidad: consistencia interna Fiabilidad: estabilidad Baremos Adecuado Adecuada pero con algunas carencias Buena No se aporta No se aporta No se aporta Buena No se aporta Buena 3 2 4 4 4 Valoracin Adecuado Adecuado Puntuacin 3 3

Comentarios generales
El test ESPERI consta de cuatro cuestionarios, uno para nios de 8 a 11 aos, otro para jvenes de 12 a 17 aos y otros dos que responden los padres y profesores. Su principal utilidad es la deteccin precoz de los trastornos del comportamiento en el aula de nios y adolescentes. El test permite la obtencin de medidas en factores como InatencinImpulsividad-Hiperactividad, Disocial, Predisocial, Oposisionismo desafiante, y la comparacin de resultados procedentes de auto y heteroinformes realizados por los padres y profesores. Entre sus puntos fuertes, sealaramos los siguientes: 1. Es fruto del trabajo de un grupo multidisciplinar de expertos. El grupo revis los instrumentos disponibles para la deteccin temprana de los trastornos comportamentales, encontr varias carencias y estableci como objetivo, dentro del proyecto ESPERI, la elaboracin de cuestionarios que respondiesen a esas carencias y tuviesen las propiedades psicomtricas apropiadas. 2. El Manual ofrece los resultados de estudios de validez de constructo y varios indicadores de la fiabilidad (consistencia interna) de las subescalas y escalas totales, con resultados buenos. 3. Gracias a los apreciables tamaos muestrales, el test aporta varios baremos centiles calculados sobre una amplia base y cuya gestin se facilita mediante el uso del CD que se ofrece con la edicin en papel. La versin informatizada facilita considerablemente la tarea de correccin y de obtencin de puntuaciones. 4. La prueba permite combinar autoinformes de los chicos evaluados con heteroinformes (de padres y/o profesores), en respuesta a la importancia de informadores mltiples para la deteccin precoz de los trastornos en el aula en estas poblaciones.

En el proceso de revisin se han apreciado algunas insuficiencias que convendra subsanar en las futuras ediciones del test: 1. La justificacin del proceso de creacin de los tems (validez de contenido) y su posterior anlisis es algo limitado y no se detalla suficientemente en el Manual. Apenas se ofrecen estudios de validacin que comparen el nuevo test con variables externas a la propia prueba. Convendra aadir estudios de validez de todas las escalas, con otras variables, y completar los estudios de la estructura interna con otros anlisis factoriales (confirmatorios, validacin cruzada). Los datos ofrecidos sobre la estructura interna de la versin de profesores plantean dudas. Dado que existen otras pruebas de amplia difusin y carcter gratuito, con objetivos parecidos al ESPERI, su comparacin con ellas tendra mucho inters. 2. Los indicadores de los estudios de fiabilidad han sido calculados con los datos disponibles en el proceso de construccin de las escalas. Pudieran resultar algo ms

bajos al obtenerlos en otras aplicaciones del test. No se han generado formas paralelas ni realizado estudios sobre la estabilidad de las puntuaciones. 3. A efectos aplicados, una prueba que pretende ayudar en el diagnstico de trastornos de conducta debera aportar ms evidencias de su utilidad diagnstica, predictiva o concurrente con otros datos que un profesional/usuario reconozca claramente como criterio de referencia. 4. Desde el punto de visto sustantivo, hay un cierto sesgo biomdico tanto en la construccin como en la fundamentacin terica de las escalas, que puede tener su utilidad en la evaluacin del Trastorno por dficit de atencin con hiperactividad, pero que no debiera extenderse al resto de trastornos del comportamiento.

En resumen, los resultados que ofrece el manual sugieren la utilidad del test ESPERI para la deteccin temprana de los trastornos comportamentales en el aula de nios y adolescentes.

ANLISIS DETALLADO DE LA PRUEBA

1. DESCRIPCIN GENERAL DEL TEST
1.1. Nombre del test ESPERI. Cuestionario para la deteccin de los trastornos del comportamiento en nios y adolescentes. 1.2. Nombre del test en su versin original No procede 1.3. Autor M Jos Parellada Redondo, Javier San Sebastin y Rosario Martnez Arias Javier Martn Babarro y Sergio Martn Lpez son coautores del programa informtico y del correspondiente Manual Tcnico de uso que se despliega al trabajar con la versin informtica del test. 1.4. Autor de la adaptacin espaola No procede 1.5. Editor del test en su versin original Instituto de Orientacin Psicolgica EOS 1.6. Editor de la adaptacin espaola No procede 1.7. Fecha de publicacin del test original 2009 1.8. Fecha de la publicacin del test en su adaptacin espaola No procede 1.9. Fecha de la ltima revisin del test en su adaptacin espaola No procede 1.10. rea general de la variable que pretende medir el test Escalas Clnicas Trastornos de conducta

1.11. Breve descripcin de la variable que pretende medir el test Pretende medir los "trastornos del comportamiento en el aula", especficamente el de atencin-impulsividad, el oposicionista, el predisocial y el disocial. Incluye cuatro escalas: una para nios entre 8 y 11 aos, otra para los adolescentes entre 12-17 aos y dos para los adultos con los que interactan cotidianamente: padres y profesores. Estas dos ltimas se hallan en proceso de construccin, por lo que en la edicin revisada solo se incluyen algunos resultados preliminares. Padres y profesores han de responder en relacin a su hijo o alumno evaluado.

La escala para nios de 8 a11 aos mide cuatro factores de primer orden y dos macrofactores de segundo orden. Los primeros son: 1) Inatencin-Impulsividad-Hiperactividad, 2) Disocial, 3) Predisocial y 4) Oposicionismo-Negativismo-Desafiante. En la escala para adolescentes, 12 a 17 aos, los factores de primer orden son el 1) Disocial, 2) Inatencin-Impulsividad, 3) Predisocial, 4) Psicopata y 5) Hiperactividad. La versin del cuestionario para el profesor mide tres factores: 1) Inatencin-ImpulsividadHiperactividad, 2) Oposicionismo-Negativismo Desafiante y 3) Predisocial-Disocial. En la de los padres se sugiere obtener puntuaciones en los mismos factores que se han aislado en la versin para profesores. 1.12. reas de aplicacin Psicologa clnica Psicologa educativa Psicologa forense Servicios sociales

1.13. Formato de los tems Tipo Likert

1.14. Nmero de tems En todas las escalas se incluyen tems que evalan aspectos de conducta positivos, que no se utilizan en para obtener la puntuacin. Versin 8-11 aos (Educacin Primaria): 48 tems. Se indica (p. 54 del Manual) que solo 40 tems intervienen en la obtencin de las puntuaciones, pero son 42 los tems involucrados en la obtencin de las puntuaciones en los 4 factores. Versin 12-17 aos (Educacin Secundaria): 58 tems. Se indica que solo 48 tems intervienen en la obtencin de las puntuaciones, si bien son de hecho 47 los tems involucrados en la obtencin de las puntuaciones en los 5 factores. Versin padres. 65 tems (nios hasta 11 aos) y 4 tems adicionales si el chico es mayor de 11 aos. La escala incluye 4 preguntas abiertas sobre la historia escolar del evaluado. Se generan las puntuaciones en los 3 factores a partir de 59 tems. Versin profesores: 65 tems (nios hasta 11 aos) y 4 tems adicionales si el chico es mayor de 11 aos. La escala incluye 5 preguntas abiertas sobre la historia escolar del alumno. Se generan las puntuaciones en los 3 factores a partir de 59 tems. 1.15. Soporte Papel y lpiz Informatizado

1.16. Cualificacin requerida para el uso del test de acuerdo con la documentacin aportada Ninguna

1.17. Descripcin de las poblaciones a las que el test es aplicable Se aplica a nios escolarizados entre 8-11 aos y 12-17 aos. No tiene otras restricciones. En las versiones de padres y profesores son estos quienes responden en relacin a su hijo o alumno.

1.18. Existencia o no de diferentes formas del test y sus caractersticas ESPERI incluye 4 versiones distintas del cuestionario. La infantil y la de adolescentes tienen doble soporte en papel (cuadernillo) y pantalla. El cuestionario para profesores solo se administra por ordenador mediante la ejecucin del programa que viene en el CD que acompaa al Manual. La versin para padres tambin se administra solo por ordenador. No obstante los tems de todas las versiones se muestran en el Manual.

1.19. Procedimiento de correccin Manual mediante plantilla Automatizada por ordenador

1.20. Procedimiento de obtencin de las puntuaciones directas Las puntuaciones se obtienen sumando las de los tems o elementos que integran cada una de las subescalas. En los factores de segundo orden se suman las puntuaciones directas de las subescalas que los forman. 1.21. Transformacin de las puntuaciones Normalizada

1.22. Escalas utilizadas Centiles

1.23. Posibilidad de obtener informes automatizados Si

1.24. Oferta por parte del editor de un servicio para la correccin y/o elaboracin informes No

1.25. Tiempo estimado para la aplicacin del test No se indica en el manual. En otros manuales de EOS aparece esta informacin en la ficha tcnica, que no se ha incluido en este caso. Una duracin mxima estimada podra ser 20 minutos. 1.26. Documentacin aportada por el editor Manual Disketes/CD Cuadernillos de las 2 versiones para chicos

1.27. Precio de un juego completo de la prueba 125 euros (incluye 600 administraciones por ordenador).

1.28. Precio y nmero de ejemplares del paquete de cuadernillos Versiones para 8-11 y 12-17 aos: 6.60 euros (10 unidades).

1.29. Precio y nmero de ejemplares del paquete de hojas de respuesta

1.30. Precio de la correccin y/o elaboracin de informes por parte del editor El importe de 600 usos es 106.81 euros.

1.31. Bibliografa bsica acerca del test aportada en la documentacin No se ofrece bibliografa bsica sobre el test, si bien se aportan 33 referencias en la bibliografa del Manual, en las que se ha fundamentado la creacin del test.

2. VALORACIN DE LAS CARACTERSTICAS DEL TEST

Aspectos generales

Contenido 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8. 2.9. Calidad de los materiales del test Calidad de la documentacin aportada Fundamentacin terica Adaptacin del test Calidad de las instrucciones Facilidad para comprender la tarea Facilidad para registrar las respuestas Calidad de los tems (aspectos formales) Datos sobre el anlisis de los tems

Valoracin Adecuada Adecuada Adecuada No procede Adecuada Adecuada Buena Buena Adecuada

Puntuacin 3 3 3 3 3 4 4 3

Validez de contenido

Contenido 2.10. Calidad de la representacin del contenido o dominio

Valoracin Adecuada pero con algunas carencias Se ha consultado de manera informal a un pequeo nmero de expertos

Puntuacin 2

2.11.

Consultas a expertos

Validez de constructo
Contenido 2.12. Diseos empleados Valoracin

Puntuacin

Correlaciones con otros tests

2.13.

Tamao de las muestras

2.14. 2.15. 2.16.

Procedimiento de seleccin de las muestras Mediana de las correlaciones del test con otros tests similares Calidad de los test empleados como criterio o marcador Datos sobre el sesgo de los tems

2.17.

Anlisis factorial exploratorio Varios estudios con 5 muestras grandes No se aporta Buena 4 (0.50r<0.60) Adecuada pero con algunas 2 carencias No se aporta

Validez predictiva
No se aporta propiamente un estudio de validez predictiva, si bien se hacen contrastes con variables personales de los sujetos (edad, sexo).

Contenido 2.18. 2.19. 2.20. 2.21. Diseo de seleccin del criterio Tamao de las muestras Procedimiento de seleccin de las muestras Correlaciones del test con los criterios

Contenido

Puntuacin

No se aporta No se aporta No se aporta

10

Comentarios generales sobre validez

Como estudio de validez se hace un anlisis de la estructura interna, mediante anlisis factoriales exploratorios, para verificar la estructura de los elementos y las escalas. Tambin se realiza un estudio de validez convergente y discriminante, mediante la correlacin de las puntuaciones en la escala (solo versin 12 a 17 aos) con la prueba CBCL (Child Behavior Checklist, de Achenbach). Se confirman las correlaciones hipotetizadas entre las 5 subescalas del ESPERI y las 8 dimensiones que mide la prueba de Achenbach. Los autores tambin comparan los resultados de las escalas con las variables edad y sexo a fin de identificar perfiles y tipologas de severidad de los trastornos. Ofrecen adems un estudio de los niveles de gravedad aplicando el anlisis de conglomerados.

Convendra repensar en futuras ediciones algunos de los resultados ofrecidos: 1) Los 3 factores de la versin del profesor correlacionan entre s ms de 0.81, como reconoce el Manual. Estas elevadas correlacionen cuestionan que sean realmente 3 los factores que esta versin /del cuestionario mide. 2) Las correlaciones de los mismos rasgos entre la versin de los estudiantes y del profesor estn en el rango (0.41 a 0.45), que parecen bajas como medidas de mismo rasgo con distinto mtodo.

Fiabilidad
Contenido 2.22. Datos aportados sobre fiabilidad Valoracin Puntuacin

Un nico coeficiente de fiabilidad Un nico error tpico de medida

11

Equivalencia formas paralelas

Contenido 2.23. 2.24. Tamao de las muestras Coeficientes de equivalencia Valoracin No se aporta No se aporta Puntuacin

Consistencia interna
Contenido 2.25. 2.26. Tamao de las muestras Mediana de los coeficientes de consistencia Valoracin Un estudio con una muestra grande (N500) Excelente (r0.85) Puntuacin 3

Estabilidad (test-retest)
Contenido 2.27. 2.28. Tamao de las muestras Coeficientes de estabilidad Valoracin No se aporta No se aporta Puntuacin

Comentarios generales sobre fiabilidad

Los autores han utilizado como principal indicador de la fiabilidad, entendida como consistencia interna, el coeficiente alfa de Cronbach. Los valores encontrados son altos y son mayores en los heteroinformes (versiones de padres y profesores) que en los autoinformes (las dos versiones para chicos). En la escala para profesores, los coeficientes alfa de las subescalas estn por encima de 0.95 (incluso en la escala Oposicionismo de solo 10 tems), lo que plantea que puede haber tems redundantes. Se ofrecen, para cada una de las subescalas, otras informaciones de la fiabilidad, como el intervalo de confianza de alfa, la mediana de los ndices de discriminacin de los tems, la correlacin media entre los tems, y el error tpico de medida. No incluyen otros procedimientos para el clculo del coeficiente de fiabilidad, como son los indicadores de estabilidad y equivalencia.

12

Baremacin

Contenido

Valoracin
Amplio rango de baremos en funcin de la edad, el sexo, el nivel cultural y otras caractersticas relevantes

Puntuacin 5

2.29.

Calidad de las normas

2.30. 2.31.

Tamao de las muestras Procedimiento de seleccin de las muestras

Moderado (300N<600) Incidental

Comentarios generales sobre baremacin

En relacin a las versiones para nios y adolescentes, el Manual ofrece baremos centiles de cada subescala y de la escala total, por sexos y para los rangos de edad entre los que se han encontrado diferencias estadsticamente significativas. En relacin a las versiones para los padres y profesores, se ofrece un solo baremos en cada caso, por no haberse encontrado diferencias significativas; si bien, como el Manual comenta, la ausencia de diferencias pudiera deberse a los menores tamaos muestrales en estos casos. Los autores afirman que es conveniente considerar como caso en riesgo al chico que tenga un rango centil superior a 85 y marcan en negrita en las tablas las puntuaciones que tienen asociados tales rangos centiles. Dada la especial relevancia de este rango centil 85, debiera explicarse ms en el Manual las razones que justifican su eleccin. No se detalla en el Manual si en la obtencin de los centiles se ha seguido algn proceso de ajuste a la distribucin normal o se han obtenido a partir de la distribucin emprica. No se menciona en el manual el papel del error tpico de medida en la correcta interpretacin de las puntuaciones. El tamao de las muestras infantil, adolescentes y profesores es notable. La de padres es reducida (80 casos).

13