EJEMPLO PARA

ACTIVIDADES SOBRE
VALIDEZ
Validez: Evaluacin emprica.
1) Anlisis de las relaciones test-criterio Regresin
2) Evidencia convergente y discriminante Correlacin
3) Anlisis de la estructura interna del test AFE

Validez: Evaluacin emprica.

Una inferencia vlida basada

en las puntuaciones de un
test (el plano emprico) se
dice que es vlida porque ha
recibido algn apoyo
emprico. Cuanto mayor es el
apoyo, mayor la confianza en
esa inferencia, es decir,
mayor su validez.
Puedo usar o interpretar
las puntuaciones en este
test del modo deseado?

Teora (ideas)
Constructos o conceptos

Operacionalizacin
Variables observables
o indicadores
Plano emprico

Anlisis de las relaciones test-criterio.

Cun bien puedo

pronosticar las
puntuaciones en un
criterio dado a partir de
las puntuaciones en el
test?

Teora (ideas)
Constructos o conceptos

Operacionalizacin

Variables observables
o indicadores
Plano emprico

Anlisis de las relaciones test-criterio Regresin

La pregunta clave es: el test es til para predecir criterios externos a la prueba?
Trata de garantizar la eficacia del test para pronosticar una variable de inters.
Numerosos estudios de investigacin han analizado el poder predictivo de las
dimensiones de personalidad del modelo de Eysenck (Extroversin, Psicoticismo y
Neuroticismo) sobre la Desadaptacin escolar.
Vamos a evaluar las relaciones test-criterio de las distintas dimensiones del EPQRA. El criterio ser la puntuacin en un test de Desadaptacin Escolar (mayor
puntuacin implica peor adaptacin).
Para ello utilizaremos la regresin. La regresin es una tcnica ms sofisticada que
la correlacin. Permite saber el porcentaje de varianza del criterio que puedo
pronosticar adecuadamente a partir del test. Y el cambio que puedo esperar en el
criterio por cada unidad de cambio en el test.
Como tenemos 3 dimensiones, haremos un anlisis de regresin mltiple.
4

Anlisis de las relaciones test-criterio.

Cun bien puedo pronosticar las

puntuaciones en un criterio
dado a partir de las
puntuaciones en el test?

Y
Desadaptacin
Escolar

X1
Extroversin
X2
Neuroticismo
X3
Psicoticismo

Teora (ideas)
Personalidad

Extroversin

Neuroticismo

Psicoticismo

....
tem 3

e3

tem 7

tem 12

e7

e12

tem 13

e13

tem 1

e1

Plano emprico
5

Variable Dependiente o criterio:

Desadaptacin escolar
Es la variable que pretendemos
predecir a partir de la puntuacin
en las 3 dimensiones del test

Variables Independientes o
predictoras:
Extroversin
Neuroticismo
Psicoticismo
Son las que utilizamos para
intentar predecir el criterio

Coeficiente de correlacin
mltiple al cuadrado corregido
(ajustado al tamao de la muestra):
Indica el porcentaje de varianza
del criterio explicado por las 3
dimensiones del test.
Es muy bajo, solo puedo explicar un
4,6% de la varianza de la
desadaptacin. La relacin es dbil.

Correlacin mltiple
test(3 dimensiones)-criterio.
Coeficiente de validez.
La relacin es dbil.

Contrasta la hiptesis nula (H0) que afirma que la proporcin de

varianza explicada por el test es nula.
Si Sig. < .05 Rechazamos la H0 (es lo que deseamos)
Si Sig. > .05 Mantenemos la H0
Conclusin: Rechazamos la hiptesis nula. Las 3 dimensiones del
EPQ-RA explican un porcentaje de varianza de la
desadaptacin (4,6%) significativamente distinto de cero
9

Indica el incremento/decremento que se produce

en la desadaptacin escolar por cada unidad de
incremento en cada una de las dimensiones de
personalidad.
Por cada unidad de incremento en Extroversin,
la desadaptacin disminuye 1,4 unidades.
Por cada unidad de incremento en Neuroticismo,
la desadaptacin aumenta en 0,15 unidades.
Por cada unidad de incremento en Psicoticismo,
la desadaptacin aumenta en 1,3 unidades.
El efecto es pequeo en Neuroticismo. Pero
importante en Extroversin y Psicoticismo.
El Neuroticismo es la
nica dimensin que NO
resulta ser un predictor
significativo (Sig. > .05)
de la desadaptacin
escolar.

10

Validez: Evaluacin emprica.

1) Anlisis de las relaciones test-criterio Regresin

2) Evidencia convergente y discriminante Correlacin
3) Anlisis de la estructura interna del test AFE

11

Evidencia convergente y discriminante.

Cun bien puedo pronosticar

la desadaptacin escolar a
partir de las puntuaciones
en el EPQ-RA?

Teora
Personalidad

Inteligencia

Relativamente Bien (excepto

Neuroticismo)
No obstante, puedo seguir
buscando otras evidencias
de validez
Puedo buscar otras hipotesis
de validacin de la red
nomologica del constructo
que quiero medir

EPQ-RA

MMPI

BFQ

D-48 (intelig)
12

Evidencia convergente y discriminante Correlacin

Adems del EPQ-RA, hemos administrado otro cuestionario de personalidad.

En este ejemplo, tenemos las siguientes variables:
EPQ-RA

(Versin reducida del cuestionario

revisado de personalidad de Eysenck)

* Extroversin
* Neuroticismo
* Psicoticismo
* Sinceridad
D-48

+
+

BFQ (Big Five Questionnaire, recoge los cinco

factores de personalidad del Five Factor Model)

* Extroversin
* Estabilidad emocional (Neuroticismo)
* Amabilidad
* Responsabilidad o Tesn
* Intelecto Apertura

(Test del domin. Mide inteligencia general)

Esperamos encontrar un patrn de correlaciones acorde con lo que plantea la

teora.
13

Seleccionamos las
puntuaciones en las
dimensiones de Extroversin y
Neuroticismo de los dos
cuestionarios, y las del D-48

14

Los resultados van en la direccin esperada.

Validez convergente: Las escalas que miden lo mismo, presentan correlaciones altas.
Validez discriminante: las escalas del test correlacionan bajo con otras escalas o tests
que no miden lo mismo.
15

Validez: Evaluacin emprica.

1) Anlisis de las relaciones test-criterio Regresin

2) Evidencia convergente y discriminante Correlacin
3) Anlisis de la estructura interna del test AFE

16

Anlisis de la estructura interna del test

Cun estrecha es la
correspondencia entre la
parte de arriba (las
ideas) y la de abajo (las
escalas con sus tems)?

Teora (ideas)
Constructos o conceptos

Operacionalizacin

Variables observables
o indicadores
Plano emprico

17

Anlisis de la estructura interna del test

Cun estrecha es la
correspondencia entre la
parte de arriba (las ideas) y
la de abajo (las escalas con
sus tems)?
1. Anlisis de la estructura
interna del test:
El n y configuracin de los
factores hipotetizado se
corresponde con el n y
configuracin de lo que
encontramos en la muestra?
Procedimiento: Anlisis
Factorial Exploratorio (AFE)

Teora (ideas)
Personalidad

Extroversin

Neuroticismo

Psicoticismo

....
tem 3

e3

tem 7

tem 12

e7

e12

tem 13

e13

tem 1

e1

Plano emprico
18

Anlisis de la estructura interna del test

Anlisis Factorial
Exploratorio (AFE)
identifica el nmero y
configuracin de los
factores que explican
la parte de la varianza
total compartida por
los tems (varianza
comn)
As que refleja la
correspondencia que
buscamos.

Teora (ideas)
Personalidad

Extroversin

Neuroticismo

Psicoticismo

....
tem 3

e3

tem 7

tem 12

e7

e12

tem 13

e13

tem 1

e1

Plano emprico
19

Anlisis de la estructura interna del test AFE

Vamos a analizar los 24 tems del EPQ-RA. Este test es la versin reducida
del cuestionario revisado de personalidad de Eysenck.
La base de datos la tenis en Aula Virtual.
Tericamente, la personalidad es un constructo complejo formado por
diferentes dimensiones, que varan en funcin del modelo terico.
El EPQ-RA pretende medir las 3 dimensiones bsicas de la personalidad
propuestas por Eysenck: Extroversin (E), Neuroticismo (N), Psicoticismo
(P), y adems incluye una escala de Sinceridad o escala de mentiras (L).
Como podis ver en la base de datos, la escala EPQ-RA est compuesta por 4
grupos de 6 tems cada uno: cada grupo est diseado para medir una de las
cuatro dimensiones.
Lo que vamos a hacer es someter esta escala a un AFE para determinar el
grado de correspondencia entre la estructura terica y la emprica.
20

10

EPQ-RA
SI
1

P1

A menudo toma decisiones sin pararse a reflexionar?

L1

Ha hecho alguna vez trampas en el juego?

E1

Generalmente toma la iniciativa al hacer nuevas amistades?

P2

Es mejor seguir las normas de la sociedad que ir a su aire?

P3

Se ha opuesto frecuentemente a los deseos de sus padres?

L2

E2

Ha cogido alguna cosa (aunque no fuese ms que un alfiler o un botn) que perteneciese a otra
persona?
Puede animar fcilmente una fiesta aburrida?

L3

Alguna vez ha querido llevarse mas de lo que le corresponda en un reparto?

E3

Puede organizar y conducir una fiesta?

10 P4

Los deseos personales estn por encima de las normas sociales?

11 E4

Le gusta el bullicio y la agitacin a su lado?

12 N1

Dira de si mismo/a que es una persona tensa o muy nerviosa?

13 N2

Se siente a veces desdichado/a sin motivo?

14 E5

La gente piensa que usted es una persona animada?

15 N3

Su estado de nimo sufre altibajos con frecuencia?

16 L4

Hace siempre lo que predica?

17 P5
18 N4

Para usted, Los lmites entre lo que est bien y lo que est mal son menos claros que para la mayora
de la gente?
Tiene a menudo sentimientos de culpabilidad?

19 N5

Sufre de los nervios?

20 L5

Alguna vez ha roto o perdido algo que perteneciese a otra persona?

21 P6

Generalmente, reflexiona antes de actuar?

22 N6

Se siente a menudo aptico/a y cansado/a sin motivo?

23 L6

Alguna vez se ha aprovechado de alguien?

24 E6

Por lo general, suele estar callado/a cuando est con otra persona?

NO

21

22

11

Seleccionamos las 24 variables

de la escala EPQ-RA.
Las cuatro dimensiones que
mide esta escala son:
Psicoticismo, Extroversin,
Neuroticismo y Sinceridad.

Clicando sobre el botn

Descriptivos aparece
este cuadro de dilogo,
donde debemos marcar
las opciones sealadas
23

Clicando sobre el botn Extraccin aparece este cuadro de dilogo.

Mtodo: Factorizacin de ejes principales. Esta es la opcin adecuada cuando se quiere
identificar cuntos factores explican la varianza comn entre los tems. Muy importante! No es
el que aparece por defecto.
Analizar: Matriz de correlaciones. SPSS calcula la matriz de correlaciones adecuada a la
naturaleza de las variables implicadas en el anlisis. La escala de respuesta del EPQ-RA es
dicotmica (Si/No). Por lo tanto, en este caso particular, SPSS calcula la matriz de
correlaciones tetracricas.
Extraer: Autovalores mayores que : 1. Comenzaremos utilizando la regla de Kaiser para la
extraccin de los factores. Ms adelante comentaremos el otro criterio.
Mostrar: marcar las opciones sealadas.
24

12

Anlisis de la estructura interna del test

Componente:
resultado
(combinacin de
varias
observaciones).

ACP

AF

Componente

Construimos
componentes

Factor: causa
(latente).
descubrimos
factores

Teora (ideas)

Status

Extroversin

Neuroticismo

Psicoticismo

....
TV

PC

Coche

DVD

tem 3

e3

Plano Emprico

tem 7

tem 12

e7

e12

tem 13

tem 1

e13

e1

Plano Emprico
25

Clicando sobre el botn Rotacin aparece este cuadro de dilogo.

Mtodo de rotacin: mejora la interpretabilidad de la solucin alcanzada.
Depende de las relaciones hipotetizadas entre las dimensiones.
El modelo de Eysenck hipotetiza que las dimensiones de personalidad estn
relacionadas. Por lo tanto, seleccionamos Oblimin directo.
Mostrar: solucin rotada.
26

13

Anlisis de la estructura interna del test

Mtodo de Rotacin
Rotacin Ortogonal: Se asume la independencia o ausencia de relacin entre las
dimensiones analizadas.
Mtodo ms empleado: Varimax
Si hipotetizamos una dimensin de mayor importancia
seguida de otras menos importantes,
elegiramos Quartimax
Rotacin Oblicua: Se asume que las dimensiones o factores estn correlacionados
(se relaja el supuesto de que las lneas deben mantener ngulo recto)
Mtodo ms empleado: Oblimin

27

Clicando sobre el botn Opciones aparece este cuadro de dilogo.

Formato de visualizacin de los coeficientes: las opciones sealadas se
recomiendan para facilitar la interpretacin de la matriz de estructura con los
pesos factoriales que ofrecer despus el Output de SPSS

Por ltimo, clicamos en el botn aceptar

28

14

AFE de la escala EPQ-RA con SPSS

Cuestin previa:
Las variables observadas (tems) estn suficientemente relacionadas?
Prueba esfericidad: Contrasta si la matriz de correlaciones es una matriz identidad (H0).
La matriz identidad es una matriz con 1s en la diagonal principal y ceros en los otros
elementos. Es decir, indica ausencia de relacin entre los elementos de la matriz.
Deseamos rechazar H0 (Sig. < .05)
Si Sig. > .05 No tiene sentido interpretar los resultados del AFE

Rechazamos H0: La matriz de

correlaciones no es una matriz
identidad. Las variables bajo
anlisis estn correlacionadas,
luego continuamos con el anlisis. 29

Comunalidades:
Correlacin mltiple al
cuadrado de cada tem:
proporcin de varianza de cada
tem explicada por el conjunto
de factores extrados por el
anlisis.
Se intenta explicar la varianza
comn
Ej. tem 1 = aF1 + aF2 + aF3 + aF4

30

15

Recordad que hemos utilizado la regla de Kaiser

para la extraccin de los factores.

Siguiendo ese criterio, obtenemos 8 factores con

autovalores mayores a 1, que explican el 43% de
varianza comn.
Pero observando el grfico de sedimentacin, vemos
que en este caso, con este procedimiento se da una
sobreestimacin del nmero de factores.

31

Anlisis de la estructura interna del test

Determinacin del nmero de factores
Existen diversos criterios para determinar el nmero de factores a conservar.
Entre las alternativas posibles:

Regla de Kaiser: conservar los factores cuyos valores propios (autovalores iniciales
o eigenvalues) son mayores a la unidad (por defecto en SPSS). Tiende a sobreestimar
el nmero de factores

Seleccionar el nmero de factores que esperamos segn la teora: indicar el n de

factores que se hipotetiza desde la teora.

Grfico de sedimentacin: Permite ver grficamente a partir de qu nmero de factores

los autovalores decaen bruscamente
32

16

Repetimos el anlisis. Esta vez probaremos el otro criterio de extraccin, es decir,

indicaremos el nmero de factores que esperamos segn la teora (en este caso 4 factores:
P, N, E y L).

Vamos a ver qu resultados obtenemos...

33

Varianza comn
explicada por cada
uno de los 4 factores
extrados tras la
rotacin, es decir, una
vez maximizada la
interpretabilidad de la
solucin.

Porcentaje total de
varianza comn
explicada por los 4
factores extrados.
Los 4 factores
explican el 29% de
varianza comn.

Para explicar el 100% de la varianza se necesitan tantos factores como tems

Necesario seleccionar los que explican la mayor parte de variabilidad

34

17

Seguimos con la interpretacin de la solucin factorial fijando la extraccin a 4 factores

Matriz de estructura o
Matriz de factores rotados
Contiene las Saturaciones factoriales:
indica el peso de cada factor en cada tem,
como la correlacin del tem con el factor.

La matriz factorial rotada busca una estructura factorial tal que:

1) Cada factor tenga algunos pesos altos y otros prximos a 0
2) Cada variable sature slo en un factor. Posibilidad de
eliminar tems con saturaciones dobles (aunque a veces
puede justificarse la doble saturacin)
3) Los factores distintos presenten distribuciones de cargas
altas y bajas distintas.
Una buena solucin factorial es aquella que es sencilla e
interpretable
Parsimonia: el n de factores debe ser lo ms reducido posible
Interpretabilidad: los factores deben ser susceptibles de
interpretacin sustantiva
Esta solucin lo es, y apoya la estructura terica esperada35

Validez: Evaluacin emprica.

Conclusin.
1. Numero de factores:
Con el criterio del grafico de sedimentacin aparecen 4 factores.
Con el criterio de Kaiser aparecen 8.
Lo deseable: que ambos criterios hubieran apuntado a 4 factores.
2. En conjunto los cuatro factores solo explican el 29% de la varianza
comn. Hubiera sido deseable explicar el 50% o mas.
3. La correspondencia es completa en las dimensiones de Neuroticismo y
Extroversin. Pero no en las dimensiones de Sinceridad y Psicoticismo,
alguno de los tems que las componen no resultan adecuadamente
explicados por el factor esperado.
Los resultados no son concluyentes.

36

18

Validez: Evaluacin emprica.

El test finalmente parece que funciona bien.

Anlisis de la estructura interna del test: parece que se replica la

estructura de 4 factores, apareciendo claramente diferenciadas las
dimensiones de Neuroticismo y Extroversin. Los tems de las escalas
de Sinceridad y Psicoticismo tambin se agrupan en dos factores
diferenciados, aunque alguno de los tems que las componen no
responden a la agrupacin esperada desde el modelo terico.
Anlisis de las relaciones test-criterio: las dimensiones de
Extroversin y Psicoticismo resultan ser predictores significativos de
la Desadaptacin escolar.
Evidencia convergente y discriminante: se encuentra el patrn de
correlaciones esperado.

Cuanto mayor sea la evidencia que ofrezcamos apoyando el significado

psicolgico que damos a las puntuaciones de un test, mayor ser su
validez. Una sola evidencia es insuficiente tanto para confirmar como
para rechazar la validez de un test.
37

19