Epidemiologa y demografa sanitaria

Bloque de epidemiologa
Tema 13
Estudios de las pruebas
diagnsticas

Dr. Esteve Fernndez
Qu queremos aprender?

1. El concepto de variacin en la medicin y
reproducibilidad.
2. Los conceptos y manera de calcular la sensibilidad
y especificidad.
3. Los conceptos y manera de calcular los valores
predictivos.
4. La utilidad de las curvas ROC y de las razones de
verosimilitud.
5. Uso de pruebas diagnsticas en serie y en paralelo.
6. Los diseos para valorar la utilidad de las pruebas
diagnsticas

Estructura de la sesin

1. Variacin en la medicin.
2. Reproducibilidad o concordancia de medidas.
3. Validez de una prueba diagnstica.
4. Uso de pruebas diagnsticas en serie y en
paralelo.
5. Diseos para valorar una prueba diagnstica.


Materiales para el aprendizaje

0. (Diapositivas de la leccin)
1. Lectura recomendada
Captulo 14 libro Pidrola Gil y Captulo 3 libro
Fletcher y cols.
2. Lecturas complementarias
Artculos Aula Global
3. Seminario de resolucin de problemas n 9

Variacin en la medicin
Las apariencias a la mente son de cuatro clases.
Cosas hay que son lo que parecen ser;
o no lo son y no parecen serlo;
o lo son y no parecen serlo;
o no son y s parecen serlo.
Es tarea del hombre sabio
el decidir correctamente
en todos esos casos
Epcteto (siglo II dC)
Discursos (libro I, cap. 27)
La prctica de la medicina clnica
consiste en interpretar signos,
sntomas y pruebas diagnsticas
para tomar decisiones: diagnosticar,
tratar, o no tratar
200 -

180 -

160 -

140 -

120 -

100 -

80 -
Valores hipotticos de TA sistlica en un individuo
tiempo
T
e
n
s
i

n

a
r
t
e
r
i
a
l

s
i
s
t

l
i
c
a

(
m
m

H
g
)

Fuentes de variabilidad
Reproducibilidad o concordancia
Grado en que concuerdan dos o ms
mediciones sobre la misma muestra

Validez
Grado en que una medicin coincide con la
verdad
Validez y reproducibilidad...
Reproducibilidad o
concordancia de medidas
Reproducibilidad

Repetibilidad / Concordancia /
Acuerdo / Fiabilidad

Grado en en que una variable tiene el
mismo valor cuando se mide varias veces
en la misma muestra

La reproducibilidad es previa a la validez

El consenso (alta reproducibilidad) es til
en ausencia de referente
Reproducibilidad o concordancia

interobservador
grado de coincidencia de un
observador consigo mismo

entre observadores
grado de concordancia entre dos
o ms observadores


Reproducibilidad de variables categricas

+
+
a b
c d
Observador B
O
b
s
e
r
v
a
d
o
r

A

Acuerdo especfico en
lo positivo
Po+ = 2a / (2a+b+c)

Acuerdo especfico en
lo negativo
Po- = 2d / (2d+b+c)
Acuerdo total
Po = (a+d) / (a+b+c+d)
Problemas
Depende de los pares discordantes
Puede haber concordancia al azar
ndice Kappa (test de Cohen)
Resume la concordancia entre dos medidas de una
variable en escala cualitativa, tras eliminar la
concordancia debida al azar.
i
k
i
i e
k
i
ii
e
e
p p p
p p
p
p p
Kappa
.
1
.
1
0
0
*
1

=
=
=
=

=

+
+
a b
c d
Observador B
O
b
s
e
r
v
a
d
o
r

A

Concordancia entre dos radilogos
al leer una mamografa (imagen patolgica s/no)
S
No
S No
71 41
42 455
Observador B
O
b
s
e
r
v
a
d
o
r

A

113 496
112
497
609
Acuerdo especfico en
lo positivo
Po+ = 2a / (2a+b+c)
Po+ = 0,6311 = 63,1%

Acuerdo especfico en
lo negativo
Po- = 2d / (2d+b+c)
Po- = 0,9164 = 91,6%
Acuerdo total
Po = (a+d) / (a+b+c+d)
Po = 0,8637 = 86,4%
Pasamos a probabilidades
S
No
S No
Observador B
Observador A
1166 . 0
609
71
=
7471 . 0
609
455
=
1839 . 0
609
112
=
8144 . 0
609
496
=
8161 . 0
609
497
=
1856 . 0
609
113
=
547 . 0
6989 . 0 1
6979 . 0 8637 . 0
1
6989 . 0 ) 8161 . 0 * 8144 . 0 ( ) 1839 . 0 * 1856 . 0 ( *
8637 . 0 7471 . 0 1166 . 0
0
.
1
.
1
0
=

=
= + = =
= + = =

=
=
e
e
i
k
i
i e
k
i
ii
p
p p
Kappa
p p p
p p
Clasificaciones propuestas para la
interpretacin del ndice kappa
0
0,2
0,4
0,6
0,8
1
-1.0
Landis and
Koch (1977)
Altman (1991) Fleiss (1981) Byrt (1996)
Almost
perfect
Substantial
Moderate
Fair
Slight
Poor
Very good
Good
Moderate
Fair
Poor
Excellent
Fair
to
good
Poor
Excellent
Very good
Good
Fair
Slight
Poor
No
agreement
Y si tuvieramos tres opciones de respuesta?
Observador B
O
b
s
e
r
v
a
d
o
r

A

+ +/
+

+/


ew
ew w
w
p
p p
ponderada Kappa

=
1
0
k

Problemas con el uso de kappa
Depende de la prevalencia de verdaderos
positivos (o del desequilibrio entre resultados
negativos y positivos)
dar el valor de k , Po+ y Po-

Puede estar sesgado por la asimetra de las
discordancias
plantear diferentes escenarios de acuerdo
Reproducibilidad de variables continuas
Pueden categorizarse prdida de informacin
No usar coeficiente de correlacin
(regresin a la media)
Trabajar con la diferencia entre variables
y sus medias:
coeficiente de correlacin intraclase
t de Student para datos apareados


Ej.: Concordancia entre dos balanzas en la
medida del peso
Validez de una
prueba diagnstica
Validez

Grado en el que los resultados
de una medicin corresponden
al fenmeno real (la verdad)
ENFERMEDAD
PRUEBA
S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
o no lo son y no parecen
serlo;
o lo son y no parecen
serlo;
o no son y s
parecen serlo.
Cosas hay que son
lo que parecen ser;
ENFERMEDAD
PRUEBA
S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
Grado en que los resultados de una prueba
corresponden realmente a aquello que se est
midiendo.
Capacidad de la prueba para medir el fenmeno
que se est estudiando.
Capacidad de una prueba diagnstica de clasificar
correctamente a enfermos y no enfermos.

Parmetros de validez interna:
Sensibilidad (S) de la prueba
Especificidad (E) de la prueba
Validez
Parmetros de validez interna: sensibilidad
Sensibilidad
Probabilidad de que la prueba sea positiva si la
enfermedad est presente.



ENFERMEDAD
P
R
U
E
B
A

S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
Sensibilidad: S =
a
a + c
Ejemplo:
S=0,75 u 75%
La prueba es positiva en
el 75% de los que tienen
la enfermedad
Parmetros de validez interna: especificidad
Especificidad
Probabilidad de que la prueba sea negativa en los
individuos sanos.



ENFERMEDAD
P
R
U
E
B
A

S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
Especificidad: E =
d
b + d
Ejemplo:
E=0,90 u 90%
La prueba es negativa en
el 90% de los que no
tienen la enfermedad
Ejemplo: Validez del diagnstico clnico de la faringitis
en 152 pacientes (patrn de oro: cultivo)
Cultivo farngeo
D
i
a
g
n

s
t
i
c
o

c
l

n
i
c
o

+
+


27 35
10 77
Especificidad: E =
d
b + d
Sensibilidad: S =
a
a + c
S = 27 / 37 = 73%
E = 77 / 112 = 69%
IC95%:

p 1,96 \ (p (1-p) / N)
S= 0,73 (0,66 - 0,80)

E= 0,69 (0,61 - 0,76)
Inters de pruebas sensibles
Cuando el precio de omitir un diagnstico sea elevado
o cuando existe riesgo de extensin de la enfermedad
Objetivo: detectar que se tiene la enfermedad (para
tratarla o prevenir su extensin)
Ej.: linfoma, Sida
En las primeras etapas diagnsticas, cuando hay
numerosas posibilidades diagnsticas, con la intencin
de disminuir stas.
Objetivo: descartar procesos.
Ej.: sospecha de neoplasia
Una prueba sensible sobre todo es til
cuando su resultado es negativo.
tiles para confirmar un diagnstico que ha sido
sugerido por otros datos una prueba especfica da
pocos resultados falsos positivos.
Objetivo: confirmar que no se tiene el proceso

Cuando los falsos positivos pueden causar perjuicio
importante al paciente (fsico, emocional o
econmico).

Una prueba especfica sobre todo es
til cuando su resultado es positivo.
Inters de pruebas especficas
Aparentemente no estn relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que estn sanos...

Relacin entre S y E?
Angina
IAM
[CPK]
FP
VN
Aparentemente no estn relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que estn sanos...

Relacin entre S y E?
Angina
IAM
[CPK]
FN
VP
Aparentemente no estn relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que estn sanos...

Relacin entre S y E?
Angina
IAM
[CPK]
+FP | Especificidad |VN
+VP + Sensibilidad |FN
Relacin entre S y E?
+FP | Especificidad |VN
+VP + Sensibilidad |FN
Relacin
inversa
Cuanto ms exigente sea el criterio,
menor ser la sensibilidad y
mayor la especificidad
Puntos de
corte
CPK
Valor S E
1 70 100.0 17.7
2 120 94.0 40.3
3 140 92.5 59.7
4 160 85.1 82.3
5 180 82.6 83.9
6 200 73.1 87.1
7 220 70.1 90.3
8 260 67.2 90.3
9 300 61.2 90.3
10 340 68.2 90.3
11 400 32.8 96.8
12 500 16.8 100.0
Relacin inversa
entre S y E
La relacin inversa
entre S y E
suele representarse
mediante la curva ROC
receiver operating
characteristic

sensibilidad
vs.
1 especificidad
s
e
n
s
i
b
i
l
i
d
a
d

1 especificidad
Curva ROC

Permite el clculo del rea
bajo la curva
Impresin grfica de la
relacin entre S y E
Facilita eleccin puntos de
corte
Permite valorar todo el
espectro de valores
Permite comparar pruebas
diagnsticas (grfica y
estadsticamente)




s
e
n
s
i
b
i
l
i
d
a
d

1 especificidad
VN+VP
Diagnsticos
correctos
FP+FN
Valores predictivos

En clnica normalmente deseamos saber
si el resultado (positivo o negativo) de la
prueba es correcto o no, es decir, la
probabilidad de la enfermedad tras
saber el resultado de la prueba
Valor predictivo positivo

Probabilidad que tiene una prueba de detectar
enfermos cuando da un resultado positivo


ENFERMEDAD
P
R
U
E
B
A

S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
VPP =
a
a + b
Ejemplo:
VPP=0,99 0 99%
El 99% de los pacientes
con la prueba positiva
tiene realmente la
enfermedad
Valor predictivo positivo

Probabilidad que tiene una prueba de detectar
enfermos cuando da un resultado positivo


VPP =
a
a + b
VPP =
P * S
P * S + (1 P) (1 E)
El VPP depende de la
prevalencia o probabilidad
a priori de la enfermedad

Cuando la muestra no es
representativa se calcula a
partir del Teorema de Bayes
P: prevalencia
S: sensibilidad
E: especificidad
Valor predictivo negativo

Probabilidad que tiene una prueba de detectar sanos
cuando da un resultado negativo


ENFERMEDAD
P
R
U
E
B
A

S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
VPN =
c
c + d
Ejemplo:
VPN=0,10 0 10%
El 10% de los pacientes
con la prueba negativa
tiene realmente la
enfermedad
Valor predictivo negativo

Probabilidad que tiene una prueba de detectar sanos
cuando da un resultado negativo


VPN =
c
c + d
VPP =
(1 P) * E
(1 P) E + P (1 S)
El VPN depende de la
prevalencia o probabilidad
a priori de la enfermedad

Cuando la muestra no es
representativa se calcula a
partir del Teorema de Bayes
P: prevalencia
S: sensibilidad
E: especificidad
Valores predicitivos --implicaciones

Dado que dependen de la prevalencia:

Las pruebas diagnsticas funcionan mejor cuando
la prevalencia de la enfermedad es mayor
El uso de pruebas diagnsticas debe tener en
cuenta las caractersticas de la enfermedad en el
contexto en que se usan
La prevalencia de enfermedad depende del nivel
asistencial




Razones de verosimilitud
(razones de probabilidad diagnstica)
(likelihood ratios)

Parmetros independientes de la
prevalencia de la enfermedad que
aglutinan la informacin sobre
sensibilidad y especificidad
Razn de verosimilitud positiva (RVP)

La RVP relaciona
la ventaja preprueba de diagnosticar la
enfermedad (odds de prevalencia, P / 1 P)
con la ventaja posprueba de un resultado
positivo (odds del VPP, VPP / 1 VPP)
VPP

1 VPP
P

1 P
S

1 E
= X
Razn de verosimilitud positiva (RVP)

Cuanto mayor es la RVP (sobre 1) ms importante es la
contribucin de un resultado positivo de la prueba en
el diagnstico de la enfermedad.

Ejemplo
RVP=8 indica que el resultado es proporcionalmente 8
veces ms frecuente en los enfermos que en los no
enfermos
RVP >10 -- prueba excelente
RVP 5-10 -- prueba buena
RVP 2-5 -- prueba regular
RVP 1-2 -- deficiente
Razn de verosimilitud negativa (RVN)

La RVN relaciona
la ventaja preprueba de diagnosticar la
enfermedad (odds de prevalencia, P / 1 P)
con el inverso de la ventaja posprueba de un
resultado negativo (odds del VPN, VPN / 1 VPN)
1 VPN

VPN
P

1 P
1 S

E
= X
La RVN valora la contribucin de un
resultado negativo en la no
confirmacin de la enfermedad
ms importante cuanto ms cerca de 0
1 S

E
Razn de verosimilitud negativa (RVN)

E

1 S
Se puede definir RVN al revs.
Informa de la relacin entre la ventaja
preprueba de no enfermedad y la ventaja
posprueba del resultado negativo, y su
escala es similar a la de la RVP
Uso de pruebas diagnsticas
mltiples
Pruebas diagnsticas mltiples
Tipos:
pruebas en paralelo (a la vez): un resultado
positivo de cualquiera de ellas se considera
diagnstico de la enfermedad

pruebas en serie (consecutivas): slo se
considera el diagnstico de enfermedad cuando
todas las pruebas dan positivas.

Pruebas en paralelo
Cuando se necesita un diagnstico rpido
(Ej.: pacientes hospitalizados o en urgencias)



aumentan la sensibilidad y
el VP negativo
disminuyen la especificidad
y el VP positivo

A

B

C
+

+

+





Prueba A o prueba B o prueba C positivas
Pruebas en paralelo
Especialmente tiles cuando se requiere una
prueba muy sensible pero slo se dispone de
pruebas relativamente insensibles que miden
diferentes fenmenos clnicos.

Es menos probable que la enfermedad se pase
por alto, pero tambin hay ms falsos positivos.

Perjuicio: el tratamiento de algunos pacientes sin
la enfermedad.
Pruebas en serie
Cuando no se precisa una evaluacin rpida
Cuando alguna de las pruebas tiene un coste o un
riesgo elevado





-- aumentan la especificidad y el VP positivo
-- disminuyen la sensibilidad y el VP negativo
A + B + C +

Prueba A y prueba B y prueba C positivas
Diseos para valorar
pruebas diagnsticas
Diseos para valorar pruebas diagnsticas
Aspectos clave

Seleccionar una muestra que represente a los
pacientes o a la poblacin en la que se aplicar la
prueba
Se debe estudiar la prueba diagnstica bajo
condiciones reales de aplicacin (sin que el estudio
influya en cmo se realizan)
Independencia de las observaciones: en los estudios
de concordancia es crucial que los observadores no
se influyan
Diseos para valorar pruebas diagnsticas
Estudio transversal

nico que se utiliza en los estudios de reproducibilidad
Segundo ms usado en el estudio de la validez

La prueba se aplica a una muestra representativa de los
sujetos en los que luego se utilizar y todos los resultados
se confirman mediante una prueba de referencia

Permite calcular S y E; VPP y VPN; RVP y RVN

punto clave: seleccin de la muestra

Diseos para valorar pruebas diagnsticas
Estudio de casos y controles

Diseo ms usado en estudios de validez, y al mismo
tiempo el que ms problemas plantea

Se seleccionan casos con la enfermedad y controles con
diagnsticos diferenciales de la enfermedad (y con
confirmacin del diagnstico mediante la prueba de
referencia)

Permite calcular la S en los casos y la E en los controles

Si enfermos y no enfermos no guardan la debida
proporcin no se pueden calcular los VPP y VPN
Diseos para valorar pruebas diagnsticas
Estudio de cohortes

Se utilizan menos para valorar pruebas diagnsticas

A partir de una muestra representativa de la poblacin de
referencia se forman dos cohortes, una con la prueba
positiva y otra con la prueba negativa. En la cohorte con la
prueba positiva se aplica la prueba de referencia y la
cohorte con prueba negativa se sigue para descartar el
diagnstico

La declaracin STARD
Standards for Reporting of Diagnostic Accuracy

Es una gua de 25 puntos (y un diagrama de flujo), que
pueden utilizar autores, editores, revisores y lectores
para la redaccin de artculos sobre pruebas
diagnsticas y para su evaluacin

Disponible en Aula Global
Recapitulacin

1. Variacin en la medicin
Reproducibilidad o concordancia
Grado en que concuerdan dos o ms
mediciones sobre la misma muestra

Validez
Grado en que una medicin coincide
con la verdad
Recapitulacin

2. Reproducibilidad o concordancia

+
+
a b
c d
Observador B
O
b
s
e
r
v
a
d
o
r

A

Acuerdo total
Acuerdo especfico en lo
positivo
Acuerdo especfico en lo
negativo
ndice Kappa
ndice Kappa ponderado
Recapitulacin

3. Validez de una prueba diagnstica
Grado en el que los
resultados de una medicin
corresponden al fenmeno
real (la verdad)
ENFERMEDAD
P
R
U
E
B
A

S
+
No

Verdaderos
positivos
Falsos
positivos
Falsos
negativos
Verdaderos
negativos
a b
c d
Sensibilidad (S) y Especificidad (E)
Curva ROC
Valores predictivos (VPP y VPN)
Razones de verosimilitud (RVP y RVN)
Recapitulacin

4. Pruebas diagnsticas mltiples
Pruebas en paralelo
aumentan la sensibilidad y el VPN
disminuyen la especificidad y el VPP

Pruebas en serie
aumentan la especificidad y el VPP
disminuyen la sensibilidad y el VPN
A

B

C
+

+

+





A + B + C +

Recapitulacin

5. Diseos para valorar pruebas diagnsticas
estudios transversales
estudios de casos y controles
estudios de cohortes

La declaracin STARD
Epidemiologa y demografa sanitaria

Bloque de epidemiologa
Tema 13
Estudios de las pruebas
diagnsticas

Dr. Esteve Fernndez