II SIMPOSIO de REPRODUCCION ASISTIDA GRUPO HOSPITALARIO QUIRON La evidencia en la Reproduccin Asistida

Defectos y problemas del metaanlisis

Dr. E. Bosch
Instituto Valenciano de Infertilidad Ernesto.Bosch@ivi.es www.ivi.es

Adoracin e idolatra del metaanlisis

Hierarchy of quality of studies of treatment effects

MetaAnalysis Randomized Controlled Trial Cohort Studies

Case-Control Studies

Case Series, Case Report

Editorial, Expert Opinion

Sigman. A meta-analysis of meta-analyses. Fertil Steril 2011

Metaanlisis: Arma de doble filo

Hierarchy of evidence as adopted from Green-top Guidelines by the Royal College of Obstetricians and Gynaecologists

Coughlan et al. Reprod Biomed Online 2014

The GRADE Working Group criteria

Evidence quality: the extent to which one can be confident that an estimate of effect or association is correct + + + +

1. Guyatt et al. BMJ 2008; 336: 924926 1. Guyatt et al. BMJ 2008; 336: 924926

Defectos y problemas del metaanlisis

S, LOS TIENE
Defectos intrnsecos a la propia metodologa del metaanlisis Defectos extrnsecos, derivados del mal uso del metaanlisis

Algunos ejemplos

Defectos intrnsecos a la propia metodologa del metaanlisis Identificacin y seleccin de los estudios Heterogeneidad de los resultados

Disponibilidad de la informacin
RCT vs estudios observacionales Anlisis de los datos INCLUSO PEQUEAS VIOLACIONES DE LAS NORMAS DEL METAANALISIS PUEDEN LLEVAR A CONCLUSIONES ERRONEAS
Walker et al. CCJM, 2008

Identificacin y seleccin de los estudios

Sesgo de publicacin
Los resultados positivos tienen mayor probabilidad de ser publicados
Las compaas farmacuticas no estn interesadas en publicar resultados negativos Editores de revistas ms interesados en resultados positivos: Aumento del IF Exclusin de estudios no publicados en ingls Identificacin de estudios no publicados
Clinicaltrials.gov NIH FDA Bancos de estudios publicados y no publicados mantenidos por los laboratorios

Identificacin y seleccin de los estudios

Grfico del embudo

Semergen. 2008;34:11

Identificacin y seleccin de los estudios

Identificacin y seleccin de los estudios

Sesgo de seleccin
Conjunto de palabras clave ms completo posible
Seleccin del listado final de estudios a incluir por consenso (varios investigadores) en funcin de parmetros de calidad
Objetivos Poblacin incluida Tamao muestral Diseo del estudio (experimental, observacional) Randomizacin, mtodo Abierto/ciego Tasas de abandono Endpoints Tipo de anlisis (Ej. ITT)

Identificacin y seleccin de los estudios

Funnel plot para deteccin de posibles sesgos de seleccin

Sigman. A meta-analysis of meta-analyses. Fertil Steril 2011

Heterogeneidad de los resultados

Bajo grado de heterogeneidad

Alto grado de heterogeneidad

Dentali et al, Ann Intern Med, 2007

Disponibilidad de la informacin

La mayora de los estudios solo reportan un resumen de los resultados (medias, SD, OR, RR) Falta de uniformidad en la medida de los resultados
Gestacin clnica, evolutivo, nio en casa Diferentes criterios de calidad embrionaria Diferentes puntos de corte en determinaciones hormonales Diferentes tipo de ensayo en determinaciones hormonales

Ausencia de datos individuales (paciente por paciente, IPD)

Disponibilidad de los resultados

Estudios prospectivos y randomizados vs estudios observacionales:

Relacin sndrome AFL y fallo de implantacin

Di Nisio et al. Blood 2011

Anlisis de los datos

Modelo de efectos fijos (fixed effects):

El efecto de los estudios es homogneo El objetivo es aumentar la precisin de la magnitud del efectos

Modelo de efectos aleatorios (random effects)

El efecto de los estudios es heterogneo El objetivo es estimar el efecto medio de la intervencin
En casos de efectos pequeos y/o variables entre los estudios, los resultados entre ambos modelos pueden ser distintos. Conviene presentar ambos

Defectos extrnsecos, derivados del mal uso del metaanlisis

Reports in PubMed classified under the meta-analysispublication type
Ms de 27.000 metanlisis publicados en Medline desde 1966 Cochrane Database of Systematic Reviews.
2000= 849 2011= 4,720 (5-fold)

Artculos publicados en Julio 2012 en la Cochrane Database

61 revisiones sistemticas:
15% --> 0-1 RCT 50% --> < 1000 pacientes 50% --> publicados previamente 2000 2012 actualizacin con mismo nmero de pacientes y estudios
Humaidan P, Polyzos NP. (Meta)analyze this: Systematic reviews might lose credibility. Nat Med. 2012

Es ms fcil ser crtico de cocina que un buen chef

Qu hace falta Un ordenador Mnimos conocimientos de estadstica Tiempo Qu NO hace falta Escribir un proyecto, registrarlo Pasar IRB Pasar CEIC Hacer un curso GCP

Contratar un CRO
Buscar financiacin Reclutar sujetos, enrolar, CI, etc

Defectos extrnsecos, derivados del mal uso del metaanlisis

Defectos extrnsecos, derivados del mal uso del metaanlisis

Relevant citations on uNK and pNK (n=783)

Meta anlisis con UN nico estudio!

PG.22

Tang et al Hum Reprod 2011

All cysts are not created equal Risks of having a cyst No todo puede ser RCT

no RCT on parachute use based on observational studies efficacy: effect of healthy cohort common sense vs exclusively EBM

PG.23

Algunos ejemplos

Pareja con esterilidad primaria de 2 aos de evolucin Ella: 32 aos, ciclos regulares, hormonas basales, AMH, IMC normales HSG: cavidad normal, trompas permeables. ECO: Utero normal, 16 FA El, 35 aos, espermiograma: OAT severa: (2 M, 10% movilidad a+b, 3% normales) Cariotipo normal, FQ negativo, estudio microdelecciones cr Y negativio etc) Cual sera el tratamiento reproductivo de eleccin? a) IAH b) FIV c) ICSI

PG.24

No todo puede ser RCT

PG.25

Fenmenos extraos

Efectos que desaparecen

PG.26

Metaanlisis agonistas vs antagonistas 2006

0.83 ( 0.72 - 0.95 )

PG.27

Metaanlisis agonistas vs antagonistas 2011

PG.28

Fenmenos extraos

Efectos que aparecen

PG.29

Metaanlisis Progesterona el da de hCG y gestacin 2007

0.75

(0.53

1.06)

0.10

OR of Clinical PR

0.10 ( 0.22 0.2)

0.11

RD for Clinical PR

PG.30

Venetis CA et al. Hum Reprod Update 2007;13:343355.

No nos lo cremos
Comment on: Is progesterone elevation on the day of human chorionic

gonadotrophin administration associated with the probability of pregnancy in in vitro fertilization? A systematic review and meta-analysis. By Venetis et al (2007)

defining a single threshold for a detrimental serum P level

seems imprecise: most of the studies failing to demonstrate an association employed a threshold level of 0.9 ng/ml. Probably, a trend analysis relating both variables would be of greater interest.

Bosch . Hum Reprod Update. (2008) ;14: 194-5

PG.31

Progesterona el da de hCG y gestacin

PG.32

Bosch et al . Hum Reprod (2010) ;25: 2092-100

www.ivi.es Pgina 32

Metaanlisis Progesterona el da de hCG y gestacin 2013

62 estudios; 30916 ciclos

PG.33

Venetis et al . Hum Reprod (2013)

www.ivi.es Pgina 33

Comparar peras con manzanas Metaanlisis FSH vs FSH+LH en pacientes de edad avanzada

Hill et al. Fertil Steril, 2012

Estudio

Edad

Protocolo

Pauta LH

Marrs 2004
Humaidan 2004 Fbregues 2006 NyboeAndersen 2008

>=35
>=35 >=35 >=35

Largo
Largo Largo Largo

150 UI desde da 6
Ratio 2:1 desde da 8 150 UI desde da 6 75 UI desde da 6

Barrenechea 2008
Matorras 2009
PG.34

>=40 o BR
35-39 36-39

Flare up
Largo Antagonista
www.ivi.es

150 UI desde da 7
150 UI desde da 6 75 UI desde da 1
Pgina 34

Bosch 2011

Conclusiones
Un metanlisis no tiene credibilidad por el simple hecho de ser un metaanlisis

La credibilidad de un metaanlisis depende de:

La credibilidad y calidad de los estudios incluidos El control de los sesgos de publicacin y seleccin La heterogeneidad de los resultados de los estudios incluidos

El autor de un metaanlisis tiene la mxima responsabilidad en la investigacin cientfica y debe tener el mximo rigor posible en su elaboracin Hoy por hoy se acepta la publicacin de demasiados metaanlisis, muchos de ellos de baja calidad, que confunden al lector

Por tanto, es imprescindible hacer una lectura crtica de un metaanlisis, y revisar los estudios que lo constituyen, antes de dar por vlidas sus conclusiones
PG.35

www.ivi.es

Pgina 35

Think!

PG.36

www.ivi.es

Pgina 36