Gli studi di meta

Gli studi di meta-analisi
Premesse e nozioni principali
Rossella Miglio
Meta-analisi
Analisi combinata di informazioni quantitative ottenunte
in due o più studi indipendenti e selezionati – sulla
base di definiti criteri – dall’insieme, possibilmente
completo, di studi volti ad indagare uno stesso
fenomeno di interesse.
I risultati di una meta-analisi rafforzano la conoscenza
al di là del contributo della molteplicità dei singoli
studi, accumulando evidenze circa gli effetti di un
trattamento o una procedura.
E’ un’alternativa statistica e quindi quantitativa alla
tradizionale rassegna di letteratura.
The Evidence Pyramid
LO STUDIO CLINICO
CONTROLLATO
POPOLAZIONE STUDIATA
RANDOM
TRATT. A
ESITO
TRATT.B
ESITO
CONFRONTO
STATISTICO
Le sperimentazioni cliniche controllate.
(Randomized controlled Trial)
Gold standard degli studi di efficacia di una
terapia.
Randomizzazione
Doppio cieco
Consenso informato
Intention to Treat
Descrizione della casistica e dei criteri di
inclusione/esclusione
Accuratezza ed affidabilità della valutazione
diagnostica
Descrizione dettagliata della procedura e
dei risultati
Problemi
Molteplici
studi con risultati
contrastanti
Studi di qualita’ non omogenea (falsi
positivi e falsi negativi)
Studi di dimensioni insufficienti (falsi
negativi)
Pubblication bias
Le origini:
- R. A. Fisher (1944)
“When a number of quite independent tests of
significance have been made, it sometimes happens
that although few or none can be claimed individually
as significant, yet the aggregate gives an impression
that the probabilities are on the whole lower than
would often have been obtained by chance” (p. 99).
Source of the idea of cumulating probability values
– W. G. Cochran (1953)
Discusses a method of averaging means across
independent studies
Laid-out much of the statistical foundation that
modern meta-analysis is built upon (e.g., inverse
variance weighting and homogeneity testing)
Logica di una meta analisi
f ( βˆ )
Una media dei risultati tra
campioni verosimilmente
è più “vicina” al valore di
popolazione
βˆsampleA
β
βˆsampleB
βˆsampleC
Obiettivi di una meta-analisi
Aumentare
la potenza statistica
Risolvere
controversie quando gli studi
mostrano risultati contrastanti
Migliorare
le stime
Rispondere
a quesiti non considerati nei
singoli studi
Fasi di una meta analisi
Metodi di ricerca degli studi effettuati
sul fenomeno di interesse
(Medline, Index medicus, Data base
specifici)
Criteri di ammissione degli studi
Variabili di risposta
Disegno dello studio
Risultati usati per la combinazione
Metodi statistici
Studio della eventuale eterogeneità
Stime degli effetti
Risk ratio, rate ratio, relative risk.
Hazard ratio.
Odds ratio.
Standardized mortality ratio (SMR).
Differenze tra rischi, NNT.
Differenze tra medie (standardizzate).
Dose-risposta (coeff di regress.).
Sensibilità, specificità, curve ROC.
Informazioni su cui applicare una metaanalisi
Dati
grezzi
Risultati
delle singole analisi (odds ratio,
effetti di trattamento)
Da S. T. Normand “Meta analysis, formulating, evaluating, combining, and reporting”
Statistics in Medicine, 1999, 18, 321-359
S.T. Normand 1999.
S.T. Normand 1999.
S.T. Normand 1999.
S.T. Normand 1999.
Forest plot.
Area proporzionale al peso dello studio.
Effect of antihistamines on cold severity
Standardised mean difference
(95% CI)
% Weight
Study
1
0.57 (-0.22, 1.35)
2.5
2
0.21 (-0.03, 0.45)
26.0
3
0.20 (-0.15, 0.55)
12.5
4
0.01 (-0.58, 0.60)
4.4
5
0.24 (-0.47, 0.94)
3.0
6
-0.17 (-0.61, 0.27)
7.9
7
0.93 ( 0.30, 1.57)
3.7
8
0.59 (-0.31, 1.49)
1.9
9
0.26 ( 0.06, 0.46)
38.1
Overall
0.23 ( 0.11, 0.36) 100.0
-1.5
-1
-.5
0
.5
1
Standardised mean difference
1.5
Stima di sintesi e relativo IC.
Metodi per combinare i risultati(1)
Effetti
fissi: l’interesse è circoscritto agli
studi che sono stati inclusi nella metaanalisi.
Effetti
variabili: gli studi analizzati
costituiscono un campione estratto da
una popolazione più ampia di possibili
studi.
Metodi per combinare i risultati(2)
Modello ad effetti fissi
Ogni studio offre una stima di un medesimo
parametro le differenze osservate sono dovute ad
errori casuali
Modello ad effetti variabili
Le differenze nei risultati tratti da ciascuno studio
sono sia casuali sia dovute a differenze tra le
popolazioni studiate o legate alle caratteristiche dei
singoli studi.
Modello ad
effetti fissi
Modello ad
effetti casuali
S.T. Normand 1999.
Stima dei valori di sintesi
Effetti fissi:
Mantel-Haenszel
•
preferibile se gli studi sono sbilanciati
• Reciproco della varianza (Woolf)
è il più usato adatto ad ogni outcome
da evitare per dati sparsi
• Metodi Bayesiani
Effetti casuali:
• DerSimonian & Laird
• RML
• Metodi Bayesiani
Metodo di
MantelHaenszel per
OR:
Amantadine
No
Amantadine
Flu
a
b
No flu
c
d
a+c
b+d
Total
Total
ni
MH OR:
 ai di 
∑


i =1  ni 
= k
 bi ci 
∑


i =1  ni 
k
Weight for MH OR:
WMH
bi ci
=
ai + bi + ci + d i
ORˆ MH
Metodo di
MantelHaenszel per
RR:
(incidenza
cumulativa)
Aspirin
No aspirin
Stroke
a
b
No Stroke
c
d
a+c
b+d
Total
Total
ni
MH RR:
 bi + di 
∑

 ai
ni 
i =1 
= k
 ai + ci 
∑

 bi
ni 
i =1 
k
pesi per MH RR:
WMH
(ai + ci )(bi + di )
=
ai + bi + ci + di
RRˆ MH
Nella meta-analisi ad effetti fissi la misura
di interesse (es. odds ratio, rischio
relativo) è individuata mediante una
stima ponderata dei risultati dei singoli
studi.
Per esempio il fattore di ponderazione di
ciascuno studio è inversamente
proporzionale alla varianza della misura
di interesse.
Risultati desunti da k studi
Y1
n1
s1
Y2
n2
s2
Y3
n3
s3
2
sθ MLE


=  ∑ Wi 
 i

...... Yk
...... Nk
....... sk
−1
Sotto l’ipotesi che le stime dei coefficienti
provengano da studi tra loro indipendenti
e siano realizzazioni di variabili casuali
normali con stessa media e varianza, la
stima sintetica ad effetti fissi massimizza
la verosimiglianza per il parametro di
interesse , che rappresenta l’effetto unico
sottostante
il
fenomeno
osservato
(Bohning, 1999).
Test di eterogeneità
Cochran’s Q
(
Q = ∑ W i Yi − θˆ
i
Stima dell’effetto
nel singolo studio
)
2
~χ
2
k −1
Stima meta-analitica
E’ un test da utilizzare con cautela poichè in letteratura è stato più volte
mostrato che ha bassa potenza
S.T. Normand 1999.
Il modello ad effetti fissi pesa ogni studio con l’inversa
della varianza.
1
wi = 2
sei
Il modello ad effetti casuali pondera ogni studio con
l’inversa della varianza campionaria più una costante
che rappresenta una stima della variabilità tra gli effetti in
popolazione
wi =
1
sei2 + vˆθ
Componente aggiuntiva.
La stima è ottenuta con il metodo dei
momenti (DerSimonian & Laird,1986)








QT − ( K − 1)

νˆθ = max 0,
 ∑ W i2  

 i


Wi − 

∑
 i
W
i






Nella meta-analisi ad effetti casuali,
suggerita nell’ipotesi di eterogeneità
degli studi, il fattore di ponderazione di
ciascuno studio riflette non solo la
variabilità del singolo studio ma anche il
contributo
di
una
misura
della
eterogeneità degli studi.
Quanto più tale misura di eterogeneità
predomina la componente singola di
variabilità tanto più i pesi tenderanno
ad essere simili.
Nei modelli ad effetti casuali si possono determinare stime a
posteriori per ciascun θi :
y=(Y1; Y2; : : : ; Yk ),
Bi=
Tali stime sono un compromesso tra il valore di sintesi metaanalitico ed il valore stimato per il singolo studio Yi.
Quando τ2 =0,
il modello è equivalente ad un modello ad effetti fissi.
Nella meta-analisi ad effetti casuali,
suggerita nell’ipotesi di eterogeneità degli
studi, il fattore di ponderazione di ciascuno
studio riflette non solo la variabilità del
singolo studio ma anche il contributo di una
misura della eterogeneità tra gli studi.
Quanto più tale misura di eterogeneità predomina la
componente singola di variabilità tanto più i pesi tenderanno
ad essere simili.
Indice di eterogeneità di
Higgins I2
Misura la proporzione di inconsistenze
dei singoli studi che non può essere
spiegata dall’errore di campionamento.
Q − (df )
I =
Q
2
I2 è una percentuale.
Minimo: 0% Massimo: 100%.
Valori negativi sono posti pari a 0.
df = numero degli studi - 1
I2 consente il confronto tra metanalisi con outcome
diversi e diverso numero di studi considerati
Outcome # studies
Q
P value
I2 (95% CI)
Tamoxifen for
breast cancer
Mortality
55
55.9
0.40
3% (0 to 28)
Streptokinase
after MI
Mortality
33
39.5
0.17
19% (0 to 48)
Amantadine
Prevent
influenza
8
12.4
0.09
44% (0 to 75)
BMJ 2003;327:557-60.
Se vi è indicazione di eterogeneità
Analisi esplorative
Analisi per
sottogruppi
Analisi di
influenza
Meta-regressione
Subgroup Analyses: Stratify by subgroup & calculate
separate summary measures for each subgroup.
Subgroup Analyses:
Meta-regressione
Esistono delle caratteristiche degli studi
che permettono di spiegare l’eterogeneità?
variabile dipendente la stima di effetto
nel singolo studio.
variabili indipendenti caratteristiche
degli studi.
Effetti fissi
W
Y
∑i=1 i i
k
∑i=1Wi
k
con
Wi
1
= 2
si
Effetti casuali
∑i=1Wi (τ )Yi
k
∑i=1Wi (τ )
k
1
con Wi (τ ) = 2
2
ˆ
si + τ
Meta-analisi Standard :
I risultati sono combinati in un’unica analisi.
Meta-analisi cumulativa:
I risultati dei singoli studi vengono combinati
sequenzialmente.
Può evidenziare trend emergenti.
Standard meta-analysis and cumulative meta-analysis.
Risk ratios for progression to AIDS or death in a comparison of early therapy
with zidovudine (treatment group) or deferred therapy with zidovudine
(control group).
Vioxx and Relative Risk of Myocardial Infarction
Lancet 2004;364:2021-29.
Vioxx and Relative Risk of Myocardial Infarction
“our findings indicate that rofecoxib should have been
withdrawn several years earlier.”
Lancet 2004;364:2021-29.
La meta-analisi di studi epidemiologici
Nell'ambito degli studi di
epidemiologia
osservazionale l'impiego di tali metodologie di
sintesi quantitativa è stato oggetto di acceso
dibattito (Greenland, 1987).
Infatti le differenze di protocollo tra studi
nominalmente
simili
ha
scoraggiato
l’esecuzione di meta-analisi di studi già
pubblicati, da un lato, mentre la necessità di
valutare rischi di piccola entità ma importanti
ai fini della salute pubblica ha spinto verso la
pianificazione di meta-analisi sulla falsariga di
protocolli multicentrici, dall’altro.
Revisioni sistematiche di studi epidemiologici
(Blettner et al., 1999):
I) Revisioni narrative;
II) Analisi statistiche eseguite sui risultati di
studi pubblicati in letteratura
(tradizionalmente classificate come metaanalisi);
III)Le stime globali sono ottenute a partire dai
dati individuali rianalizzati in una fase
successiva;
IV) Combinazione dei risultati degli studi
individuali è parte integrante del protocollo
dello studio.
Il
punto
cruciale
consiste
nella
standardizzazione delle procedure di
raccolta e trattamento statistico dei dati
in funzione della sintesi futura. Le
meta-analisi di tipo IV offrono le
migliori garanzie di comparabilità tra
studi e si avvicinano come qualità alle
meta-analisi di studi clinici controllati,
anche se richiedono maggiori sforzi
organizzativi.
Gli studi osservazionali, mancando del
requisito della assegnazione casuale del
trattamento, richiedono un accurato
controllo del confondimento in fase di
analisi statistica o per mezzo di
appropriati accorgimenti di disegno
dello studio.
Le potenziali distorsioni e le differenze di
disegno
dello
studio
sono
particolarmente pronunciate e la reale
comparabilità tra studi è difficile da
assicurare e valutare (Stroup et al.
2000).
Tuttavia la variabilità tra studi può offrire
importanti ipotesi di ricerca e costituisce
un obiettivo importante di un programma
di meta-analisi.
Il gruppo MOOSE (Meta-analysis Of
Observational Studies in Epidemiology)
ha fornito un Consensus Statement
pubblicato sulla rivista della American
Medical Association il 19 Aprile 2000
(Stroup et al. 2000). Questo Statement
riguarda però soltanto le meta-analisi di
studi pubblicati, dove più rilevanti
appaiono i problemi di confrontabilità e
generalizzabilità dei risultati.
Qualora si vogliano sintetizzare a
posteriori risultati di studi indipendenti
dobbiamo assicurarci che siano stati
considerati
gli
stessi
fattori
di
confondimento, che i criteri di inclusione
siano omogenei, così come il disegno
dello studio e le metodologie di analisi,
accanto ai tradizionali requisiti delle
meta-analisi cliniche riguardanti il
controllo
della
distorsione
da
pubblicazione selettiva dei piccoli studi
con risultati positivi.
Le meta-analisi di tipo III e IV, che si
basano
sulla
ri-analisi
dei
dati
individuali provenienti dai singoli studi o
su
studi
pianificati
per
l’analisi
congiunta,
seguono
un
disegno
comprendente due fasi:
i)analisi degli studi singoli sulla base di un
protocollo comune quanto a criteri di
selezione, definizione delle variabili e
controllo del confondimento;
ii) sintesi quantitativa dei risultati ed allo
studio dei fattori che potenzialmente
possono spiegare l’eterogeneità tra
studi.
Possibili fonti di distorsione
Effetto del ß-carotene
ß-carotene intake shows
considerable benefit in the
prevention of cardiovascular
mortality, in cohort studies
… but not in RCTs, showing an
increase risk of death
Egger M et al. BMJ 1998
Accuratezza?
Cappuccio FP et al. Am J Epid 1995
Interview
bias?
Nelemans PJ et al. J Clin Epid 1995
Boyd NF et al. B J Cancer 1993
Distorsione da pubblicazione.
Errore sistematico introdotto in una
meta-analisi
dallo
stato
della
letteratura, qualora vi sia una maggiore
propensione ad accettare per la
pubblicazione, studi con risultati positivi
(relazioni
significative
o
risultati
favorevoli ad una terapia) rispetto a
quelli negativi.
Funnel Plot
sulle ordinate la dimensione dello studio
sulle ascisse la stima dell’effetto
Publication bias : funnel plot
Nb of subjects
True RR
RR
Interpretazione e problemi
La revisione sistematica (con
l’eventuale meta-analisi) e’ uno studio
epidemiologico con tutti i limiti e i
possibili difetti
Meta-analisi diverse sullo stesso
argomento possono dare risultati diversi
Il principale risultato e’ la stima
quantitativa dell’effetto medio e del
range di effetti ottenuti dal trattamento
in tutti gli studi
Il valore di una meta-analisi dipende
dalla qualita’ degli studi che la
compongono
Limiti delle meta-analisi
Non
sono studi sperimentali
Dipendono dalla esaustività della
ricerca degli studi rilevanti
Dipendono dalla qualità degli
studi inclusi
Possono sovrastimare l’effetto a
causa del publication bias