La valutazione critica di un articolo scientifico

La valutazione critica
di un articolo scientifico
Università degli Studi G. D’Annunzio
Facoltà di Medicina e Chirurgia
Corso di Laurea Specialistica in
Scienze Infermieristiche e Ostetriche
Dott.ssa Elisabetta Palma
Dott. Giancarlo Cicolini
Obiettivi di apprendimento:
† Definire la valutazione critica (Critical Appraisal –
C.A.) in un contesto pratico
† Comprendere i criteri chiave per la C.A. e
selezionare una checklist o altro strumento
appropriato per la C.A.
† Identificare le conclusioni di un articolo e valutare
se la metodologia giustifica risultati
† Valutare se i risultati sono generalizzabili ad altre
aree
† Sviluppare metodi di registrazione e presentazione
di C.A. ad articoli, con la consapevolezza delle
risorse necessarie a supportare il processo
Una riflessione …
† L’eccesso di informazioni è un problema reale
per i clinici, i manager e i ricercatori.
† Considerare metodi capaci di ridurre il
volume della letteratura (risorse, abilità,
tecnologie)
Risorse
Abilità
Tecnologie
Es.: ricerca di
riviste full-text
Es.: capacità di
lettura veloce
"Skim reading”
Es.: servizio di
e-mail alerting
La C.A.
† È un’abilità supportata da un certo
numero di risorse appositamente
sviluppate per lo scopo e da un certo
numero di tecnologie come le riviste
interattive online.
† Ma cosa è davvero la C.A. di un
articolo e in cosa si differenzia dalla
semplice lettura?
La valutazione:
† È una tecnica che implementa l’efficienza della vostra
lettura, permettendovi di escludere ricerche con disegni
di ricerca troppo deboli per la pratica. Questo permette
di avere tempo libero per l’analisi sistematica di studi
qualitativamente buoni ed estrarne i punti salienti.
† La valutazione permette di risolvere 2 ordini di problemi
comuni a diverse discipline:
„ L’eccesso di informazioni pubblicate (in generale
l’80% di quello che vi serve si trova nel 20% della
letteratura totale, non avrete mai bisogno del
resto!)
„ La consapevolezza che tutti gli studi contengono
errori, anche se spesso minori, o sono troppo
lontani dalla realtà (effetto “ivory tower")
Gli strumenti utili della C.A.:
† La C.A. utilizza strumenti utili per:
„ la valutazione sistematica della letteratura
„ separare gli studi “buoni” dai “cattivi” quando
nella ricerca incontrate studi in conflitto
„ filtrare la ricerca originale o le meta-analisi di
buona qualità
„ decidere quali articoli influenzeranno la vostra
pratica clinica
„ infrangere le barriere tra ricerca (scienza
pura) e pratica (scienza applicata)
„ supportare lo sviluppo dell’Evidence Based
Practice (EBP).
Una riflessione…
†Quando vi imbattete in un
articolo di ricerca come
decidete se:
„ vale la pena leggerlo?
„ il contenuto è credibile?
Fattori rilevanti / 1
† RILEVANZA – argomento dello studio, importanza
attuale nella pratica clinica, somiglianza con il setting
dove state lavorando, come è stato scritto, a chi è
rivolto, ecc.
† FATTORI ESTRINSECI - chi ha scritto l’articolo,
dove lavora, qualifica professionale, se è conosciuto,
chi finanzia la pubblicazione, in che rivista è
pubblicato, se l’autore ha già scritto sull’argomento …
(non sono necessariamente associati con la qualità
dell’articolo)
† FATTORI INTRINSECI - appropriatezza del disegno
dello studio rispetto al quesito di ricerca, la
numerosità campionaria, i metodi di reclutamento, i
metodi utilizzati per ottenere i risultati, ecc. (sono in
relazione allo studio stesso)
Fattori rilevanti / 2
† La C.A impone di liberarsi da pregiudizi o
bias nei riguardi dei fattori estrinseci (i
puristi affermano che non dovrebbero
essere conosciuti al momento del giudizio).
† Il giudizio iniziale va dato sulla rilevanza
generale dello studio.
† Successivamente, guardare ai fattori
intrinseci utilizzando una checklist
strutturata, infine riconsiderare
l’utilizzabilità nella pratica.
Le checklist
† Esistono vari tipi di checklist sulla base del
tipo di ricerca oppure specifiche per una
professione (es: gli infermieri) o disciplina
(es.: promozione della salute)
† Nella scelta della lista focalizzate sulla
qualità del metodo e non sulla lunghezza
della lista.
† In genere un buono studio si fa
riconoscere, mentre studi mediocri possono
sembrare di buona qualità.
Griglie per la C.A. - siti utili
† Studi caso-controllo:
http://www.public-health.org.uk/casp/
† Revisioni sistematiche:
http://www.publichealth.org.uk/casp/review.html
† RCT: http://www.publichealth.org.uk/casp/rct.html
† Studi qualitativi: http://www.publichealth.org.uk/casp/qualitative.html
C.A. di ricerche originali
† Questo modello si applica a studi primari e
ricerche originali che utilizzano la
metodologia quantitativa,
„ utilizzate la skim reading per farvi un’idea
„ analizzate di nuovo, lentamente, valutando la
rispondenza ai tre aspetti:
† VALIDITA’
† AFFIDABILITA’
† APPLICABILITA’
Le domande da farsi
† VALIDITA’
„ le conclusioni sono giustificate dalla metodologia
e dai risultati?
„ la metodologia è corretta?
„ gli autori hanno fatto affermazioni ragionevoli?
„ ci sono altri fattori confondenti che andavano
considerati?
„ se utilizzano un campione, come
hanno evitato i bias?
† AFFIDABILITA’
† APPLICABILITA’
Le domande da farsi
† VALIDITA’
† AFFIDABILITA’
„ quali sono i risultati dell’articolo?
„ l’effetto è stato dimostrato abbastanza da
giustificarne la significatività?
„ quanto siamo confidenti che il
risultato si trova nell’intervallo
della ragionevole
aspettativa e non è dovuto al
caso?
† APPLICABILITA’
Le domande da farsi
† VALIDITA’
† AFFIDABILITA’
† APPLICABILITA’
„ i problemi che devo affrontare
sono sufficientemente simili
a questi dello studio?
„ posso estrapolarne i
risultati?
„ posso generalizzarli al
mio posto di lavoro?
Metodologia
quesiti di
ricerca
sono definiti?
campione
come è stato
selezionato?
la dimensione è
sufficiente (potenza)?
randomizzazione
metodi di randomizzazione?
criteri di inclusione/esclusione chiari?
a parte l’intervento sperimentale, il
trattamento nei 2 gruppi è lo stresso?
drop-out e crossover sono conteggiati?
gli outcomes sono definiti?
l’analisi “ITT” è utilizzata?
Quesiti di screening
† Lo studio è indirizzato a un argomento
specifico e chiaro?
„ Saresti in grado di descrivere lo studio in termini di
partecipanti, dell’intervento, degli the outcomes
misurati e dei confronti fatti?
„ L’assegnazione dei partecipanti era randomizzata?
„ I soggetti entrati nello studio sono stati tutti
correttamente conteggiati alla fine?
Se rispondi SI a tutte queste domande, allora vai
avanti e cerca risposte a queste altre domande:
Quesiti sui gruppi
„ Ci sono differenze tra i due gruppi
riconducibili a bias di selezione o variabili
di confondimento? (età, genere,
estrazione sociale…)
„ Cecità rispetto ai partecipanti, ai
ricercatori, agli sperimentatori
„ I gruppi erano simili all’inizio dello
studio?
„ A parte l’intervento sperimentale, i due
gruppi sono stati trattati allo stesso
modo?
Quesiti sui risultati
† Quanto è stata rilevante la differenza
tra i due gruppi? (quali outcomes
sono stati registrati? come sono state
espresse le differenze tra i gruppi?)
† Quanto erano precise le stime degli
effetti del trattamento?(vai a vedere
gli I.C.)
Quesiti sulla utilità
† I risultati saranno utili a livello locale?
„ I risultati possono essere applicati al tuo lavoro?
(in cosa i soggetti dello studio sono diversi dai
tuoi pazienti?)
„ Gli outcomes importanti sono stati tutti
considerati? (se no, questo inficia
l’interpretazione dello studio)
„ I benefici controbilanciano i rischi e i costi?
(molte ricerche non includono l’analisi costibenefici, che potrebbe essere invece molto
utile).
Esempio:
† Critical appraisal of a randomised
controlled trial (primary quantitative
research): RCT to evaluate early
discharge scheme for patients with
stroke. Rudd AG, Wolfe CDA, Tilling K
and Beech R. BMJ 1997; 315: 10391044.
http://www.bmj.com/cgi/content/full/315/7115/1039
I risultati dello studio sono
validi?
† 1. lo studio era indirizzato a un
quesito ben specifico?
Il quesito era stato chiaramente
identificato in termini di:
„ Popolazione studiata
„ Interventi applicati
„ Outcomes considerati
VALIDITA’
Guardiamo insieme …
†
L’abstract ci aiuta a individuare la popolazione
(Setting/subjects):
„
„
„
„
†
331 pazienti clinicamente stabili, che vivono soli e che sono in
grado di spostarsi autonomamente o che vivono con un
caregiver e sono in grado di spostarsi con aiuto.
questi sono pazienti che si recano in uno dei 2 ospedali scuola
del centro di Londra: appare chiaro che questo esclude molti
altri pazienti eleggibili che potrebbero beneficiare degli
interventi sullo stroke
appare chiaro che l’incidenza di malattie cardiache o
respiratorie potrebbe essere minore in questi pazienti (il
centro di Londra non presenta industrie pesanti o minerarie es.
carbone che influenzano la saute di pazienti di questo gruppo
di età)
La tipologia di pazienti del centro città potrebbe essere
differente da quella della periferia, più popolosa.
Da notare che nessuna di queste potenziali differenze inficia
di per sé la definizione di popolazione, tuttavia potrebbe
esserci una limitazione alla applicabilità in altre realtà.
VALIDITA’
Guardiamo insieme …
†
L’intervento è descritto come una "specialist community rehabilitation"
comparata al "conventional hospital and community care" Questo pone
due problemi:
„
„
†
†
il termine "conventional care" è troppo vago, in setting diversi può assumere
caratteristiche differenti in termini di durata e qualità. Le variazioni
nell’assistenza convenzionale erogata presso il St. Thomas e il King's College
Hospital vengono messe insieme, determinando fattori di confondimento.
i "packages of care" sono composti da un numero di elementi indistinguibili,
che non vengono mai identificati, così come non viene valutata la loro efficacia
individuale. Risulta impossibile conoscere quali componenti degli interventi
effettuati vengono attuati nel gruppo sperimentale e di controllo e se questi
sono efficaci.
Questo approccio “a scatola chiusa” dove il lettore deve prendere per
buoni i contenuti del pacchetto di cura si ritrova anche in altri studi, per
es. la Cochrane Collaboration's review sull’efficacia delle "stroke units."
nella fattispecie, è impossibile sapere esattamente cosa comprende una
"stroke unit“ né se tali realtà sono omogenee.
È necessario un approccio pragmatico, se si riesce a definire quale degli
interventi presenti nel pacchetto di assistenza è efficace allora una
ulteriore ricerca potrà verificare la natura e i meccanismi attraverso cui si
generano i benefici per il paziente.
VALIDITA’
Guardiamo insieme …
†
†
La tendenza ad essere sopraffatti dal gran numero di outcomes
riportati. In questo caso gli autori hanno deciso quali fossero gli
esiti principali e la dirata del periodo di misurazione; in questo
caso l’indice di Barthel a 12 mesi. Questo porta a due riflessioni:
„ Questa particolare misura di esito è valida e significativa?
„ Il periodo durante cui viene misurata è valida in termini di
contesto clinico?
Coloro che non hanno conoscenze specifiche nel campo della
riabilitazione faranno fatica a comprendere il significato
dell’indice di Barthel. Nell’articolo si specifica che si tratta di una
misura della disabilità in cui valori minori sono associati a
condizioni peggiori. Solitamente il significato clinico della Barthel
alla dimissione è più appropriato rispetto a quello a un anno,
tuttavia in questo caso l’obiettivo è il ritorno alla normalità (per
quanto possibile) per cui la misurazione a un anno è rilevante
(collegata ai programmi di riabilitazione di comunità).
VALIDITA’
I risultati dello studio sono
validi?
† 1. lo studio era indirizzato a un
quesito ben specifico?
Il quesito
era stato
chiaramente
Riepilogando,
a parte
i dubbi
identificato
in termini
di:
circa l’esatta
natura dell’insieme
degli interventi studiata
e la consapevolezza
„ Popolazione
che molti pazienti
eleggibili sono
„ Interventi
applicati
stati esclusi
dallo studio,
„ Outcomes
considerati
la domanda può considerarsi esaurita.
VALIDITA’
I risultati dello studio sono validi?
† 2. l’assegnazione dei pazienti al
trattamento era randomizzata?
„ Non è una questione di lana caprina: se
le condizioni di randomizzazione non
sono soddisfatte, diventa impossibile
dare un giudizio definitivo sullo studio.
VALIDITA’
Guardiamo insieme …
†
†
L’assegnazione dei pazienti al trattamento era
randomizzata?
Troviamo i dettagli della randomizzazione in un paragrafo
separato, in cui apprendiamo che “randomisation was restricted in
permuted blocks of 10 with random number tables provided in
blank sealed opaque envelopes”.
Una randomizzazione di qualità è caratterizzata da metodiche non
aperte a manipolazioni o artefatti statistici.
I metodi migliori sono:
„ generatori computerizzati di numeri casuali
„ tavole dei numeri casuali (come in questo caso)
La permutazione in blocchi è una forma di randomizzazione
limitata, usata spesso per praticità negli studi multicentrici per
scongiurare sbilanciamenti eccessivi nel numero dei pazienti
assegnati in ogni braccio dello studio e per favorire un’allocazione
indipendente. È particolarmente suscettibile ai bias di selezione.
VALIDITA’
I risultati dello studio sono validi?
3. I pazienti entrati nello studio
sono stati conteggiati
correttamente alla fine?
„ Completezza del follow up
„ Analisi ITT
VALIDITA’
Guardiamo insieme …
† Completezza del follow up
è problematica in pazienti con patologie severe, in
particolare in una popolazione anziana come quella
oggetto di studio (età media 71 anni). Valutate se il
numero dei pazienti che escono dallo studio è bilanciato
tra i gruppi (non è il nostro caso)
„ L’evento morte a 12 mesi ha interessato il 16% e il 21%
dei pazienti nei 2 gruppi.
„ I drop-out sono stati rispettivamente il 3% e il 2%,
mentre 5+4 hanno rifiutato di proseguire i controlli o si
sono trasferiti.
VALIDITA’
Guardiamo insieme …
† Analisi ITT
permette di avere un’idea di cosa è accaduto realmente
calcolando gli esiti (es. mortalità) entro ciascun braccio,
rapportandola al numero di pazienti inizialmente assegnati
a quel braccio. L’analisi ITT non tiene conto delle
violazioni del protocollo ma anziché escluderle dall’analisi
registra entro ciascun braccio gli eventi che riguardano i
pazienti “compliant” assieme agli eventi che riguardano i
pazienti che hanno violato il protocollo.
„ i pazienti sono stati analizzati nel gruppo dove erano stati
allocati?"
VALIDITA’
I risultati dello studio sono validi?
4. I pazienti, i sanitari, i ricercatori
erano ciechi rispetto al
trattamento?
† Appare chiaro che i pazienti sapevano in che gruppo
erano: "occasionally the patient did make clear
which group they had been in".
† I ricercatori erano divisi in 2 gruppi: coloro che
raccoglievano i dati e coloro che li analizzavano.
„ Il ricercatore che a 12 mesi andava a casa del
paziente era cieco al trattamento ma poteva venirlo a
sapere casualmente dal paziente stesso.
„ Non è chiaro se chi analizzava i dati era in cieco.
VALIDITA’
I risultati dello studio sono validi?
5.I gruppi erano simili all’inizio dello
studio?
†
†
Dalla tabella 1 sembra di si. Da notare la lunga permanenza
prima della randomizzazione nel community therapy group.
I pazienti disfasici nel community therapy group è maggiore,
indicando una maggiore severità delle condizioni.
„
„
†
Se lo squilibrio è contrario all’ipotesi di studio, ovvero i due
gruppi erano uguali all’inizio significa che l’entità degli esiti
sarebbe stata ancora maggiore nei casi, ciò modifica ma non
nega l’interpretazione.
Se, invece, la diversità favorisce il gruppo sperimentale, questo
determina un confondimento nello studio.
Entrambi i gruppi sono stati ben analizzati nelle analisi più
rilevanti, come il Previous Barthel score e il Barthel score alla
randomizzazione.
VALIDITA’
I risultati dello studio sono validi?
6. A parte l’intervento sperimentale,
i gruppi sono stati trattati allo
stesso modo?
† Vale per tutta la durata dello studio, qualunque altra
procedura potrebbe contribuire a bias di risultato.
„
Ad esempio se un gruppo viene visto ogni mese per 6
mesi e l’altro viene visto solo all’inizio e alla fine dei 6
mesi la differenza nei risultati della riabilitazione
potrebbe essere spiegata da variabili non legate allo
studio (interazione sociale con il ricercatore).
† In questo caso è specificato che "All other services
apart from therapy were as described for the
conventional group"
VALIDITA’
I risultati dello studio sono
affidabili?
† Quali sono i risultati?
„ Entità del trattamento
„ Stima degli effetti del trattamento
AFFIDABILITA’
I risultati dello studio sono
affidabili?
7. Entità dell’effetto del trattamento?
†
Si cercava una differenza di 3.5 nel punteggio di Barthel a un
anno calcolato su 130 pazienti in ciascun gruppo, alla fine il
gruppo di controllo è risultato leggermente più piccolo (126).
„
„
„
†
I trattamenti non sono significativamente differenti in termini di
efficacia relativa.
Il livello di significatività statistica era p<0.05, guardando gli altri
outcomes vediamo che il community therapy group aveva livelli di
ansia da ricovero e depressione più elevati (p=0.02) e una
maggiore soddisfazione rispetto all’assistenza ospedaliera
(p=0.032) rispetto al conventional group.
Nessun’altra misura a un anno risulta statisticamente significativa.
È discutibile affermare che tali differenze assumano un
significato clinico.
AFFIDABILITA’
I risultati dello studio sono
affidabili?
8. Quanto sono precise le stime
dell’effetto del trattamento?
† Data la mancanza di significatività statistica,
non si può affermare nulla.
† Si nota tuttavia che l’IC al 95% per la scala
di Barthel va da 0 a 1, indicando che la
differenza tra i due gruppi non è superiore a
1.
AFFIDABILITA’
I risultati dello studio sono
applicabili?
9. I risultati possono essere
applicati alla popolazione locale?
†
†
†
Lo studio ha il pregio di essere stato condotto in GB, all’interno
del NHS, tuttavia possono comunque esistere variazioni legate
a fattori associati all’aver condotto lo studio nel centro di
Londra, in due ospedali scuola.
Non siamo certi che i pacchetti di assistenza fossero simili tra i
due gruppi o che possano essere simili a quelli forniti alla
nostra popolazione locale.
Il problema principale di questo studio è che molti soggetti
sono stati esclusi dati i criteri di inclusione molto rigidi.
Possiamo dire che un certo sottogruppo può beneficiare
dell’implementazione di linee guida e protocolli basati
sull’evidenza scientifica, ma non l’intera popolazione.
APPLICABILITA’
Ulteriori considerazioni…
† La valutazione degli outcomes è
importante:
„ per il professionista
„ per il manager
„ per il paziente
Sono stati considerati tutti gli
outcome importanti?
SODDISFAZIONE
ACCETTABILITA’
paziente
sanitario
EFFICACIA
manager
COSTO/
EFFICACIA
Sono stati considerati tutti gli
outcome importanti?
Di solito nessuno studio risponde in modo soddisfacente a
tutte e tre le dimensioni.
†
†
†
EFFICACIA: in questo studio i due trattamenti sono simili
SODDISFAZIONE: sembrerebbe che i soggetti trattati in
ospedale siano più soddisfatti, ma con livello di stress più
elevato rispetto ai pazienti del community therapy group.
COSTO/EFFICACIA: nella tabella 5 gli autori hanno raccolto
molti dati, anche se in modo non sistematico o
comprensibile. I dati raccolti permettono un’analisi dei costi,
anche se non era tra gli intenti dichiarati, ma non è
possibile stabilire se i reparti di ricovero o i servizi
ambulatoriali sono direttamente confrontabili.
ricordate: siate cauti quando vengono aggiunte altre
argomentazioni estranee alla ricerca originale a
supporto delle tesi degli autori.
Sono stati considerati tutti gli
outcome importanti?
† Il gioco vale la candela?
I benefici valgono i rischi / i costi?
† La mera lettura dell’analisi dei costi rende difficile stabilire
un livello di soglia.
„ in assenza di benefici, è giustificato implementare la
dimissione precoce, magari in quei pazienti che potrebbero
beneficiarne?
„ ulteriori dati sull’incidenza dello stroke nella popolazione
locale potrebbero indirizzare le politiche sanitarie (e i
finanziamenti conseguenti) verso i reparti ospedalieri o i
servizi sul territorio
„ Ulteriori studi potrebbero analizzare i fattori di costo
rilevanti e valutarne l’impatto sul settore sanitario e sociale
Conclusioni?
† La C.A. :
„ (di un singolo articolo) non dà risposte
definitive rispetto a un problema, tuttavia
chiarisce quali sono le priorità per ulteriori
ricerche
„ ci difende dall’uso improprio di articoli per
scopi impropri o diversi da quelli
inizialmente dichiarati
„ ci aiuta a identificare dove gli autori hanno
oltrepassato i limiti della loro stessa ricerca
nel trarre conclusioni per la pratica clinica.
Conclusioni?
† Le domande ulteriori da considerare
includono:
„ come ridurre l’incertezza ed estendere
l’applicabilità di un singolo studio?
„ cosa fare quando due o più studi su una
medesima area arrivano a conclusioni
apparentemente diverse?
† Per rispondere, è necessario fare la C.A.
delle revisioni sistematiche della
letteratura.
La C.A. delle revisioni
† Un singolo studio sembra dimostrare che non esietono
differenze significative tra i due approcci (dimissione
precoce vs. trattamento convenzionale)
„ È una conclusione esaustiva / definitiva?
„ Potrebbero altri studi confermare / smentire questa
conclusione?
† È qui che le revisioni sistematiche mostrano la loro
utilità: se più studi mostrano risultati simili, possiamo
essere certi che un dato intervento funziona … se i
risultati sono contraddittori, dobbiamo concentrarci su
possibili bias di progettazione o sulla presenza di altri
fattori di confondimento
† Ci sono altre differenze nel campione, nel tipo di
intervento sperimentale e negli effetti misurati?
La C.A. delle revisioni
† In pratica possiamo prendere gli studi a supporto o a
sfavore circa l’efficacia di un determinato intervento
e:
„
„
„
“dare un voto” a ciascuno studio e vedere qual è
l’opinione prevalente (non tiene conto delle dimensioni)
catalogare gli studi in base alle dimensioni e vedere
dove c’è un maggiore sostegno all’ipotesi (non tiene
conto della qualità del disegno degli studi)
catalogare gli studi in base a dimensione e qualità (tiene
conto della potenza e della qualità degli studi)
† Questo approccio è utile per tutti gli studi secondari
(meta-analisi, revisioni sistematiche, linee guida,
analisi economiche)
† La check list è simile a quella che abbiamo già visto
per gli studi primari.
Check list C.A. letteratura
secondaria
A. I risultati delle revisioni sono validi?
† Forniscono risposte a quesiti specifici sull’assistenza al
paziente?
† Hanno evidenziato gli studi attraverso la ricerca:
„ in Medline e altri database rilevanti
„ nel registro Cochrane delle RCT
„ nella letteratura straniera
„ nella “letteratura grigia” (fonti non pubblicate – non
indicizzate: tesi, atti di conferenze, report interni,
documenti dell’industria farmaceutica)
„ confronto incrociato dei riferimenti bibliografici
„ contatto diretto con gli esperti del settore per trovare
materiale non pubblicato
„ ricerca manuale delle più importanti riviste del settore
Check list C.A. letteratura
secondaria
A. I risultati delle revisioni sono validi?
† Nelle meta-analisi,è più importante ri-analizzare i
dati piuttosto che le conclusioni
† Gli autori hanno indicato i criteri di inclusione ed
esclusione degli studi, considerando i Pazienti, gli
interventi utilizzati, gli outcomes riportati e la
metodologia?
Check list C.A. letteratura
secondaria
B. Quali sono i risultati?
† Nelle meta analisi, come sono presentati i
dati?
„ I dati sono spesso rappresentati con linee
orizzontali che rappresentano l’IC 95%
dell’effetto di ogni studio (l’lC 95% del
rischio relativo di casi rispetto ai controlli)
„ A volte c’è un puntino centrale a
rappresentare la migliore stima singola dello
studio.
Guardate lo schema e proponete le
vostre osservazioni
Cosa possiamo dedurre?
Probabilmente un piccolo studio, IC
ampio, crossing unity (impossibile
stabilire se
è IC
efficace)
Probabilmente
un l’intervento
piccolo studio,
ampio, non crossing unity:suggerisce
che
l’intervento
è efficace
ma con
Studio
più ampio,
IC ristretto
ma
scarse
evidenze.
crossingunity, non evidenze che
l’intervento
siaIC
efficace.
Studio ampio,
ristretto, non
studio piccolo,
IC ampio,
suggerisceè
crossing,
suggerisce
che l’intervento
Meta-anali
di
tutti
gli
studi
che l’intervento è dannoso!
efficace.
identificati, suggerisce che
l’intervento è efficace.
Check list C.A. letteratura
secondaria
† Gli autori hanno considerato
l’omogeneità?
„ Se sono interessato all’effetto della frutta
sul cancro mi cercherò studi sul consumo
di mele e arance, ma se mi interessa solo
il consumo di agrumi dovrò scartare gli
studi sulle mele.
„ Nelle meta-anali, posso confrontare
visivamente i grafici come abbiamo
appena visto, oppure possiamo usare il Χ2
test (Thompson, 1995).
Check list C.A. letteratura
secondaria
C. I risultati saranno utili localmente:
† È più facile stabilirlo rispetto alla ricerca originale.
Altri studi possono aver interessato persone di età,
estrazione sociale … ma se il trattamento è efficace
nonostante le differenze allora il risultato è
generalizzabile.
† Attenti alle comparazioni tra sottogruppi, spesso le
conclusioni non sono giustificate. Attenti alle forzature
tipo testare più ipotesi sui dati, soprattutto se le
ipotesi sono fatte dopo che lo studio è iniziato.
† Sono stati considerati tutti gli outcomes clinici
importanti?
† I benefici compensano rischi e costi?
Critical appraisal di una
revisione sistematica
Esercizio 2:
† Effectiveness of home care programmes for
patients with incurable cancer on their quality
of life and time spent in hospital: systematic
review F W J M Smeenk, JC M van Haastregt,
LP de Witte, HF J M Crebolder BMJ 1998; 316:
1939-1944 and at:
http://www.bmj.com/cgi/content/full/316/7149/1939
A. Are the results of the review
valid?
Screening Questions
† chi ha fatto la revisione si è indirizzato a un
argomento specifico?
† gli autori hanno consultato gli articoli
giusti?
† vale la pena continuare a leggere?
A. Are the results of the review
valid?
Detailed Questions
† pensi che siano stati inclusi studi importanti e
rilevanti?
† gli autori hanno fatto abbastanza per valutare la
qualità degli studi inclusi?
† se i risultati sono stati confrontati, era ragionevole
farlo?
† qual è il risultato finale della review?
† quanto sono precisi i risultati?
† i risultati sono applicabili alla popolazione locale?
† sono stati considerati tutti gli outcomes importanti?
† i benefici compensano rischi e costi?
APPRAISAL OF QUALITATIVE
STUDIES
† A prima vista, la valutazione di studi qualitativi appare
più intuitiva e meno deduttiva,più un’arte che una
scienza. Ci sono sommari di inrevite invece di numeri,
gli outcomes possono esse più soggettivi e sfaccettati
rispetto a variabili dicotomiche “si/no.
† Gli strumenti di raccolta dati (intervistesembrabo più
a rischio di bias da osservatore rispetto alle scale di
misurazione di peso o pressione.
† C’è il rischio di enfatizzare – anche inconsciamente –
argomenti che supportino le conclusioni: chi legge può
dare interpretazioni differenti.
† Il ricercatore può perdere l’imparzialità e trovarsi
coinvolto dal soggetto osservato.
Metodi di ricerca qualitativa
†
Per affermare che una ricerca qualitativa è di buon livello,
gli autori devono dimostrare:
„
„
„
di avere un obiettivo specifico e non di mettere insieme i dati
per dar loro un senso
di scegliere la metodologia appropriata
cosa è incluso e cosa non è incluso in modo chiaro
Effetti sui drop out e i non-responder.
„
„
„
qual è il messaggio?
posso crederci?
posso generalizzare?
„
†
†
†
Gli autori devono porre nuove domande pertinenti a un
lavoro qualitativo.
Gli autori devono dichiarare le relazioni tra osservatori e
soggetti osservati e qualunque bias che può essere stato
introdotto.
Di nuovo, dobbiamo farci e dobbiamo rispondere alle solite
3 domande:
Analisi critica di uno studio
qualitativo
Esercizio 3
† Reed J and Morgan D (1999)
Discharging older people from
hospital to care homes
Journal of Advanced Nursing 29: 81925
http://www3.interscience.wiley.com/journal/119093365/a
bstract
Analisi critica di uno studio
qualitativo
Screening questions
† Lo scopo della ricerca è chiaramente
dichiarato?
† La metodologia qualitativa è
approrpiata?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† Stategie di campionamento
„ a. da dove e perché è strato estratto il
campione?
„ Chi è stato selezionato e perché?
„ Come è stata fatta la selezione e perché?
„ La dimensione del campione era
giustificata?
„ È chiaro perchè alcuni partecipanti hanno
scelto di non partecipare?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† La strategia di campionamento era adatta
allo scopo?
† Raccolta dati: è chiaro:
„ dove si è svolta e perché è stato scelto quel
setting
„ come e perché sono stati raccolti i dati?
„ come e perché sono stati registrati i dati?
„ i metodi di raccolta sono stati cambiati in corso
d’opera? Perché?
„ i dati sono stati raccolti in modo finalizzato allo
scopo della ricerca?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† Analisi dei dati – è chiaro:
„ Come è stata fatta l’analisi?
„ I dati erano sufficientemente rigorosi?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† Relazioni tra osservatori – è chiaro:
„ Se i ricercatori hanno esaminato il loro ruolo in
modo critico, i bias e le influenze potenziali?
„ Dove sono stati raccolti i dati e perché è stato
scelto quel setting?
„ Come è stata spiegata la ricerca ai partecipanti?
† La relazione tra ricercatori e partecipanti è
stata adeguatamente considerata?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† Risultati
† Giustificazione dell’interpretazione dei dati
„ I dati presentati sono sufficienti a supportare i
risultati?
„ I ricercatori spiegano come i dati sono presentati
sono stati estrapolati dall’originale?
Analisi critica di uno studio
qualitativo
Detailed Questions:
† Trasferibilità
† Rilevanza e utilità
„ Nell’indirizzare nuove ricerche
„ Nel contribuire a comprendere/fare luce/dare
una nuova prospettiva all’argomento
„ Nel suggerire future ricerche
„ In termini di impatto sulla pratica corrente
Analisi critica di uno studio
qualitativo
Detailed Questions:
† How relevant is the research? How
important are these findings to
practice?
Utilizzare e presentare
i risultati di una CA
† Riflessione:
„ Come registreresti o archivieresti i
risultati di una CA che hai fatto per
massimizzare l’utilità dell’analisi?
Utilizzare e presentare
i risultati di una CA
† Quali sono i possibili "outputs" di un
esercizio di CA? ecco alcuni
suggerimenti, non esaustivi :
Cambiare la mia pratica.
Cambiare la pratica dei miei colleghi.
Sviluppare LG.
Dare l’avvio a una rivista o a un forum
professionale
„ Associare la tua ricerca all’oggetto in
questione
„
„
„
„
Critically Appraised Topics
(CATs)
† I CATs sono sommari scritti dove conservare il lavoro
fatto su uno studio per utilizzarlo in altri casi.
† Sono utilissimi per imparare a formulare quesiti clinici,
cercare le migliori prove di efficacia, valutare,
organizzare, riassumere le evidenze,integrare la
ricerca nella pratica clinica.
† Sono stati inventati dai docenti di medicina
internistica della McMaster University per affinare le
capacità di CA e migliorare le abilità didattiche in
ambito EBM.
References
† http://163.1.212.5/cats/catsearch.html