Se lo studio clinico presenta dati sospetti

Nel post precedente abbiamo visto quando è il caso di insospettirci davanti ai risultati di uno studio clinico o scientifico. In questo nuovo articolo voglio darvi alcune indicazioni più tecniche, soprattutto per evitare facili entusiasmi quando sono annunciate cure mediche innovative, alternative, risolutive. La ricerca medica evolve alla velocità della luce, anche se ai non addetti ai lavori, e ai malati soprattutto, questo non è evidente. Le cure miracolose purtroppo non esistono, né vengono nascoste per motivi commerciali o di puro masochismo. Esempi di queste cure negli ultimi 10-20 anni (il metodo Di Bella, il metodo Hamer, il caso Stamina) hanno poi rivelato i loro imbrogli, spesso a scapito di malati che si sono fidati.
Vediamo allora quando è il caso di andare cauti e di approfondire i concetti che ci vengono regalati.

Lo studio ha un basso numero di partecipanti

Tutto dipende dal tipo di studio, dalla malattia che viene esaminata, dal numero di malati. Gli studi però cercano di avere un numero di partecipanti alto, per avere dati che possono essere analizzati da un punto di vista statistico. Nel brevetto che ho tradotto e dal quale sono partite queste riflessioni, alcuni studi prevedevano un solo partecipante. È chiaro che se il farmaco ha un qualche effetto su quel solo partecipante non è detto che abbia effetti positivi su tutti i pazienti. Può essere un caso che l’esito sia stato positivo, oppure il risultato può non essere del tutto obiettivo.
Un basso numero di partecipanti, quindi pochi risultati da analizzare, ha due implicazioni principali. Da una parte, la variabilità statistica è alta.
Un esempio. Uno studio su un nuovo farmaco contro la gotta ci dice che il farmaco è efficace nel 60% dei casi. Il dato percentuale è questo, ma i risultati effettivi cambiano se il farmaco ha avuto effetto per 6 pazienti su 10 o per 600 pazienti su 1000. È più facile che con pochi partecipanti allo studio, questi dati siano variabili, rispetto a un campione di 1000 pazienti. Anche se la percentuale è la stessa, se è stata calcolata su 1000 pazienti, l’affidabilità del risultato è maggiore.
D’altro lato, posso avere l’effetto opposto: un basso numero di partecipanti può portare a una scarsa riuscita dello studio. Se ho pochi dati da valutare e confrontare, sarà più difficile capire se il farmaco è davvero efficace o se i risultati ottenuti sono per lo più casuali. Lo scarso numero di pazienti costituisce ad esempio la più grande difficoltà nello studio delle malattie rare e di farmaci che possano guarire o migliorare queste patologie.

Assenza di risultati numerici o oggettivi

Uno studio clinico o scientifico deve presentare risultati numerici chiari o valutazioni oggettive. Solo da questi dati è possibile trarre delle conclusioni almeno formalmente corrette. Uno dei trucchi che il sedicente protocollo Stamina usava era l’uso di testimonianze e valutazioni soggettive. Dire che un bambino dopo l’infusione di cellule staminali parlava di più del giorno prima o si sentiva meglio non è un risultato oggettivo. Su che base il paziente si sente “meglio”? Non è detto che da tanti numeri si traggano sempre le conclusioni esatte. Al contrario però, non è possibile ottenere delle conclusioni , fare dei ragionamenti se non ci sono dati oggettivi su cui basarsi.

Il procedimento non è ripetibile

Quando uno studio viene esaminato e valutato da altri membri della comunità scientifica, grande importanza è data al fatto che il procedimento descritto sia ripetibile e riproducibile in modo sempre uguale, da persone diverse, in luoghi diversi, per dare risultati analoghi. Se allo scarso numero di dati aggiungiamo variazioni al procedimento ogni volta che questo è stato ripetuto, otteniamo come risultato un minestrone di dati confusi da cui non è possibile trarre nessuna conclusione seria. Arriviamo a un risultato simile anche se il procedimento è descritto in modo vago e fumoso. “Aggiungere acqua calda”: quanta acqua? a quanti gradi centrigradi? in quanto tempo aggiungerla? e così via.

Uno stesso farmaco va bene per tutto

Per finire, l’aspetto che forse più mi ha sconvolto nel brevetto da cui tutto è partito, è che un farmaco che è stato studiato per una patologia, ha poi dimostrato successo (i dati però non erano presentati) per varie altre malattie anche molto diverse e non solo per l’uomo, ma anche per cani, gatti e altri animali. Ci sono farmaci, principi attivi usati per curare varie malattie diverse. C’è anche l’uso dei cosiddetti farmaci a uso compassionevole, vale a dire farmaci che vengono solitamente usati per una malattia e sono usati anche per cercare di migliorare le condizioni di vita di persone affette da malattie rare. Questi casi esistono, sono documentati e soprattutto sono supportati da prove scientifiche ed evidenze. Il fatto che un farmaco specifico per una particolare malattia possa essere usato con successo per qualcosa di totalmente diverso deve far venire dei dubbi. Se esiste la possibilità di usare uno stesso medicinale per curare più malattie ben venga, a patto che la sua efficacia sia dimostrata chiaramente per tutte le malattie che dovrebbe curare. Altrimenti attenzione.

Questi due articoli hanno lo scopo non di far diventare tutti medici e scienziati, ma di farci diventare scettici e dubbiosi.
Non è detto che un articolo scritto male, uno studio presentato in modo confuso siano delle truffe, a volte è colpa solo dell’incapacità dell’autore di comunicare in modo chiaro. In questi casi però è meglio sentire più opinioni serie e autorevoli, prima di farci prendere dall’entusiasmo o, peggio, di affidarci a una cura dai risultati dubbi.
Chi parla di scienza ha il dovere di comunicare in modo chiaro, perché chiunque legge possa comprendere l’argomento e farsi un’idea basata su dati corretti e non falsati per vari scopi. Chi mi conosce sa che sono allergica alle bufale e alle notizie false. Questi articoli vogliono essere un contributo per aiutare anche chi non ha studi scientifici o medici a smascherarle o almeno a dubitare.

Come smascherare uno studio scientifico sospetto

Non è mia abitudine parlare nello specifico di cosa sto traducendo. Principalmente per motivi di confidenzialità, ma anche perché non credo possa interessare più di tanto ai miei interlocutori l’argomento specifico di un brevetto o un manuale che sto traducendo.
Inoltre, prima di accettare un incarico di traduzione do un’occhiata al testo, nel caso di un brevetto leggo titolo e riassunto, guardo la lunghezza e lo stato del testo di partenza (se richiede rimaneggiamenti, un’impaginazione particolare, ecc.), ma non leggo tutto il documento. Dopo questo breve esame decido se accettare o rifiutare la traduzione.
Queste premesse sono necessarie perché qualche mese fa ho tradotto un brevetto che descriveva uno studio clinico, che a un primo esame sembrava un argomento serio e ben argomentato, ma alla traduzione si è rivelato uno studio clinico piuttosto fumoso per un prodotto omeopatico. Confesso che per la prima volta ho avuto difficoltà a tradurlo, non per la complessità del testo o dello stile, ma per le idee che presentava e per come le presentava. Sono pur sempre una scienziata, e leggere certe affermazioni o deduzioni di tesi di dubbia veridicità mi ha dato fastidio, ma ormai avevo accettato l’incarico, quindi ho tradotto tutto il testo, pur segnalando la stranezza dell’argomento al cliente (era pur sempre un brevetto scientifico).

Da questa traduzione ho dedotto una serie di indizi che possono essere utili per smascherare una notizia falsa in campo medico, e che vi racconterò in un paio di post (uno non è sufficiente). Se poi volete ulteriori aiuti per distinguere la scienza vera dalla pseudoscienza, vi consiglio la lettura di questo articolo di Query.

In questo primo post vediamo come uno stile vago e l’uso di termini difficili aiutano a confondere il lettore.

Uso di indicazioni generiche

Se lo studio che state leggendo usa frasi generiche, con indicazioni vaghe, fermatevi un momento. Uno studio scientifico o clinico non è un romanzo: deve fornire indicazioni precise e circostanziate. Ad esempio: qual è l’obiettivo dello studio? Cosa si vuole scoprire? Quale risultato si vuole ottenere? È stato ottenuto? Se dopo aver letto il documento non capite dove gli autori vogliono arrivare, o se l’argomento dello studio è molto vasto, c’è qualcosa che non va.

Valutazioni soggettive

La forza della ricerca scientifica sta nell’oggettività dei risultati e delle interpretazioni dei dati. Se i dati ottenuti da una serie di test ci dicono che lo studio non funziona, quella è la verità. Non esiste un’altra interpretazione. Se la cellula doveva diventare blu dopo l’aggiunta del colorante ma è rimasta rossa, quello è il risultato oggettivo. Uno studio scientifico non dà valutazioni soggettive e generiche, ma precise, riferite a una serie particolare di dati, e soprattutto oggettive. Non sempre quello che avevamo previsto accade. Capita. Ma non è serio piegare ai nostri desideri dati che dovrebbero essere ottenuti in modo corretto e ripetibile.

Assenza di relazioni causa-effetto evidenti

L’inversione tra causa ed effetto è molto usata per confondere le idee al lettore. Soprattutto in studi articolati, è facile perdere di vista quali sono le cause e quali le conseguenze di un farmaco, ad esempio, o di un trattamento. Inoltre, spesso, queste relazioni di causa ed effetto non ci sono, ma sono ugualmente suggerite da chi scrive, talvolta in buona fede, ma spesso per confondere le idee di chi legge. In questo modo si porta il lettore a credere cose che nei fatti non sono dimostrate o di cui è dimostrato il contrario.

Assenza di riferimenti bibliografici o riferimenti generici

Questo aspetto, nel brevetto che ho tradotto era lampante. Quando si traducono articoli scientifici e brevetti ci si trova davanti a molta bibliografia e si impara anche a distinguere quella fatta bene da quella generica e di scarsa importanza.
Per fare un esempio: se lo studio clinico parla dell’uso di un nuovo farmaco per combattere, ad esempio, l’epilessia negli adolescenti, suonerà strano avere in bibliografia un testo di medicina generale. Mi aspetterò invece di trovare articoli che parlino di epilessia, di epilessia negli adolescenti, del farmaco oggetto dello studio o di altri farmaci per l’epilessia.
Altro campanello di allarme, l’uso di riferimenti bibliografici sconosciuti. Gli studiosi di un particolare settore conoscono le riviste più importanti e autorevoli per un determinato argomento. Riviste poco conosciute, studi di ricercatori mai citati o provenienti da paesi generalmente poco attivi nelle ricerche devono mettere sul chi va là il lettore.

Uso di nomi altisonanti o molto tecnici

Se il punto precedente può essere smascherato solo da lettori esperti, l’uso di molti termini molto tecnici o addirittura altisonanti e desueti deve insospettire anche il lettore meno esperto. Certo, l’uso di tecnicismi non richiesti è spesso un vizio di medici e scienziati. Una buona comunicazione scientifica tuttavia deve essere chiara e comprensibile a tutti i lettori. Un conto è l’articolo scritto da medici per medici da presentare a un congresso, diciamo di gastroenterologia, un altro è un articolo che spiega a un pubblico più vasto di pazienti l’efficacia di un nuovo farmaco per la cura del tumore al seno. Ecco, in questo secondo caso, il testo deve essere semplice, lineare, ricco di spiegazioni. Se sono usati termini tecnici, questi devono essere spiegati. Un ottimo esempio di comunicazione in questo senso è Fondamentale, la rivista dell’AIRC che è distribuita ai sostenitori dell’associazione.

Uso di frasi confuse

Abbiamo visto che uno studio clinico o scientifico può non dare i risultati sperati. Spesso, un successo è frutto di molti studi sbagliati o fuorvianti, che poi hanno permesso ai ricercatori di prendere la strada corretta. Nel brevetto che ho tradotto, per esempio, era evidente che lo studio presentato non dava gli esiti previsti, ma gli autori hanno più volte usato frasi contorte e confuse, per far credere al lettore l’opposto.

Queste cattive pratiche sono presenti anche negli studi scientifici destinati alla pubblicazione su riviste prestigiose. C’è da dire che la revisione da parte di altri ricercatori (la peer-review) limita i danni in questo senso. Ciò che noi “comuni mortali” dobbiamo temere è quando questi giochetti vengono usati per presentarci l’efficacia di una nuova cura contro l’obesità o di una cura alternativa contro il cancro, ad esempio. O se chi vuole venderci un depuratore domestico ci presenta dati di inquinamento delle acque ambigui o difficili da capire.

Allenatevi a scovare gli imbrogli, nel prossimo post scenderemo più nel dettaglio dei dati degli studi clinici.