Traduzione dell'articolo “Where is the evidence that animal research benefits humans?”, pubblicato nella rivista scientifica British Medical Journal, nel numero 328 del 28-2-2004 (pp. 514-517).
TESTO:
Sommario
- E' necessario sottoporre con urgenza a una valutazione rigorosa il valore degli esperimenti su animali per possibili cure per l'uomo.
- Le verifiche sistematiche possono fornire informazioni importanti sulla validità della ricerca animale.
- Le poche rassegne esistenti hanno evidenziato carenze quali la conduzione simultanea di prove su animali e sull'uomo.
- La qualità metodologica di parecchi studi su animali era molto bassa.
- Le verifiche sistematiche dovrebbero diventare la norma, allo scopo di assicurare che venga fatto l'uso migliore dei dati su animali già esistenti e per migliorare le stime degli effetti desumibili dagli esperimenti su animali.
- Gran parte delle ricerche condotte su animali per cure che dovrebbero essere applicate agli uomini, sono sprecate perché condotte in maniera inadeguata e perché non vengono valutate attraverso verifiche sistematiche.
I medici clinici e l'opinione pubblica partono in genere dal presupposto che gli esperimenti su animali abbiano dato un contributo alla cura delle malattie umane, ma poche sono le prove disponibili che supportino questo punto di vista. Sono disponibili ben pochi metodi per valutare l'applicabilità o l'importanza clinica della ricerca di base condotta su animali, per cui il suo apporto alla cura dei malati (al di là dell'aspetto scientifico) rimane incerto.[1] Vengono spesso usate come giustificazione prove aneddotiche o affermazioni non suffragate da prove - ad esempio viene detto che la necessità di effettuare esperimenti su animali è "autoevidente" [2] o che "la sperimentazione animale è un importante metodo di ricerca che si è dimostrato valido nel tempo". [3] Affermazioni del genere non rappresentano prove adeguate a dimostrare la validità di un ambito di ricerca così controverso. Siamo convinti che sia necessaria una verifica sistematica delle ricerche esistenti e di quelle future.
La valutazione della sperimentazione animale
Malgrado la mancanza di prove sistematiche della sua efficacia, la ricerca di base sugli animali nel Regno Unito riceve molti più fondi di quella clinica [1, 4, 5]. Questo, e il fatto che l'opinione pubblica accetta che si sperimenti sugli animali soltanto perché è convinta che gli esseri umani ne traggano beneficio[6], rendono necessaria e urgente una valutazione attendibile della rilevanza degli esperimenti sugli animali per la medicina umana.
Le ricerche sugli animali possono essere valutate facendo uso di diversi metodi, tra cui l'analisi storica [7], la critica ai modelli animali [8], la ricerca sullo sviluppo delle cure [5] i sondaggi condotti sui medici [9] e l'analisi delle citazioni [10]. Tuttavia il metodo migliore di raccogliere prove sulla validità della sperimentazione animale consiste nel condurre verifiche sistematici delle ricerche su animali e, quando possibile, paragonarne i risultati con i risultati delle prove corrispondenti su pazienti umani. Quali sono dunque i risultati degli studi condotti in questo modo?
Valutazioni sistematiche della sperimentazione animale
Abbiamo condotto una ricerca sulla banca dati Medline per identificare le verifche sistematiche degli esperimenti su animali (si veda bmj.com per i dettagli della strategia di consultazione). La ricerca ha identificato 277 pubblicazioni candidate, di cui 22 erano resoconti di verifiche sistematici. Siamo anche a conoscenza di uno studio pubblicato di recente e di due studi non pubblicati, con i quali il totale sale a 25. Altri tre studi sono in corso (M. Macleod, comunicazione personale).
Sette dei 25 articoli erano verifiche sistematiche di esperimenti su animali che erano stati condotti per scoprire come le ricerche su animali avessero influenzato la ricerca clinica. Due erano basati sullo stesso gruppo di studi, il che faceva scendere il totale in questa categoria a sei. Altri dieci articoli erano verifiche sistematiche di esperimenti su animali condotte per valutare se i dati ottenuti dagli animali fossero tali da giustificare il passaggio alla sperimentazione clinica oppure condotte per stabilire una base di dati. Otto riguardavano studi condotti in un particolare campo sia sugli umani che sugli animali, anche in questo caso prima dell'esecuzione di prove cliniche. Ci concentriamo sui sei studi della prima categoria in quanto sono quelli che gettano più luce sul contributo della sperimentazione animale alla medicina umana.
Calcio-antagonisti nell'ictus
La prima verifica sistematica della sperimentazione animale, condotta da Horn e altri [11], fu intrapresa dopo che la loro verifica sistematica della prove cliniche di efficacia della nimopidina per l'ictus acuto non trovò prove di un effetto clinicamente rilevante [12]. La loro rassegna degli esperimenti animali sulla nimodipina non riscontrò prove convincenti di effetti positivi che potessero sostenere la decisione di intraprendere una sperimentazione clinica su umani. Horn ed altri trovarono anche che la qualità metodologica degli studi su animali compresi nella rassegna era bassa, e fecero riferimento in particolare al fatto che spesso gli animali non erano randomizzati, non c'erano valutazioni in cieco, e gli sviluppi successivi alla fase acuta non erano misurati. Inoltre gli esperimenti animali sulla nimodipina furono condotti in parallelo a quelli sui pazienti umani, e non successivamente, come sarebbe invece stato logico se lo scopo degli esperimenti sugli animali fosse stato quello di raccogliere informazioni preventive per la successiva sperimentazione clinica.
Terapia laser a basso livello per la guarigione delle ferite
Dopo che venne dimostrata l'inefficacia della terapia laser a basso livello per migliorare la rimarginazione delle ferite, Lucas ed altri hanno condotto una ricerca per scoprire in base a quali dati fosse stato deciso di condurre la sperimentazione clinica [13]. Gli autori hanno riscontrato che gli studi su animali non avevano fornito prove univoche a favore della decisione di intraprendere studi clinici, che la qualità metodologica degli esperimenti su animali era bassa, e che gli esperimenti sui pazienti umani e quelli su animali erano stati condotti non gli uni dopo gli altri, ma simultaneamente. Il loro commento sulla pertinenza dei modelli animali per le situazioni cliniche reali includeva il fatto che i modelli animali non mostravano complicanze piuttosto comuni nella rimarginazione delle ferite nei pazienti umani come l'ischemia, le infezioni e i residui necrotici.
Rianimazione con somministrazione di liquidi in caso di emorragia
Roberts ed altri [14] e Mapstone ed altri [15] hanno valutato le prove derivanti da esperimenti su animali a sostegno della rianimazione con fluidi per i pazienti colpiti da emorragia acuta. La loro precedente verifica sistematica dei test cliniche nella rianimazione con liquidi, non aveva trovato alcuna prova del fatto che questa tecnica desse buoni risultati e anzi aveva evidenziato la possibilità che risultasse dannosa [16]. La rassegna degli esperimenti condotti su animali riscontrò che la rianimazione con fluidi riduceva il rischio di morte nei modelli animali di grave emorragia ma lo aumentava in quelli con emorragia meno grave. Gli autori concludevano che l'eccesso di rianimazione con liquidi può essere dannoso in alcune situazioni.
La rassegna evidenziava di nuovo la bassa qualità metodologica dei singoli esperimenti su animali. Inoltre, dal momento che gli esperimenti erano condotti su un numero ridotto di animali, le stime di efficacia derivanti da questi studi erano imprecise. Gli autori sostenevano che valutazioni sistematiche e la metanalisi di precedenti esperimenti condotti su animali avrebbero potuto assicurare che nuovi esperimenti su animali non si prefiggessero lo scopo di rispondere a domande che avevano già ricevuto risposta e aumentare la precisione delle stime di efficacia delle cure, riducendo così il numero di animali da utilizzare in esperimenti successivi.
Trombolisi per l'infarto
Uno studio non pubblicato di Ciccone e Candelise verificava sistematicamente gli esperimenti randomizzati controllati su modelli animali dell'infarto, i quali confrontavano l'effetto di farmaci trombolitici con quelli di un placebo o con la situazione su gruppi di controllo non trattati [17]. Lo studio era stato intrapreso perché le prove cliniche dell'uso di farmaci trombolitici per l'infarto acuto avevano evidenziato un rischio di emorragia intracranica notevolmente maggiore rispetto a quanto era stato previsto dai singoli studi su animali. Quando i dati su animali furono raccolti e confrontati, venne evidenziata una differenza significativa nell'incidenza di emorragie intracraniche tra gli animali del gruppo di controllo e quelli trattati.
Lo stress e le cardiopatie coronariche
Petticrew e Davey Smith hanno esaminato studi randomizzati e di osservazione sugli effetti delle gerarchie e dello stress sulle cardiopatie coronariche nei primati [18]. Non hanno trovato prove convincenti di un nesso tra lo status sociale o lo stress indotto sperimentalmente e le cardiopatie coronariche. Tra i primati maschi, ad essere associata alle cardiopatie era la posizione sociale dominante piuttosto che quella subordinata, il che contraddice un vasto corpus di studi epidemiologici sullo stress e le cardiopatie coronariche basati sull'osservazione [19]. Gli autori hanno notato che gli epidemiologi sociali avevano citato soltanto gli studi che confermavano le loro opinioni precedenti su questa correlazione positiva ed avevano ignorato quelli che presentavano risultati negativi. Nel campo dell'epidemiologia psicosociale la pratica della citazione era altamente selettiva, e produceva l'impressione fuorviante che gli studi sui primati confermassero l'opinione che gli effetti sulla salute dell'ineguaglianza sociale si manifestassero attraverso meccanismi psicosociali. Gli autori hanno concluso che i dati derivanti dai primati non sostengono queste tesi, di notevolissima rilevanza per la salute pubblica.
Antagonisti dell'endotelina nello scompenso cardiaco
Lee e colleghi [20] hanno condotto un censimento sistematico e una metanalisi delle prove controllate degli antagonisti dell'endotelina nei modelli animali di scompenso cardiaco dopo che le prove cliniche su pazienti umani avevano riscontrato una totale assenza di effetti positivi. Hanno riscontrato che gli esperimenti su animali erano condotti su piccoli campioni e mal progettati, e facevano un uso incoerente della randomizzazione e della tecnica in cieco. Messe insieme, le analisi dei dati su animali non fornivano prove di un beneficio complessivo e mostravano una tendenza all'aumento della mortalità in caso di somministrazione precoce. Gli autori caldeggiavano un uso maggiore delle verifiche sistematiche nella valutazione preclinica dei medicinali.
Implicazioni
Le prove cliniche della nimodipina e della terapia laser di basso livello sono state condotte contemporaneamente agli studi su animali, mentre quelle sulla rianimazione con fluidi, sulla terapia trombolitica e sugli antagonisti dell'endotelina sono state intraprese malgrado fossero disponibili prove di effetti dannosi sugli animali. Ciò indica che i dati derivanti dagli animali sono stati considerati non pertinenti, il che fa sorgere dubbi sul motivo che aveva spinto a intraprenderli e mina alla base il principio che gli esperimenti sugli animali siano necessari allo sviluppo della medicina umana.
Inoltre, parecchi degli esperimenti su animali erano progettati male. Gli esperimenti su animali sono in grado di far decidere quali cure sia il caso di far procedere alla fase di sperimentazione clinica solo se i loro risultati sono validi e precisi e se vengono condotti prima dell'inizio delle prove cliniche. Risultati distorti o imprecisi di esperimenti su animali possono avere come risultato la sperimentazione clinica di sostanze biologicamente inerti o persino dannose, che espongono i pazienti a rischi superflui oltre che costituire uno spreco di fondi per la ricerca. Inoltre, se gli esperimenti su animali non danno informazioni utili alla ricerca medica per gli umani, o se la qualità degli esperimenti è così bassa da rendere i loro risultati non decisivi, tali esperimenti saranno stati vani. Una valutazione della validità degli esperimenti animali si rivela dunque essenziale sia per la salvaguardia della salute umana che per gli animali stessi.
Benché la randomizzazione e le procedure in cieco siano metodologie standard nella ricerca clinica, non esistono standard corrispondenti nella sperimentazione animale [21]. Bebarta ed altri hanno concluso che gli studi su animali che non riportavano di aver usato la randomizzazione e il cieco avevano una maggiore probabilità di riportare effetti curativi rispetto a quelli che usavano questi metodi [22]. Il box riassume altri potenziali problemi metodologici.
Anche se gli esperimenti animali forniscono risultati validi e stime sufficientemente precise degli effetti terapeutici da permettere di escludere l'effetto del caso, la misura in cui tali risultati possono ragionevolmente essere estesi agli umani rimane una questione aperta. Forse è stato a causa di questa incertezza che i dati derivanti dagli animali furono trascurati nei casi discussi sopra.
Conclusione
La valutazione formale del contributo degli esperimenti sugli animali alla pratica clinica rappresenta una necessità urgente. Le verifiche sistematiche e le metanalisi degli esperimenti su animali condotti sinora rappresenterebbero un importante passo in avanti in questo processo. Le verifche sistematiche (soprattutto le metanalisi cumulative di esperimenti in corso [23]) potrebbero determinare in maniera più efficiente i casi in cui gli studi su animali hanno permesso di raggiungere una conclusione valida. Il Consiglio della ricerca medica del Regno Unito obbliga i ricercatori che stanno progettando una prova clinica a far riferimento alle verifiche sistematiche di lavori precedenti sul tema [24]. Un simile obbligo a far riferimento, o se necessario a condurre, recensioni sistematiche di esperimenti attinenti condotti su animali prima delle prove cliniche renderebbe difficile trascurare o citare selettivamente le prove derivanti da tali studi, o condurre simultaneamente prove sugli animali e sugli uomini.
Le verifiche sistematiche sostengono il principio della riduzione, in quanto possono evitare di intraprendere esperimenti su animali aventi lo scopo di rispondere a domande di cui è già nota la risposta. Questo principio, esposto nelle "tre R" (riduzione e rimpiazzo degli animali e raffinamento delle procedute) viene considerato un fondamento della ricerca su animali [25]. Le verifiche sistematiche sarebbero anche utili in medicina veterinaria per valutare l'efficacia delle cure per gli animali malati.
Le verifiche sistematiche dei test su animali aumenterebbero la precisione degli effetti stimati delle cure sugli umani usate nel calcolo dell'estensione delle prove cliniche su esseri umani, riducendo così il rischio di falsi negativi. Esse sono inoltre in grado di far luce sul processo di trasposizione (o della sua impossibilità) dei risultati ottenuti dalla ricerca su animali nella ricerca clinica, oltre ad offrire l'opportunità di valutare l'appropriatezza dei modelli animali usati. Infine, è necessario confrontare i risultati delle ricerche su animali con quelli ottenuti su esseri umani per vedere fino a che punto gli uni possano predire gli altri.
Negli anni Settanta Comroe e Dripps condussero uno studio ambizioso allo scopo di determinare in che misura i più importanti progressi della medicina fossero stati determinati rispettivamente dalla ricerca di base e dalla ricerca clinica; la loro conclusione fu che il 62% degli articoli che avevano portato a progressi decisivi erano il risultato della ricerca di base. Nel 1980 Smith mise in evidenza parecchi difetti metodologici dello studio di Comroe e Dripps [26]; la sua conclusione fu che lo studio non era scientifico ma che la lezione principale che se ne poteva trarre è che la ricerca stessa deve essere oggetto di indagini scientifiche in modo da poter assegnare i fondi in maniera intelligente piuttosto che sulla base di prove aneddotiche. Più di recente Grant ed altri hanno osservato come gli investimenti del Consiglio delle Ricerche britannico nella ricerca di base siano pasati di recente dal 42% del totale della ricerca e sviluppo per fini civili, nel 1991, al 61% nel 1998-99 [5]. Per quanto gli autori riconoscono che sarebbe difficile attribuire questo aumento al lavoro di Conroe e Dripps, essi osservano tuttavia che il loro studio viene spesso citato a sostegno dell'aumento dei finanziamenti alla ricerca biomedica di base. Grant ed altri hanno provato a replicare lo studio di Conroe e Dripps e hanno trovato che "non era riproducibile, affidabile o valido, e che pertanto costituisce una base documentaria insufficiente per giustificare un aumento degli investimenti nella ricerca biomedica di base [5].
La Cochrane and Campbell Collaborations per la verifica sistematica delle prove documentarie in medicina e nelle scienze sociali, offre dei modelli secondo cui sarebbe possibile organizzare ed esaminare sistematicamente la letturatura sugli esperimenti con animali [27, 28]. Nelle verifiche sistematiche sono presenti diverse fonti di possibile distorsione - ad esempio è probabile che le prove su animali condotte dalle industrie farmaceutiche non siano di dominio pubblico per ragioni commerciali - ma ragioni di spazio ci impediscono di prenderle in considerazione qui. Idealmente, non si dovrebbero effettuare nuovi esperimenti su animali fino a quando non venga fatto l'uso migliore di quelli esistenti e fino a quando non sia stata valutata la loro validità e la loro generalizzabilità al campo della pratica clinica.
Ringraziamo la Society for Accountability of Animal Studies in Biomedical Research and Education (www.s-a-b-r-e.org) per l'aiuto fornitoci nell'ottenere alcune pubblicazioni e Margaret Burke per averci aiutato a definire una strategia di ricerca. Siamo anche grati per il loro sostegno ai membri di RATS, soprattutto a Malcolm Macleod, che ha letto e commentato una versione precedente di questo manoscritto.
Gli autori sono un sociologo e quattro epidemiologi, tre dei quali conducono verifiche sistematici per la Cochrane Collaboration. Le idee di questo articolo si sono sviluppate attraverso il nostro lavoro nei campi dei censimenti sistematici, della sperimentazione clinica, della verifica degli esperimenti animali precedenti alle prove cliniche e dell'esame delle ragioni per cui il problema della cura dell'infarto e dei traumi cerebrali non è stato risolto.
Interessi in competizione: PS ha ricevuto un piccolo sostegno per la ricerca da industrie farmaceutiche e compensi e rimborsi delle spese di viaggio per lezioni che è stato invitato a tenere nel corso di convegni nazionali e internazionali finanziati da diverse ditte, tra cui Sanofi-BMS, Boehringer Ingelheim, GlaxoWellcome/GSK, e Servier; ha ricevuto compensi come consulente dalla Bayer e dalla Sanofi-BMS per singole consulenze. PP e SE hanno presentato una richiesta di finanziamento (che non è stata accettata) al Wellcome Trust per un'analisi storica della sperimentazione animale, e PS e IR hanno presentato una richiesta di finanziamento (che non è stata accettata) al MRC per fondi di ricerca finalizzati alla conduzione di verifiche sistematiche degli esperimenti condotti su animali, e hanno intenzione di presentarne ancora.
Problemi metodologici della sperimentazione animale
* Uso di diverse specie e ceppi di animali, caratterizzati da variazioni nei percorsi metabolici e nei metaboliti dei farmaci, il che causa variazioni nell'efficacia e nella tossicità.
* Uso di diversi modelli per l'induzione delle patologie o dei traumi, caratterizzati da diversi gradi di somiglianza alle condizioni corrispondenti nell'uomo.
* Variazioni nella posologia dei farmaci, di cui non si conosce la rilevanza ai fini di una trasposizione all'uomo.
* Variabilità nei metodi di selezione degli animali impiegati nello studio, nei metodi di randomizzazione, nella scelta della terapia di confronto (nessuna, placebo, uso dei soli eccipienti), e nel riportare il numero di individui perduti al follow-up.
* Campioni piccoli e non adeguatamente rappresentativi, analisi statistica semplicistica che non tiene conto di possibili fattori di confusione e mancato adeguamento ai principi dell'intenzione di curare.
* E' possibile che alcune sfumature della tecnica di laboratorio che possono esercitare un influsso sui risultati non vengano né riconosciute né riportate - un esempio sono i metodi per fare sì che l'esperimento sia in cieco.
* Scelta di diverse misure dell'esito, che possono essere surrogati o precursori di malattie e la cui rilevanza ai fini di una trasposizione all'uomo è incerta.
* Variazioni nel periodo di tempo scelto per determinare l'esito della patologia, periodo che può o meno corrispondere a quello in cui essa può essere latente negli esseri umani.
Autori:
- Pandora Pound, Shah Ebrahim, Peter Sandercock, Michael B Bracken, Ian Roberts per il gruppo RATS (Reviewing Animal Trials Systematically - Verifica sistematica degli esperimenti sugli animali)
- Department of Social Medicine, University of Bristol, Bristol BS8 2PR
Pandora Pound research fellow
Shah Ebrahim professor
- Department of Clinical Neurosciences, University of Edinburgh,Western General Hospital, Edinburgh EH4 2XU
Peter Sandercock professor
- Center for Perinatal, Pediatric, and Environmental Epidemiology, Yale University School of Medicine, New Haven, CT 06520 USA
Michael B Bracken professor
- London School of Hygiene and Tropical Medicine, London WC1B 3DP
Ian Roberts professor
Indirizzo per la corrispondenza: Ian.Roberts@lshtm. ac.uk
I particolari della strategia di consultazione delle banche dati e i riferimenti bibliografici w1-w18 sono su bmj.com
Reference
[1] Schechter AN, Retting RA. Funding priorities for medical research. JAMA 2002;288:832.
[2] Page K. Cambridge primate centre comes under scrutiny. Lancet Neurol 2003;2:136.
[3] House of Lords. Report of select committee on animals in scientific procedures,16 July 2002. London: Stationery Office, 2002:22(para 4.8).
[4] Stewart PM. Improving clinical research. BMJ 2003;327:999-1000.
[5] Grant J, Green L, Mason B. From bedside to bench: Comroe and Dripps revisited. London: Brunel University, 2003. (HERG (Health Economics Research Group) Research Report No 30).
[6] Woodman R. Explanations shift attitudes to animal experiments. BMJ 1999;318:1438.
[7] Reines BP. On the locus of medical discovery. J Med Philos 1991;16:183- 209.
[8] Shapiro KJ. Animal models of human psychology. Seattle: Hogrefe and Huber, 1998.
[9] Plous S. Attitudes toward the use of animals in psychological research and education: results from a national survey of psychologists. Am Psychol 1996;51:1167-80.
[10] Dagg AI. Responsible animal-based research. J Appl Anim Welfare Sci 1999;2:337-46.
[11] Horn J, de Haan RJ,Vermeulen M, Luiten PGM, Limburg M. Nimodipine in animal model experiments of focal cerebral ischemia: a systematic review. Stroke 2001;32:2433-8.
[12] Horn J, Limburg M. Calcium antagonists for ischemic stroke: a systematic review. Stroke 2001;32:570-6.
[13] Lucas C, Criens-Poublon LJ, Cockrell CT, de Haan RJ.Wound healing in cell studies and animal model experiments by low level laser therapy; were clinical studies justified? A systematic review. Lasers Med Sci 2002;17:110-34.
[14] Roberts I, Kwan I, Evans P, Haig S. Does animal experimentation inform human health care? Observations from a systematic review of international animal experiments on fluid resuscitation. BMJ 2002;324:474-6.
[15] Mapstone J, Roberts I, Evans P. Fluid resuscitation strategies: a systematic review of animal trials. J Trauma Injury Infect Crit Care 2003;55:571-89.
[16] Roberts I, Evans A, Bunn F, Kwan I, Crowhurst E. Normalising the blood pressure in bleeding trauma patients may be harmful. Lancet 2001;357:385-7.
[17] Ciccone A, Candelise L. Risk of cerebral haemorrhage after thrombolysis: systematic review of animal stroke models. In: Proceedings of the European Stroke Conference, Valencia, May 2003.
[18] Petticrew M, Davey Smith G. Monkey business: what do primate studies of social hierarchies, stress, and the development of CHD tell us about humans? J Epidemiol Community Health 2003;57(suppl 1):A1-21.
[19] Brunner E. Towards a new social biology. In: Berkman L, Kawachi I, eds. Social epidemiology. Oxford: Oxford University Press, 2000:306-31.
[20] Lee DS, Nguyen QT, Lapointe N, Austin PC, Ohlsson A, Tu JV, et al. Meta-analysis of the effects of endothelin receptor blockade on survival in experimental heart failure. J Cardiac Fail 2003;9:368-74.
[21] Bebarta B, Luyten D, Heard K. Emergency medicine animal research: does use of randomization and blinding affect the results? Acad Emerg Med 2003;10:684-7.
[22] Lau J, Antman EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 1992;327:248-54.
[23] Medical Research Council. Clinical trials outline form www.mrc.ac.uk/ doc-mrc_clinic.doc (accessed 20 Jan 2003).
[24] Smith R. Animal research: the need for a middle ground. BMJ 2001;322:248-9.
[25] Comroe JH, Dripps RD. Scientific basis for the support of biomedical science. Science 1976;192:105-11.
[26] Smith R. Comroe and Dripps revisited. BMJ 1987;295:1404-7.
[27] Cochrane Collaboration. www.cochrane.org (accessed 20 Jan 2003).
[28] Campbell Collaboration. www.campbellcollaboration.org (accessed 20 Jan 2003).
TESTO:
Sommario
- E' necessario sottoporre con urgenza a una valutazione rigorosa il valore degli esperimenti su animali per possibili cure per l'uomo.
- Le verifiche sistematiche possono fornire informazioni importanti sulla validità della ricerca animale.
- Le poche rassegne esistenti hanno evidenziato carenze quali la conduzione simultanea di prove su animali e sull'uomo.
- La qualità metodologica di parecchi studi su animali era molto bassa.
- Le verifiche sistematiche dovrebbero diventare la norma, allo scopo di assicurare che venga fatto l'uso migliore dei dati su animali già esistenti e per migliorare le stime degli effetti desumibili dagli esperimenti su animali.
- Gran parte delle ricerche condotte su animali per cure che dovrebbero essere applicate agli uomini, sono sprecate perché condotte in maniera inadeguata e perché non vengono valutate attraverso verifiche sistematiche.
I medici clinici e l'opinione pubblica partono in genere dal presupposto che gli esperimenti su animali abbiano dato un contributo alla cura delle malattie umane, ma poche sono le prove disponibili che supportino questo punto di vista. Sono disponibili ben pochi metodi per valutare l'applicabilità o l'importanza clinica della ricerca di base condotta su animali, per cui il suo apporto alla cura dei malati (al di là dell'aspetto scientifico) rimane incerto.[1] Vengono spesso usate come giustificazione prove aneddotiche o affermazioni non suffragate da prove - ad esempio viene detto che la necessità di effettuare esperimenti su animali è "autoevidente" [2] o che "la sperimentazione animale è un importante metodo di ricerca che si è dimostrato valido nel tempo". [3] Affermazioni del genere non rappresentano prove adeguate a dimostrare la validità di un ambito di ricerca così controverso. Siamo convinti che sia necessaria una verifica sistematica delle ricerche esistenti e di quelle future.
La valutazione della sperimentazione animale
Malgrado la mancanza di prove sistematiche della sua efficacia, la ricerca di base sugli animali nel Regno Unito riceve molti più fondi di quella clinica [1, 4, 5]. Questo, e il fatto che l'opinione pubblica accetta che si sperimenti sugli animali soltanto perché è convinta che gli esseri umani ne traggano beneficio[6], rendono necessaria e urgente una valutazione attendibile della rilevanza degli esperimenti sugli animali per la medicina umana.
Le ricerche sugli animali possono essere valutate facendo uso di diversi metodi, tra cui l'analisi storica [7], la critica ai modelli animali [8], la ricerca sullo sviluppo delle cure [5] i sondaggi condotti sui medici [9] e l'analisi delle citazioni [10]. Tuttavia il metodo migliore di raccogliere prove sulla validità della sperimentazione animale consiste nel condurre verifiche sistematici delle ricerche su animali e, quando possibile, paragonarne i risultati con i risultati delle prove corrispondenti su pazienti umani. Quali sono dunque i risultati degli studi condotti in questo modo?
Valutazioni sistematiche della sperimentazione animale
Abbiamo condotto una ricerca sulla banca dati Medline per identificare le verifche sistematiche degli esperimenti su animali (si veda bmj.com per i dettagli della strategia di consultazione). La ricerca ha identificato 277 pubblicazioni candidate, di cui 22 erano resoconti di verifiche sistematici. Siamo anche a conoscenza di uno studio pubblicato di recente e di due studi non pubblicati, con i quali il totale sale a 25. Altri tre studi sono in corso (M. Macleod, comunicazione personale).
Sette dei 25 articoli erano verifiche sistematiche di esperimenti su animali che erano stati condotti per scoprire come le ricerche su animali avessero influenzato la ricerca clinica. Due erano basati sullo stesso gruppo di studi, il che faceva scendere il totale in questa categoria a sei. Altri dieci articoli erano verifiche sistematiche di esperimenti su animali condotte per valutare se i dati ottenuti dagli animali fossero tali da giustificare il passaggio alla sperimentazione clinica oppure condotte per stabilire una base di dati. Otto riguardavano studi condotti in un particolare campo sia sugli umani che sugli animali, anche in questo caso prima dell'esecuzione di prove cliniche. Ci concentriamo sui sei studi della prima categoria in quanto sono quelli che gettano più luce sul contributo della sperimentazione animale alla medicina umana.
Calcio-antagonisti nell'ictus
La prima verifica sistematica della sperimentazione animale, condotta da Horn e altri [11], fu intrapresa dopo che la loro verifica sistematica della prove cliniche di efficacia della nimopidina per l'ictus acuto non trovò prove di un effetto clinicamente rilevante [12]. La loro rassegna degli esperimenti animali sulla nimodipina non riscontrò prove convincenti di effetti positivi che potessero sostenere la decisione di intraprendere una sperimentazione clinica su umani. Horn ed altri trovarono anche che la qualità metodologica degli studi su animali compresi nella rassegna era bassa, e fecero riferimento in particolare al fatto che spesso gli animali non erano randomizzati, non c'erano valutazioni in cieco, e gli sviluppi successivi alla fase acuta non erano misurati. Inoltre gli esperimenti animali sulla nimodipina furono condotti in parallelo a quelli sui pazienti umani, e non successivamente, come sarebbe invece stato logico se lo scopo degli esperimenti sugli animali fosse stato quello di raccogliere informazioni preventive per la successiva sperimentazione clinica.
Terapia laser a basso livello per la guarigione delle ferite
Dopo che venne dimostrata l'inefficacia della terapia laser a basso livello per migliorare la rimarginazione delle ferite, Lucas ed altri hanno condotto una ricerca per scoprire in base a quali dati fosse stato deciso di condurre la sperimentazione clinica [13]. Gli autori hanno riscontrato che gli studi su animali non avevano fornito prove univoche a favore della decisione di intraprendere studi clinici, che la qualità metodologica degli esperimenti su animali era bassa, e che gli esperimenti sui pazienti umani e quelli su animali erano stati condotti non gli uni dopo gli altri, ma simultaneamente. Il loro commento sulla pertinenza dei modelli animali per le situazioni cliniche reali includeva il fatto che i modelli animali non mostravano complicanze piuttosto comuni nella rimarginazione delle ferite nei pazienti umani come l'ischemia, le infezioni e i residui necrotici.
Rianimazione con somministrazione di liquidi in caso di emorragia
Roberts ed altri [14] e Mapstone ed altri [15] hanno valutato le prove derivanti da esperimenti su animali a sostegno della rianimazione con fluidi per i pazienti colpiti da emorragia acuta. La loro precedente verifica sistematica dei test cliniche nella rianimazione con liquidi, non aveva trovato alcuna prova del fatto che questa tecnica desse buoni risultati e anzi aveva evidenziato la possibilità che risultasse dannosa [16]. La rassegna degli esperimenti condotti su animali riscontrò che la rianimazione con fluidi riduceva il rischio di morte nei modelli animali di grave emorragia ma lo aumentava in quelli con emorragia meno grave. Gli autori concludevano che l'eccesso di rianimazione con liquidi può essere dannoso in alcune situazioni.
La rassegna evidenziava di nuovo la bassa qualità metodologica dei singoli esperimenti su animali. Inoltre, dal momento che gli esperimenti erano condotti su un numero ridotto di animali, le stime di efficacia derivanti da questi studi erano imprecise. Gli autori sostenevano che valutazioni sistematiche e la metanalisi di precedenti esperimenti condotti su animali avrebbero potuto assicurare che nuovi esperimenti su animali non si prefiggessero lo scopo di rispondere a domande che avevano già ricevuto risposta e aumentare la precisione delle stime di efficacia delle cure, riducendo così il numero di animali da utilizzare in esperimenti successivi.
Trombolisi per l'infarto
Uno studio non pubblicato di Ciccone e Candelise verificava sistematicamente gli esperimenti randomizzati controllati su modelli animali dell'infarto, i quali confrontavano l'effetto di farmaci trombolitici con quelli di un placebo o con la situazione su gruppi di controllo non trattati [17]. Lo studio era stato intrapreso perché le prove cliniche dell'uso di farmaci trombolitici per l'infarto acuto avevano evidenziato un rischio di emorragia intracranica notevolmente maggiore rispetto a quanto era stato previsto dai singoli studi su animali. Quando i dati su animali furono raccolti e confrontati, venne evidenziata una differenza significativa nell'incidenza di emorragie intracraniche tra gli animali del gruppo di controllo e quelli trattati.
Lo stress e le cardiopatie coronariche
Petticrew e Davey Smith hanno esaminato studi randomizzati e di osservazione sugli effetti delle gerarchie e dello stress sulle cardiopatie coronariche nei primati [18]. Non hanno trovato prove convincenti di un nesso tra lo status sociale o lo stress indotto sperimentalmente e le cardiopatie coronariche. Tra i primati maschi, ad essere associata alle cardiopatie era la posizione sociale dominante piuttosto che quella subordinata, il che contraddice un vasto corpus di studi epidemiologici sullo stress e le cardiopatie coronariche basati sull'osservazione [19]. Gli autori hanno notato che gli epidemiologi sociali avevano citato soltanto gli studi che confermavano le loro opinioni precedenti su questa correlazione positiva ed avevano ignorato quelli che presentavano risultati negativi. Nel campo dell'epidemiologia psicosociale la pratica della citazione era altamente selettiva, e produceva l'impressione fuorviante che gli studi sui primati confermassero l'opinione che gli effetti sulla salute dell'ineguaglianza sociale si manifestassero attraverso meccanismi psicosociali. Gli autori hanno concluso che i dati derivanti dai primati non sostengono queste tesi, di notevolissima rilevanza per la salute pubblica.
Antagonisti dell'endotelina nello scompenso cardiaco
Lee e colleghi [20] hanno condotto un censimento sistematico e una metanalisi delle prove controllate degli antagonisti dell'endotelina nei modelli animali di scompenso cardiaco dopo che le prove cliniche su pazienti umani avevano riscontrato una totale assenza di effetti positivi. Hanno riscontrato che gli esperimenti su animali erano condotti su piccoli campioni e mal progettati, e facevano un uso incoerente della randomizzazione e della tecnica in cieco. Messe insieme, le analisi dei dati su animali non fornivano prove di un beneficio complessivo e mostravano una tendenza all'aumento della mortalità in caso di somministrazione precoce. Gli autori caldeggiavano un uso maggiore delle verifiche sistematiche nella valutazione preclinica dei medicinali.
Implicazioni
Le prove cliniche della nimodipina e della terapia laser di basso livello sono state condotte contemporaneamente agli studi su animali, mentre quelle sulla rianimazione con fluidi, sulla terapia trombolitica e sugli antagonisti dell'endotelina sono state intraprese malgrado fossero disponibili prove di effetti dannosi sugli animali. Ciò indica che i dati derivanti dagli animali sono stati considerati non pertinenti, il che fa sorgere dubbi sul motivo che aveva spinto a intraprenderli e mina alla base il principio che gli esperimenti sugli animali siano necessari allo sviluppo della medicina umana.
Inoltre, parecchi degli esperimenti su animali erano progettati male. Gli esperimenti su animali sono in grado di far decidere quali cure sia il caso di far procedere alla fase di sperimentazione clinica solo se i loro risultati sono validi e precisi e se vengono condotti prima dell'inizio delle prove cliniche. Risultati distorti o imprecisi di esperimenti su animali possono avere come risultato la sperimentazione clinica di sostanze biologicamente inerti o persino dannose, che espongono i pazienti a rischi superflui oltre che costituire uno spreco di fondi per la ricerca. Inoltre, se gli esperimenti su animali non danno informazioni utili alla ricerca medica per gli umani, o se la qualità degli esperimenti è così bassa da rendere i loro risultati non decisivi, tali esperimenti saranno stati vani. Una valutazione della validità degli esperimenti animali si rivela dunque essenziale sia per la salvaguardia della salute umana che per gli animali stessi.
Benché la randomizzazione e le procedure in cieco siano metodologie standard nella ricerca clinica, non esistono standard corrispondenti nella sperimentazione animale [21]. Bebarta ed altri hanno concluso che gli studi su animali che non riportavano di aver usato la randomizzazione e il cieco avevano una maggiore probabilità di riportare effetti curativi rispetto a quelli che usavano questi metodi [22]. Il box riassume altri potenziali problemi metodologici.
Anche se gli esperimenti animali forniscono risultati validi e stime sufficientemente precise degli effetti terapeutici da permettere di escludere l'effetto del caso, la misura in cui tali risultati possono ragionevolmente essere estesi agli umani rimane una questione aperta. Forse è stato a causa di questa incertezza che i dati derivanti dagli animali furono trascurati nei casi discussi sopra.
Conclusione
La valutazione formale del contributo degli esperimenti sugli animali alla pratica clinica rappresenta una necessità urgente. Le verifiche sistematiche e le metanalisi degli esperimenti su animali condotti sinora rappresenterebbero un importante passo in avanti in questo processo. Le verifche sistematiche (soprattutto le metanalisi cumulative di esperimenti in corso [23]) potrebbero determinare in maniera più efficiente i casi in cui gli studi su animali hanno permesso di raggiungere una conclusione valida. Il Consiglio della ricerca medica del Regno Unito obbliga i ricercatori che stanno progettando una prova clinica a far riferimento alle verifiche sistematiche di lavori precedenti sul tema [24]. Un simile obbligo a far riferimento, o se necessario a condurre, recensioni sistematiche di esperimenti attinenti condotti su animali prima delle prove cliniche renderebbe difficile trascurare o citare selettivamente le prove derivanti da tali studi, o condurre simultaneamente prove sugli animali e sugli uomini.
Le verifiche sistematiche sostengono il principio della riduzione, in quanto possono evitare di intraprendere esperimenti su animali aventi lo scopo di rispondere a domande di cui è già nota la risposta. Questo principio, esposto nelle "tre R" (riduzione e rimpiazzo degli animali e raffinamento delle procedute) viene considerato un fondamento della ricerca su animali [25]. Le verifiche sistematiche sarebbero anche utili in medicina veterinaria per valutare l'efficacia delle cure per gli animali malati.
Le verifiche sistematiche dei test su animali aumenterebbero la precisione degli effetti stimati delle cure sugli umani usate nel calcolo dell'estensione delle prove cliniche su esseri umani, riducendo così il rischio di falsi negativi. Esse sono inoltre in grado di far luce sul processo di trasposizione (o della sua impossibilità) dei risultati ottenuti dalla ricerca su animali nella ricerca clinica, oltre ad offrire l'opportunità di valutare l'appropriatezza dei modelli animali usati. Infine, è necessario confrontare i risultati delle ricerche su animali con quelli ottenuti su esseri umani per vedere fino a che punto gli uni possano predire gli altri.
Negli anni Settanta Comroe e Dripps condussero uno studio ambizioso allo scopo di determinare in che misura i più importanti progressi della medicina fossero stati determinati rispettivamente dalla ricerca di base e dalla ricerca clinica; la loro conclusione fu che il 62% degli articoli che avevano portato a progressi decisivi erano il risultato della ricerca di base. Nel 1980 Smith mise in evidenza parecchi difetti metodologici dello studio di Comroe e Dripps [26]; la sua conclusione fu che lo studio non era scientifico ma che la lezione principale che se ne poteva trarre è che la ricerca stessa deve essere oggetto di indagini scientifiche in modo da poter assegnare i fondi in maniera intelligente piuttosto che sulla base di prove aneddotiche. Più di recente Grant ed altri hanno osservato come gli investimenti del Consiglio delle Ricerche britannico nella ricerca di base siano pasati di recente dal 42% del totale della ricerca e sviluppo per fini civili, nel 1991, al 61% nel 1998-99 [5]. Per quanto gli autori riconoscono che sarebbe difficile attribuire questo aumento al lavoro di Conroe e Dripps, essi osservano tuttavia che il loro studio viene spesso citato a sostegno dell'aumento dei finanziamenti alla ricerca biomedica di base. Grant ed altri hanno provato a replicare lo studio di Conroe e Dripps e hanno trovato che "non era riproducibile, affidabile o valido, e che pertanto costituisce una base documentaria insufficiente per giustificare un aumento degli investimenti nella ricerca biomedica di base [5].
La Cochrane and Campbell Collaborations per la verifica sistematica delle prove documentarie in medicina e nelle scienze sociali, offre dei modelli secondo cui sarebbe possibile organizzare ed esaminare sistematicamente la letturatura sugli esperimenti con animali [27, 28]. Nelle verifiche sistematiche sono presenti diverse fonti di possibile distorsione - ad esempio è probabile che le prove su animali condotte dalle industrie farmaceutiche non siano di dominio pubblico per ragioni commerciali - ma ragioni di spazio ci impediscono di prenderle in considerazione qui. Idealmente, non si dovrebbero effettuare nuovi esperimenti su animali fino a quando non venga fatto l'uso migliore di quelli esistenti e fino a quando non sia stata valutata la loro validità e la loro generalizzabilità al campo della pratica clinica.
Ringraziamo la Society for Accountability of Animal Studies in Biomedical Research and Education (www.s-a-b-r-e.org) per l'aiuto fornitoci nell'ottenere alcune pubblicazioni e Margaret Burke per averci aiutato a definire una strategia di ricerca. Siamo anche grati per il loro sostegno ai membri di RATS, soprattutto a Malcolm Macleod, che ha letto e commentato una versione precedente di questo manoscritto.
Gli autori sono un sociologo e quattro epidemiologi, tre dei quali conducono verifiche sistematici per la Cochrane Collaboration. Le idee di questo articolo si sono sviluppate attraverso il nostro lavoro nei campi dei censimenti sistematici, della sperimentazione clinica, della verifica degli esperimenti animali precedenti alle prove cliniche e dell'esame delle ragioni per cui il problema della cura dell'infarto e dei traumi cerebrali non è stato risolto.
Interessi in competizione: PS ha ricevuto un piccolo sostegno per la ricerca da industrie farmaceutiche e compensi e rimborsi delle spese di viaggio per lezioni che è stato invitato a tenere nel corso di convegni nazionali e internazionali finanziati da diverse ditte, tra cui Sanofi-BMS, Boehringer Ingelheim, GlaxoWellcome/GSK, e Servier; ha ricevuto compensi come consulente dalla Bayer e dalla Sanofi-BMS per singole consulenze. PP e SE hanno presentato una richiesta di finanziamento (che non è stata accettata) al Wellcome Trust per un'analisi storica della sperimentazione animale, e PS e IR hanno presentato una richiesta di finanziamento (che non è stata accettata) al MRC per fondi di ricerca finalizzati alla conduzione di verifiche sistematiche degli esperimenti condotti su animali, e hanno intenzione di presentarne ancora.
Problemi metodologici della sperimentazione animale
* Uso di diverse specie e ceppi di animali, caratterizzati da variazioni nei percorsi metabolici e nei metaboliti dei farmaci, il che causa variazioni nell'efficacia e nella tossicità.
* Uso di diversi modelli per l'induzione delle patologie o dei traumi, caratterizzati da diversi gradi di somiglianza alle condizioni corrispondenti nell'uomo.
* Variazioni nella posologia dei farmaci, di cui non si conosce la rilevanza ai fini di una trasposizione all'uomo.
* Variabilità nei metodi di selezione degli animali impiegati nello studio, nei metodi di randomizzazione, nella scelta della terapia di confronto (nessuna, placebo, uso dei soli eccipienti), e nel riportare il numero di individui perduti al follow-up.
* Campioni piccoli e non adeguatamente rappresentativi, analisi statistica semplicistica che non tiene conto di possibili fattori di confusione e mancato adeguamento ai principi dell'intenzione di curare.
* E' possibile che alcune sfumature della tecnica di laboratorio che possono esercitare un influsso sui risultati non vengano né riconosciute né riportate - un esempio sono i metodi per fare sì che l'esperimento sia in cieco.
* Scelta di diverse misure dell'esito, che possono essere surrogati o precursori di malattie e la cui rilevanza ai fini di una trasposizione all'uomo è incerta.
* Variazioni nel periodo di tempo scelto per determinare l'esito della patologia, periodo che può o meno corrispondere a quello in cui essa può essere latente negli esseri umani.
Autori:
- Pandora Pound, Shah Ebrahim, Peter Sandercock, Michael B Bracken, Ian Roberts per il gruppo RATS (Reviewing Animal Trials Systematically - Verifica sistematica degli esperimenti sugli animali)
- Department of Social Medicine, University of Bristol, Bristol BS8 2PR
Pandora Pound research fellow
Shah Ebrahim professor
- Department of Clinical Neurosciences, University of Edinburgh,Western General Hospital, Edinburgh EH4 2XU
Peter Sandercock professor
- Center for Perinatal, Pediatric, and Environmental Epidemiology, Yale University School of Medicine, New Haven, CT 06520 USA
Michael B Bracken professor
- London School of Hygiene and Tropical Medicine, London WC1B 3DP
Ian Roberts professor
Indirizzo per la corrispondenza: Ian.Roberts@lshtm. ac.uk
I particolari della strategia di consultazione delle banche dati e i riferimenti bibliografici w1-w18 sono su bmj.com
Reference
[1] Schechter AN, Retting RA. Funding priorities for medical research. JAMA 2002;288:832.
[2] Page K. Cambridge primate centre comes under scrutiny. Lancet Neurol 2003;2:136.
[3] House of Lords. Report of select committee on animals in scientific procedures,16 July 2002. London: Stationery Office, 2002:22(para 4.8).
[4] Stewart PM. Improving clinical research. BMJ 2003;327:999-1000.
[5] Grant J, Green L, Mason B. From bedside to bench: Comroe and Dripps revisited. London: Brunel University, 2003. (HERG (Health Economics Research Group) Research Report No 30).
[6] Woodman R. Explanations shift attitudes to animal experiments. BMJ 1999;318:1438.
[7] Reines BP. On the locus of medical discovery. J Med Philos 1991;16:183- 209.
[8] Shapiro KJ. Animal models of human psychology. Seattle: Hogrefe and Huber, 1998.
[9] Plous S. Attitudes toward the use of animals in psychological research and education: results from a national survey of psychologists. Am Psychol 1996;51:1167-80.
[10] Dagg AI. Responsible animal-based research. J Appl Anim Welfare Sci 1999;2:337-46.
[11] Horn J, de Haan RJ,Vermeulen M, Luiten PGM, Limburg M. Nimodipine in animal model experiments of focal cerebral ischemia: a systematic review. Stroke 2001;32:2433-8.
[12] Horn J, Limburg M. Calcium antagonists for ischemic stroke: a systematic review. Stroke 2001;32:570-6.
[13] Lucas C, Criens-Poublon LJ, Cockrell CT, de Haan RJ.Wound healing in cell studies and animal model experiments by low level laser therapy; were clinical studies justified? A systematic review. Lasers Med Sci 2002;17:110-34.
[14] Roberts I, Kwan I, Evans P, Haig S. Does animal experimentation inform human health care? Observations from a systematic review of international animal experiments on fluid resuscitation. BMJ 2002;324:474-6.
[15] Mapstone J, Roberts I, Evans P. Fluid resuscitation strategies: a systematic review of animal trials. J Trauma Injury Infect Crit Care 2003;55:571-89.
[16] Roberts I, Evans A, Bunn F, Kwan I, Crowhurst E. Normalising the blood pressure in bleeding trauma patients may be harmful. Lancet 2001;357:385-7.
[17] Ciccone A, Candelise L. Risk of cerebral haemorrhage after thrombolysis: systematic review of animal stroke models. In: Proceedings of the European Stroke Conference, Valencia, May 2003.
[18] Petticrew M, Davey Smith G. Monkey business: what do primate studies of social hierarchies, stress, and the development of CHD tell us about humans? J Epidemiol Community Health 2003;57(suppl 1):A1-21.
[19] Brunner E. Towards a new social biology. In: Berkman L, Kawachi I, eds. Social epidemiology. Oxford: Oxford University Press, 2000:306-31.
[20] Lee DS, Nguyen QT, Lapointe N, Austin PC, Ohlsson A, Tu JV, et al. Meta-analysis of the effects of endothelin receptor blockade on survival in experimental heart failure. J Cardiac Fail 2003;9:368-74.
[21] Bebarta B, Luyten D, Heard K. Emergency medicine animal research: does use of randomization and blinding affect the results? Acad Emerg Med 2003;10:684-7.
[22] Lau J, Antman EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 1992;327:248-54.
[23] Medical Research Council. Clinical trials outline form www.mrc.ac.uk/ doc-mrc_clinic.doc (accessed 20 Jan 2003).
[24] Smith R. Animal research: the need for a middle ground. BMJ 2001;322:248-9.
[25] Comroe JH, Dripps RD. Scientific basis for the support of biomedical science. Science 1976;192:105-11.
[26] Smith R. Comroe and Dripps revisited. BMJ 1987;295:1404-7.
[27] Cochrane Collaboration. www.cochrane.org (accessed 20 Jan 2003).
[28] Campbell Collaboration. www.campbellcollaboration.org (accessed 20 Jan 2003).
.jpg)
Nessun commento:
Posta un commento