Mapping the clinical translation of successful and unsuccessful neurological drugs

BACKGROUND Neurology is one of the most failure-prone areas of drug development. However, almost nothing is known about the amount of evidence that is lost due to nonpublication of trials testing products that never receive regulatory approval, nor about the burdens to research participants of exposure to potentially unsafe or ineffective drugs. OBJECTIVES To evaluate nonpublication rates among trials of new successful and unsuccessful neurological drugs and to quantify the patient benefit and burden associated with their clinical translation trajectories. METHODS We created two drug cohorts: our 'licensed' drug cohort consisted of all novel drugs receiving FDA licensure 2005 to 2012 inclusive in seven prevalent neurological disorders. Our cohort of 'stalled' drugs included all experimental agents tested in the same domains that had at least one completed phase III trial in the same timeframe but failed to receive FDA approval. To assess publication rates, registered trials of these drugs were included in our sample if their primary outcome collection occurred before October 1st, 2010. We determined the publication status of eligible trials by searching public registries, PubMed, and Embase. The primary outcome was journal publication (or result reporting in other media). To measure the total patient burden incurred by and the efficiency of neurological drug development in these same drugs, we performed a systematic review and meta-analysis of the clinical literature. We piloted our extraction and analysis protocol in stroke and subsequently assessed Parkinson's disease and multiple sclerosis. We extracted demographic, outcome, efficacy, and safety data from published trials and quantified patient-years of involvement. For the stroke cohort, cumulative rates of serious adverse events and good outcomes were plotted as a function of time. RESULTS We found that 56% (91/163) of trials of licensed drugs were published within five years of completion, compared to 32% (64/203) of trials of stalled drugs in our sample. Trials of licensed drugs were 1.7 times more likely to publish results compared to trials of stalled drugs (adjusted hazard ratio for publication: 1.68, 95% confidence interval: 1.11 to 2.54). 14 092 and 33 882 volunteers participated in unpublished trials of licensed and stalled neurological drugs, respectively. Result data were not publicly available in any form for 10% (16/163) and 46% (94/203) of trials of licensed and stalled drugs, respectively. Our systematic review captured four licensed and twelve stalled neurological drugs. Our pilot project in stroke demonstrated that 10 979 participants were involved and 2612.8 patient-years were expended in developing unsuccessful drugs, but patients in treatment arms were not disadvantaged against comparator arms. Risk/benefit analyses for Parkinson's disease (N=24 306 patients for 10 393.2 patient-years) and multiple sclerosis (N=23 861 patients for 32 354 patient-years) are forthcoming, but preliminary efficiency analyses suggested indications that received licensure were generally identified early in development and that 11% of clinical trial participants may have been involved in studies of marginal value to the medical research community. CONCLUSION Despite their ethical and practical importance, results of trials for unsuccessful neurological drugs are heavily underreported. Consequently, research and care communities are deprived of feedback on biological premises driving drug development, pathophysiology, drug class effects, and the value of surrogate endpoints in trials. Nevertheless, our systematic review in stroke suggested that exposure to unsuccessful drugs was not harmful for participants relative to comparator arms. Forthcoming risk/benefit analyses in Parkinson's disease and multiple sclerosis will better indicate whether research subjects are unduly burdened by unsuccessful clinical translation in neurology.CONTEXTE La neurologie subi un des taux d'échec les plus élevés parmi les majeurs domaines de développement de médicaments, mais nous savons encore peu de la quantité d'information qui est perdue en raison de nonpublication des essais cliniques analysant des molécules échouées, ni du fardeau des sujets de recherche qui y participent. OBJECTIFS Évaluer le taux de nonpublication des essais cliniques ayant éprouvé des molécules homologuées par la FDA ou non-autorisées à la commercialisation et quantifier les bienfaits et la charge associés au développement clinique de ces pharmacothérapies. MATÉRIEL ET MÉTHODE Nous avons créé deux cohortes de molécules: «réussies» (tous les nouveaux médicaments recevant l'homologation par la FDA entre 2005 et 2012 pour le traitement de sept troubles neurologiques courants) et «échouées» (tous les agents expérimentaux non-homologués faisant l'objet d'au moins un essai clinique de phase III contre ces mêmes maladies entre 2005 et 2012). Pour évaluer le taux de publication, nous avons capturé tous les essais cliniques enregistrés sur clinicaltrials.gov testant une de ces molécules qui ont terminé la collecte primaire des résultats avant le 1er Octobre 2010. Nous avons évalué l'état de publication de ces essais cliniques en cherchant dans les registres publics et les bases de données PubMed et Embase. Le principal indicateur de résultat a été la publication dans une revue académique.Afin de quantifier le fardeau des sujets de recherche et les inefficacités de la mise au point de nouvelles pharmacothérapies, nous avons entrepris un examen systématique et méta-analyse des essais cliniques publiés éprouvant les molécules de nos cohortes. Nous avons effectué une étude pilote dans le domaine de l'attaque cérébrale, suivi par la maladie de Parkinson et la sclérose en plaques. Nous avons extrait les données démographiques, de l'efficacité et de l'innocuité. Les années-patients d'exposition ont été quantifiées. RÉSULTATS 56% (91/163) des essais cliniques de médicaments homologués ont été publiés dans les cinq ans suivant l'achèvement de l'essai, comparé à 32% (64/203) des essais cliniques de molécules «échouées». Les essais cliniques de médicaments homologués étaient 1,68 fois plus susceptibles de publier leurs résultats (rapport de risque ajusté; intervalle de confiance à 95% : 1,11 à 2,54). 14,092 et 33,882 patients ont participé à des essais cliniques inédits de molécules «réussies» et «échouées». Les résultats n'ont pas été rendus publiques pour 10% (16/163) et 46% (94/203) des essais cliniques, respectivement.Notre examen systématique a compris 4 médicaments homologués et 12 molécules «échouées». 10,979 patients ont été impliqués au cours de 2612.8 années-patients dans le développement infructueux de molécules pour traiter l'attaque cérébrale, mais les groupes expérimentaux n'étaient pas désavantagés contre les groupes témoins. Les analyses risques-avantages pour la maladie de Parkinson (N=24,306 patients;10,393.2 années-patients) et la sclérose en plaques (N=23,861 patients; 32,354.2 années-patients) sont à venir. Cependent, nos résultats préliminaires ont démontré que les indications qui reçoivent ultimement l'homologation par la FDA sont identifiées très tôt au cours du développement d'un médicament et qu'approximativement 11% de participants dans notre cohorte ont assisté à des essais cliniques de valeur marginale à la communauté médicale. CONCLUSION Malgré leur importance éthique et pratique, les résultats des essais cliniques mettant à l'épreuve des molécules «échouées» sont sous-déclarés. Par conséquent, les communautés scientifiques et médicales sont privées du retour d'information sur les effets liés aux classes de médicaments et la valeur des critères d'évaluation substitutifs. Néanmoins, notre examen systématique pilote en attaque cérébrale a démontré que l'exposition à des molécules «échouées» ne semble pas nuire aux participants de rechereche par rapport aux bras témoins