Evidensgraderingssystemet GRADE : Ett sätt att granska vetenskaplig kunskap om metoder och arbetssätt i hälso- och sjukvården

Beslut om införande av nya behandlingsmetoder och arbetssätt i sjukvården präglas alltid av en viss grad av osäkerhet. De studier som gjorts av metodens för- och nackdelar kan vara av olika god kvalitet och därmed ge mer eller mindre säkra resultat. Efter att användningen av systematiska litteraturstudier vid medicinsk teknologiutvärdering tog fart på 1980-talet började man efterfråga ett beslutsunderlag som även tar hänsyn till olika studiers kvalitet. Detta initierade utvecklingen av flera olika system för evidensgradering. Gradering av evidens innebär att det samlade beslutsunderlaget tillmäts en evidensstyrka (bevisvärde) som baseras framför allt på kvalitet, kvantitet och inbördes samstämmighet mellan olika studier. Enskilda studiers kvalitet bedöms och deras beslutsvärde sammanvägs med övrig information till ett samlat beslutsunderlag. GRADE presenterades första gången 2004 i British Medical Journal (BMJ) och är idag det mest spridda systemet för evidensgradering. Ett flertal internationella organisationer samt utvärderingsenheter i Europa, Nordamerika och Asien använder GRADE och i Sverige har Statens beredning för medicinsk utvärdering (SBU) och Socialstyrelsen studerat systemet och integrerat delar av arbetssättet i sin verksamhet. Förutom evidensgradering innehåller GRADE även en del som utgår från det vetenskapliga underlaget för att beskriva med hur stor säkerhet man kan rekommendera att använda eller inte använda en metod. På Centrum för utvärdering av medicinsk teknologi (CMT) har vi studerat flera system för evidensgradering. Ett antal system studerades initialt men då dessa tydligt konvergerade mot det system som formulerats i GRADE inriktades arbetet på att detaljstudera detta och ta fram ett diskussionsunderlag på svenska för att belysa frågan hur GRADE kan användas i Sverige i ett utvärderings- och prioriteringsarbete, lokalt, regionalt och nationellt. Målgrupper för rapporten är beslutsfattare, sjukvårdspersonal och akademiskt verksamma med intresse för utvärdering och införande av nya metoder i sjukvården. Rapporten inleds med historiken bakom utvecklingen av GRADE. Därefter ges en beskrivning av GRADEs arbetsmetod och grundläggande principer. Kapitel 3 innehåller en kritisk granskning av systemet och en diskussion av för- och nackdelar samt användbarheten i ett svenskt utvärderingsperspektiv. Vidare innehåller rapporten bilagor med GRADEs arbetsblad och ett flertal exempel på utvärderingar enligt detta arbetssätt. En GRADE-bedömning består av två delar: en evidensprofil för den undersökta metoden samt en rekommendation om användandet. Evidensprofilen innehåller en kvalitetsbedömning (Quality assessment) och en summering av resultat (Summary of findings). Samtliga betydelsefulla effektmått ska redovisas i resultatsummeringen och bakomliggande studier ska graderas avseende design, studiekvalitet mm. Evidensprofilens roll är att ge underlag för beslut om praxisförändringar men ger endast vägledning vad gäller klinisk effekt av en intervention. I Sverige finns en tradition av allsidiga utvärderingar, med vilket avses att metoder granskas ur ett medicinskt, ekonomiskt, socialt och etiskt perspektiv. Därför ger inte GRADEs evidensprofil tillräcklig information för beslut om praxisförändringar i ett svenskt perspektiv. Rekommendationen om användandet av den undersökta metoden är del två och det avslutande steget i GRADE. Detta steg utförs av en kommitté av experter i det sjukvårdssystem där metoden är tänkt att användas. En rekommendation att använda en metod ska spegla gruppens övertygelse att önskade effekter överväger över oönskade effekter och graden av övertygelse, att det mest fördelaktiga agerandet rekommenderas, kan anges som stark eller svag. Tillvägagångssättet är strukturerat men lämnar mycket utrymme för subjektiva bedömningar. Rekommendationen ska grundas på information i evidens-profilen och utöver detta på gällande normer och preferenser i samhället samt ekonomiska aspekter. De senare bedömningsgrunderna varierar i hög grad beroende på i vilket land bedömningen görs. Bland annat är bedömning av kostnadseffektivitet inget uttalat krav för beslutsfattande i alla länder men i praktiken går det inte att arbeta fram en rekommendation utan ett moment av prioritering. SBU har beslutat att använda Grade, med viss modifikation, men endast för att ta fram en evidensprofil. Dock strävar man efter att göra utvärderingar som analyserar alla relevanta aspekter som kan ha betydelse för ett beslut och kompletterar därför evidensprofilen med t.ex. kostnadseffektivitet i förekommande fall. Från många håll efterfrågas explicita rekommendationer till stöd för ett beslutsfattande. GRADEs metodologi underlättar inte framtagning av rekommendationer i någon högre grad. Medan arbetssättet för att ta fram evidensprofilen är väl genomarbetat återstår mycket utvecklingsarbete vad gäller rekommendationsdelen. Användning av GRADEs metodologi kan bidra till ett mer strukturerat arbetssätt vid bedömning av nya teknologier i hälso- och sjukvården. Metoden behöver dock vidareutvecklas lokalt för att komma ett steg närmare själva beslutsfattandet. Analyser av kostnadseffektivitet och andra kriterier som kan ligga till grund för prioriteringar behövs, då vi lever i en verklighet där sjukvårdsresurserna är starkt begränsade. Vidare bör utveckling ske mot en mer objektiv bedömning av kriterierna i rekommendationsdelen. GRADE-systemet ger ett bra utgångsläge för att ta fram ett sammanvägt evidensmaterial och användningen av systemet kan leda till diskussioner och utveckling som kan resultera i ett mer komplett arbetssätt. En intressant utveckling vore att testa systemet för att syntetisera olika typer av kunskap, forsknings- såväl som praktikerbaserad, vilket skulle göra arbetssättet användbart som utvärderingsmetod även vid införande av vissa ickefarmakologiska metoder där traditionell studiedesign inte alltid går att använda.Decision on the introduction of new treatments and practices in healthcare are always characterized by uncertainty. The studies carried out to evaluate the pros and cons of a new method can be of different quality and thus provide more or less certain results. When the use of systematic literature reviews on health technologies took off in the 1980s, decision makers began to ask for guidance documents, which also took into account individual study quality. This initiated the development of several systems for grading of evidence. Grading of evidence means that the overall decision material is assigned a strength of evidence, based primarily on quality, quantity and consistency between ifferent studies. The quality of individual studies are assessed and their decision values are weighted together with additional information to obtain an overall decision making material. GRADE (Grading of Recommendations Assessment, Development and Evaluation) is an approach developed internationally. It started as an informal collaboration between different groups interested in how to assess the value of different studies and the credibility of the overall decision basis for deciding on the introduction of new medical technologies. GRADE was first presented in 2004 in the British Medical Journal (BMJ), and is today the most widespread system for grading of evidence. Several international organizations, and assessment units in Europe, North America and Asia are using GRADE and in Sweden, the Swedish Council on Technology Assessment in Health Care (SBU) and the National Board of Health and Welfare have studied the system and integrated parts of the approach in their work. In addition to assessment of evidence quality the GRADE approach also covers development and presentation of recommendations to use or not to use the assessed methods that, based on the scientific basis, also describe the degree of confidence with which a recommendation can be given. At the Centre for Medical Technology Assessment (CMT), several systems of evidence-grading have been studied. However, as the systems under study clearly converged towards the GRADE approach, a sharper focus was set on a detailed study of this system and to develop a discussion paper in Swedish in order to highlight the issue of how GRADE can be used in the Swedish context for evaluation and priority setting, locally, regionally and nationally. Target groups for the report are policy makers, healthcare professionals and academic researchers with an interest in issues of evaluation and implementation of health technologies. The report begins with the historical background behind the development of GRADE. In Chapter 2 a description of GRADE’s working method and underlying principles is given. Chapter 3 contains a critical review of the system and a discussion of the advantages and disadvantages, and usefulness in a Swedish evaluation perspective. Furthermore, the report contains appendices with GRADE worksheets and numerous examples of assessments using the GRADE approach. A GRADE-assessment consists of two parts: an evidence profile for the method in question and a recommendation regarding its use. The evidence profile contains a ”Quality assessment” and a ”Summary of findings.” All the important outcomes are shown in the summary and the underlying studies are graded according to design, study quality, etc. The role of the evidence profile is to inform policy and practice but it does only give guidance regarding the clinical efficacy of the interventions. Sweden has built a tradition of comprehensive assessment, meaning that methods are examined from a medical, economic, social and ethical perspective. Therefore, GRADE’s evidence profile is not sufficient to inform policy and practice in a Swedish perspective. The recommendation on the use of the investigated method is the final step in GRADE. This step is performed by a committee of experts in the healthcare system in which the method is intended to be used. A recommendation to use a method shall reflect the committee's belief that the desired effects outweigh the undesirable effects. The degree of confidence, that the most advantageous behaviour is recommended, shall also be indicated as strong or weak. The approach is structured but leaves room for subjective judgments. The recommendation is based on information in the evidence profile, and beyond that on current norms and preferences in the society, and economic aspects. The latter evaluation criteria will vary greatly depending on the country where the evaluation is made. Among other things, assessment of cost-effectiveness is not explicitly required for decision making in all countries but in reality it is not possible to work out recommendations without an element of priority setting. SBU has decided to use GRADE, with some modification, but only to develop an evidence profile. However, SBU attempts to make assessments that analyze all relevant aspects that may be important in decision making and therefore supplements the evidence profile with for example a cost-effectiveness analysis in some cases. Explicit recommendations in support of decision making are asked for in many quarters. GRADE’s methodology does not, to any great extent, facilitate the development of such recommendations. While the working method for developing the evidence profile is comprehensive, significant development efforts still remain regarding the recommendation part of the GRADE system. GRADE’s methodology can contribute to a more structured approach in the assessment of new technologies in health care. However, the methodology needs to approach the actual decision making a bit closer through the development of more objective assessments of values and preferences. Further, methods for priority setting are needed, as we live in a reality where resources for healthcare are limited. GRADE can be used as a platform for discussions and development towards a more comprehensive approach. An interesting progression would be to test the system for synthesis of more different types of knowledge, research as well as practitioner-based, which would make the working method useful for the evaluation and introduction of certain non-pharmacological methods where the traditional study design is not always possible to use