Recent werd het 8ste artikel in de GRADE Guidelines serie gepubliceerd in de Journal of Clinical Epidemiologie (Guyatt, 2011). Piet Post is mede-auteur van dit artikel over indirectness. Zoals elders op mijn website beschreven gaat GRADE  in eerste instantie uit van de studieopzet, waarna vijf factoren de kwaliteit van het bewijs omlaag kunnen graderen. De andere factoren zijn beperkingen in de studieopzet, imprecisie, inconsistentie en vertekening door onvolledige rapportage.

Indirect bewijs
Er is sprake van indirect bewijs wanneer het wetenschappelijk bewijs uit studies komt die belangrijke verschillen vertonen met waar we eigenlijk in geïnteresseerd zijn. Er zijn vier vormen van indirect bewijs:

1. De patiënten in de studie kunnen verschillen van de bedoelde populatie.
Zo is het onzeker of een medicijn dat effectief is gebleken bij volwassenen ook effectief is bij kinderen. Het bewijs zou in dat geval omlaag worden gegradeerd. Minder extreme verschillen in populaties hoeven lang niet altijd te leiden tot omlaag graderen van het bewijs. In het algemeen zou men niet omlaag hoeven te graderen voor verschillen in populaties, tenzij er een zwaarwegende reden is om aan te nemen dat de werking van de interventie in de populatie waarin men is geïnteresseerd substantieel verschillend is. Vaak zullen bevindingen uit trials met geselecteerde populaties dus wel generaliseerbaar  zijn.

2. De gebruikte interventie kan verschillen
Zo is het mogelijk dat het bewijs over de effectiviteit van een chirurgische behandeling uitsluitend van studies komt die deze behandeling in gespecialiseerde hoog volume  centra evalueerden. Wanneer men wil weten of deze behandeling in algemene ziekenhuizen is aan te bevelen, kan men het bewijs op grond hiervan als van lagere kwaliteit beoordelen.

3. De gerapporteerde uitkomsten kunnen verschillen van de uitkomsten die we belangrijk achten.
Dit is een belangrijke vorm van indirect bewijs. De GRADE methodiek  beveelt aan om vooraf aan de uitvoering van een systematische review vast te stellen wat de belangrijke uitkomsten zijn die van belang zijn bij de afweging hierbij. Zo wordt in trials die het effect van medicamenten bij osteoporose onderzoeken vaak de botdichtheid gerapporteerd. Een toename van de botdichtheid is een vorm van effectiviteit. Maar waar men echt in is geïnteresseerd is of het medicijn ook leidt tot een vermindering van het aantal botbreuken. De gemeten verandering in de botdichtheid wordt ook wel een surrogaatuitkomst genoemd. Een ander voorbeeld van deze vorm van indirect bewijs is dat uit een recente systematisch review blijkt dat griepvaccinatie het optreden van virologisch bevestigde influenza vermindert. Dit vormt echter slechts indirect bewijs dat de ziektelast daadwerkelijk verminderd wordt (Osterholm, 2011).

De GRADE methodiek benadrukt dat het gaat om uitkomsten die voor de patiënt belangrijk zijn. Dit is van belang, omdat in het verleden regelmatig onjuiste aanbevelingen zijn gemaakt op basis van dit soort indirect bewijs. Een bekend voorbeeld hiervan is de behandeling van hartritme stoornissen met de anti-arrhytmica flecainide en encainide , die ventriculaire tachycardieën na een hartinfarct zouden reduceren (Mason en Peters, 1981). In een studie die naar voor de patiënt belangrijke uitkomsten keek, bleken deze middelen echter te resulteren in een meer dan tweemaal verhoogde kans (RR 2.64; CI 1.60-4.36) op plotselinge hartdood of hartstilstand (Echt, 1991).

4. Indirecte vergelijkingen
Een bijzondere vorm van indirect bewijs treedt op wanneer we willen kiezen tussen twee interventies, maar er geen onderzoek met directe vergelijkingen tussen de 2 interventies beschikbaar is. Wanneer uit onderzoek van goede kwaliteit blijkt dat middel A leidt tot een reductie van 10% en middel B een reductie van 30% is het verleidelijk om aan te nemen dat middel B effectiever is dan middel A. De beschikbare trials met indirecte vergelijkingen tussen de verschillende middelen die bij patiënten met osteoporose beogen de kans op botbreuken te reduceren laten bijvoorbeeld zien dat deze vergelijkingen vaak mank gaan. De trials includeerden namelijk verschillende groepen patiënten (patiënten met alleen een lage botdichtheid; patiënten met lage botdichtheid of wervelfracturen, etc), waarbij de ene groep meer zal reageren op behandeling dan de andere groep. Daarnaast bleek de gebruikte definitie van een wervelfractuur en van een niet-wervelfractuur sterk te verschillen (in de ene studie werden alleen ‘osteoporotische fracturen’ geteld en in de andere alle fracturen, etc). De verschillen in effectiviteit, die tussen de verschillende middelen lijken te bestaan, zouden daarom verklaard kunnen worden door de verschillen in de opzet van de trials en (Sebba, 2009).

Wanneer lagere kwaliteit van bewijs?

  • Wanneer directe vergelijkingen tussen medicamenten niet beschikbaar zijn, maar gebruik moet worden gemaakt van indirecte vergelijkingen, dient de kwaliteit van bewijs omlaag te worden gegradeerd.
  • Wanneer substantiële verschillen worden waargenomen tussen de bestudeerde populatie of interventie en die waarin men is geïnteresseerd, is de kwaliteit van het bewijs mogelijk lager, maar dit vereist een zorgvuldige inschatting.
  • Bij indirect bewijs als gevolg van indirecte (of surrogaat-) uitkomsten is een lagere kwaliteit van bewijs bijna altijd gerechtvaardigd.

Meer over dit onderwerp is in het artikel te lezen via de website van de Journal of Clinical Epidemiology

Literatuur
Echt DS, Liebson PR, Mitchell LB, Peters RW, Obias-Manno D, Barker AH, Arensberg D, Baker A, Friedman L, Greene HL, et al. Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The Cardiac Arrhythmia Suppression Trial.) N Engl J Med. 1991 Mar 21;324(12):781-8.

Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, Alonso-Coello P, Falck-Ytter Y, Jaeschke R, Vist G, Akl EA, Post PN, Norris S, Meerpohl J, Shukla VK, Nasser M, Schünemann HJ; The GRADE Working Group. GRADE guidelines: 8. Rating the quality of evidence-indirectness. J Clin Epidemiol. 2011 ;64(12):1303-1310.

Mason JW, Peters FA. Antiarrhythmic efficacy of encainide in patients with refractory recurrent ventricular tachycardia. Circulation. 1981 Mar;63(3):670-5.

Osterholm MT, Kelley NS, Sommer A, Belongia EA. Efficacy and effectiveness of influenza vaccines: a systematic review and meta-analysis. Lancet Infect Dis. 2011 Oct 25.

Sebba A. Comparing non-vertebral fracture risk reduction with osteoporosis therapies: looking beneath the surface. Osteoporos Int 2009;20:675e86