Post on 13-Sep-2018
Méta-analyse
DIU FIEC
François Gueyffier
Service de pharmacologie clinique
UMR5558
francois.gueyffier@univ-lyon1.fr
Objectifs pédagogiques
• Critiquer la méthode de l'avis d'expert comme synthèse de l'information
thérapeutique, par rapport à l'approche méta-analytique
• Connaître les bases de la hiérarchisation des données actuelles de la
science
• Connaître le principe statistique des calculs de MA (regroupement des effets
traitements et non des patients, moyenne pondérée)
• Lire un graphique de méta-analyse
• Interpréter un effet traitement global
• Interpréter un p d’association
• Interpréter les indices d’hétérogénéité
• Connaître les limites des analyses en sous-groupes dans les essais
cliniques
• Lire un funnel plot
• Appliquer les critères de qualité pour juger de la fiabilité des résultats d'une méta-analyse
Différentes approches pour la synthèse des données actuelles de la science
1. Code de déontologie* ET
2. Masse des connaissances
Conduisent à l'obligation d'une synthèse des informations thérapeutiques
Trois approches pour une synthèse Avis d'expert
Revue générale
Méta-analyse
* Art 32 : Dès lors qu'il a accepté de répondre à une demande, le médecin s'engage à assurer personnellement au patient des soins consciencieux, dévoués et fondés sur les données acquises de la science, en faisant appel, s'il y a lieu, à l'aide de tiers compétents.
Nombre d'essais nécessaires pour établir l'efficacité d'une thérapeutique comme un
fait scientifique
Quelques arguments pour justifier la réalisation de plus d'un essai clinique pour répondre à une question thérapeutique : – Le résultat du premier essai n'est-il pas le fruit d'une certaine
"malchance" ?
– Les résultats sont-ils reproductibles dans un autre contexte ?
– Cette reproductibilité permet-elle de généraliser les résultats ?
• Conclusion – Deux essais sont nécessaires pour « valider » une intervention
thérapeutique
• Conséquence – Que faire lorsque les résultats de plusieurs essais sont disponibles ?
Méta-analyse
Définition
Principes de la méta-analyse Séparer les effets observé sur plusieurs essais entre :
L’effet commun
Des effets spécifiques d’essais
Avantages des méta-analyses Reproductibilité
Quantification
Exploration rigoureux de l’hétérogénéité des effets
Introduction du modèle d’effet des indices pertinents pour la méta-analyse
Effets fixes ou aléatoires
Lecture d’un graphique
Critère principal et secondaire dans le cadre d’une méta-analyse
Critères composites dans le cadre d’une méta-analyse
Principe statistique de la méta-analyse
• Regroupement des patients ?
– Attention au paradoxe de Simpson
– Éviter le « pooling » = regroupement naïf
• Regroupement des essais comme unités statistiques
d’estimation de l’effet traitement
• Technique de moyenne ajustée et pondérée
• Pondération par l’inverse de la variance de
l’estimateur
– Règle générale en statistique
– On minimise la variance des estimateurs, pour maximiser la
puissance des tests
Éléments de l’interprétation du graphique de méta-analyse
1. Critère de jugement ?
2. Indice d’efficacité ?
3. Hétérogénéité ? • Graphique / visuelle
• Test… 1. I²
2. Q p d’hétérogénéité
4. Test d’association ? • Seuil ?
5. Pertinence clinique de la grandeur d’effet ?
Les tests modernes pour l’hétérogénéité
• I² : pourcentage de la variabilité globale qui n’est pas liée au hasard. Considérée comme significative à partir de 70% (50% pour certains)
• Tau² = variance du logarithme du vrai effet considéré comme variable aléatoire entre les essais
• On se débarrasse de l’impuissance du p d’hétérogénéité et de la sensibilité au nombre d’étude du test Q
Graph of meta-analysis (CA vs classical antiHTN)
•Presentation by sub-groups
Interprétation
• Test d’hétérogénéité - Probabilité que le résultat soit différent entre les études
- Remise en cause du modèle statistique sous-jacent aux calculs
de la méta-analyse
- Quelle conclusion en tirer ?
• Test de signification - p = Probabilité que le résultat soit compatible avec le hasard
- si p < 0,05, on rejette l’hypothèse que le hasard explique l’effet
observé
- et si p > 0,05 ???
Choix du modèle d’effet sous-jacent
• Effet aléatoire et effet fixe
– il s’agit de l’hypothèse d’hétérogénéité entre essais…
l’hypothèse nulle est raisonnable, entre études, même si la
variabilité biologique de tout effet traitement est une
évidence (variabilité inter-études très faible, au moins sur le
plan clinique).
• Notion d’interaction biologique / arithmétique
– Interaction arithmétique : l’hétérogénéité disparaît avec le
changement d’indice.
Interprétation
• Comment interpréter les résultats suivants: • RR p Ass. p Hétérog. Critère
• 0,92 0,001 0,50 Non contrôle de la PA
• 0,92 0,001 0,50 Mortalité totale
• 0,50 0,05 0,05 Non contrôle de la PA
• 0,50 0,05 0,05 Mortalité totale
• 0,50 0,001 0,5 Mortalité totale
Dimensions à prendre en compte pour interpréter les résultats d’une méta-analyse
Pertinence clinique
Signification statistique de l’association
Signification statistique de l’hétérogénéité
Exemple d’hétérogénéité: AVC, HTA, diurétiques versus bêtabloquants
• Manipulation de l’échelle sur la symétrie des
intervalles de confiance
– Indice multiplicatif (RR, OR): échelle logarithmique
– Indice additif (DR, NPT): échelle arithmétique
• Influence du choix de la méthode à effets fixes ou
aléatoires sur la dimension de l’intervalle de
confiance et la signification du test d’association
Analyse de sensibilité
• Définition
• Argumentaire
– Majoration de la puissance
– Par l’inclusion de données de fiabilité incertaine ou
moindre
• Exemple: AntiHTA après 80 ans, selon le
caractère en double insu ou non
Figure 1 : Treatment effect (relative risk) on stroke
Heterogeneity between trials : p=0.37.
0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2
SHEP
SHEP-pilot
STOP
SYST-EUR
Double-blind trials
Coope
Castel
Open-label trials
TOTAL
(RR=0.64, p=0.01)
(RR=0.85, p=0.75)
(RR=0.67, p=0.01)
Treatment better Control better
Méta-analyse cumulative
• La méta-analyse cumulative montre comment
les résultats s’ « empilent » selon une direction
donnée, le temps.
• Exemple des antihypertenseurs sur la mortalité,
sur l’accident vasculaire cérébral.
• A quelle question répond une méta-analyse
cumulative ?
Funnel plot Exploration du biais de publication
• Mathématiquement, – 1) le nuage est centré sur le vrai effet traitement;
– 2) plus les études sont grandes, plus leur précision augmente
– 3) on peut déterminer des lignes de signification statistique
• les essais NS et / ou négatifs ne sont pas publiés et laissent un creux asymétrique.
• En cas de biais de publication on a un graphique asymétrique et triangulaire.
Funnel plot : example
• There is a suggestion of missing studies on the right-hand-side
of the plot, broadly in the area of non-significance (i.e. the white
area where P > 0.1) for which publication bias is a plausible
explanation
Analyse en sous-groupes, exploration de l'hétérogénéité des résultats
• Les analyses en sous-groupes partagent des inconvénients majeurs : – Perte de puissance, majoration des risques d'erreur
– Multiplication des tests statistiques, consommation du risque alpha
• Il faut donc être méfiant vis-à-vis de leurs résultats, en particulier si – Les analyses sont conduites sur un seul essai
– A fortiori si l'essai est globalement non concluant
• Cependant, l'exploration de l'hétérogénéité des résultats, par l'analyse en sous-groupe, permet de justifier le processus d'extrapolation des résultats
Savoir lire le compte-rendu d'un essai clinique
• Les questions à se poser: – La définition de l'objectif principal, de l'hypothèse à tester, du critère de
jugement principal
– L'adéquation du plan expérimental à l'hypothèse
• Essai comparatif, randomisé avec imprévisibilité, en double insu
– Le calcul du nombre de sujets nécessaires
• Le risque alpha & la puissance a priori
• Le réalisme des fondements du calcul
– Pour un critère de jugement binaire : risque attendu, risque relatif espéré
– Pour un critère de jugement quantitatif: différence attendue, variabilité de la différence
– La définition a priori des analyses complémentaires
– La présentation des résultats
– Savoir se méfier des résumés
Appliquer les critères de qualité pour juger de la fiabilité des résultats d'une méta-analyse
• La recherche bibliographique a-t-elle été exhaustive ?
• L'hypothèse testée par la méta-analyse a-t-elle été formulée avant la collecte des données ?
• Les données ont-elles été extraites par deux lecteurs indépendants ?
• La justesse des données extraites a-t-elle été vérifiée par contact avec les auteurs ?
• Le choix de la méthode d'analyse a-t-il été adéquat ?
• La publication fournit-elle l'ensemble des données extraites qui ont été intégrées dans l'analyse ?
• L'hétérogénéité des résultats a-t-elle été testée ? explorée ?
Connaître les bases de la hiérarchisation des données actuelles de la science
• Niveau de preuve en thérapeutique
– Multidimensionnel (exo : séparer les éléments de validité interne et de
validité externe…)
• Qualité méthodologique des données source
• Multiplicité et concordance des preuves
• Qualité des méthodes de synthèse utilisées
• Pertinence clinique des critères de jugement
• Cohérence entre le résultat de la synthèse et le modèle physiopathologique
et thérapeutique
– L'essai clinique et la synthèse d'essais cliniques par la méta-analyse
constituent les plus haut niveau de preuve
• Niveau de preuve dans les domaines non thérapeutiques
Utiliser les connaissances disponibles pour adapter l'information thérapeutique au profil du patient
• En situation de prévention, sous l'hypothèse du modèle multiplicatif, cette adaptation comporte les étapes suivantes:
– estimer le niveau de risque spontané (Rc) [Épidémiologie]
– estimer le bénéfice relatif moyen (1 - RR) [Méta-analyse]
– vérifier qu'il s'applique à la situation individuelle (recherche
d'interactions?)
– L'interaction est une modification de la quantité d'effet
thérapeutique avec une donnée (caractéristique du patient, durée
du traitement, etc…)
– calculer le bénéfice absolu par
– BA = Rc * BR
– en déduire le nombre de patients à traiter pour prévenir un
accident:
– NPT = 1 / BA
sources
prescripteur = récepteur
intermédiaires
canal indirect
canal direct
divulgation
Modèle élémentaire de l'information thérapeutique
Les sources de plus haute fiabilité pour prescrire le médicament aujourd'hui
• La revue Prescrire (indépendance vis à vis des
industriels du médicament)
• La bibliothèque Cochrane (accès aux
synthèses de qualité des données sources),
mais en anglais, et encore trop peu accessible
pour la pratique
• Avenir : poste informatique d'aide à la
prescription
Utilisation des résultats d’une méta-analyse
• La méta-analyse est-elle plus adaptée qu’un
essai isolé pour répondre à la question de
l’application d’un effet thérapeutique ?
• Deux approches
– Réplication des critères d’inclusion
– Quantification du bénéfice attendu
• Question subsidiaire
– Quel est l’impact de l’absence de représentativité
de la population étudiée sur la validité de
l ’extrapolation des résultats ?
Exemple d'interprétation abusive 1
• Effet des traitements antihypertenseurs sur l'hypertrophie ventriculaire gauche : Schmieder, JAMA, 1996, 275:1507-1513
D IU
B B
C A
IE C
-2 0 ,0 0 % -1 5 ,0 0 % -1 0 ,0 0 % -5 ,0 0 % 0 ,0 0 %
D IU
B B
C A
IE C -13.3%
-9.3%
-5.5%
-6.8%
Exemple d'interprétation abusive 1
• La conclusion des auteurs sur la valeur respective des classes de médicaments est infondée, parce que basée sur – des études non randomisées
– des études non comparatives
– des comparaisons indirectes
Population étudiée
2 groupes statistiquement
similaires
Estimation non biaisée
de l ’effet du traitement
Randomisation
•Suivi en double insu (DI) •Evaluation des critères en DI
•Analyse en ITT
En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?
Les méta-analystes se sont
concentrés sur la régression de
l’HVG seulement sous traitement
= comparaison Avant / Après
Cette approche perd totalement le
bénéfice acquis par la randomisaiton
et un suivi approprié
ILS OBTIENNENT UNE
ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT
En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?
ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT
ESTIMATION CONFONDUE DE
L’EFFET MOYEN DU TRAITEMENT
ENTRE LES ESSAIS
En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?
ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT ESTIMATION CONFONDUE DE
L ’EFFET DU TRAITEMENT
En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?
Estimation non biaisée
de l ’effet du traitement
L ’approche correcte consiste à
grouper les estimations non biaisées
par les phénomènes de confusion
En quoi la majorité des MA sur l ’HVG ne sont pas fiables ?
L ’approche correcte consiste à
grouper les estimations non biaisées
par les phénomènes de confusion
Estimation non biaisée
de l ’effet du traitement Estimation non biaisée
de l ’effet du traitement Estimation non biaisée
de l ’effet du traitement Estimation non biaisée
de l ’effet du traitement Estimation non biaisée
de l ’effet du traitement Estimation non biaisée
de l ’effet du traitement
ESTIMATION NON BIAISEE DE
L’EFFET MOYEN DU TRAITEMENT
ENTRE LES ESSAIS
Messages issus d’une méta-analyse méthodologiquement correcte
• Studies, comparing D, BB, CA and/or ACE inhibitors, suggest
that the reduction of LVM with each of these classes is similar
to the reduction obtained with the other 3 classes statistically
combined
• 4 studies which compared a ACE i and a CA concluded that the
effect on LVM was not significantly different.
• There is evidence, however, that drugs such as minoxidil and
hydralazine, do not reduce left ventricular mass.
• Fagard RH. Neth J Med 1995 Oct;47(4):173-9
Message à retenir sur cet exemple
• La méta-analyse n’est pas un instrument
magique permettant de fabriquer des données
fiables à partir de données non fiables (GIGO)
• La validité interne des données incluses dans la
méta-analyse doit faire l’objet d ’une évaluation
critique soigneuse.
• Rappel: validité interne: adéquation de la
méthode employée pour répondre à une
question donnée.
Exercice d'interprétation The objective of the Beta-Blocker Pooling Project (BBPP) was to determine whether subsets of post-infarction patients benefit to a greater or lesser extent from beta-blocker therapy than the average patient population. One-year all-cause mortality data from nine trials involving 13,679 patients were obtained. Overall, mortality was 24% lower in the beta-blocker group compared to the placebo group. There was heterogeneity among the results of the trials, which tested seven different beta-blockers. Subgroups with high placebo group mortality (e.g. patients with a history of previous myocardial infarction (MI), angina pectoris, mechanical or electrical complications, and digitalis usage) seemed to benefit particularly from beta-blocker treatment. These findings were consistent in the nine trials. There was no evidence that treatment outcome was related to gender, baseline level of heart rate or blood pressure, or time of initiation of treatment after hospital admission.
Exercice d'interprétation
• Beta-blocker Pooling Project : méta-analyse en sous-groupes des essais de prévention secondaire par bêta-bloquants après infarctus du myocarde.
• Hétérogénéité des résultats entre essais ou entre sous-groupes ? – Non significative
• Comment interpréter un tel résultat ? – Preuve que tout les individus ont le même bénéfice ?
– Preuve que tous les bêta-bloquants ont un effet similaire ?
– Preuve d'un effet classe ? • Preuve d'équivalence impossible
• Pas de comparaison directe des bêta-bloquants entre eux
Message à retenir du second exemple
• L’exploration de questions « ancillaires » à
partir des ensembles de données d’essais
cliniques est utile…
– Jeu de données sans pareil pour la mesure de
l ’effet du traitement
• Les réponses obtenues n’ont pas toutes le
même niveau de preuve.
• Typologie des questions soulevées dans une
méta-analyse: quel est le NDP maximal ?
Conclusion
• Les résultats de méta-analyse peuvent être utilisés comme réponse à beaucoup de questions : – Existence d’un effet ?
– Existence de sources de variation d’effet ?
– Test du modèle pour l’extrapolation des résultats ?
– Détermination du moment où un effet significatif a été démontré ?
• Les conditions pour que ces réponses soient fiables et utiles sont : – que les questions soient pertinentes
– que les données analysées soient valides
– que la méthode employée soit adaptée
– qu’elles soient interprétées avec un esprit critique en éveil