Pourquoi la p-value est fausse et produit des faux-positifs

 Parce qu’une p-value est calculée conditionnellement à l’hypothèse nulle étant vraie, elle ne représente pas la probabilité de commettre une erreur de type I dans la situation réelle dans laquelle on se trouve. Lorsqu’elle est interprétée de cette façon, elle surestime systématiquement le « risque de premier ordre ».

Voici le raisonnement précis.

1. Ce qu’est réellement le « risque de premier ordre »

Le taux d’erreur de type I (risque de premier ordre) est :

α=P(rejeter H0∣H0 est vraie)

Il s’agit d’une propriété à long terme, fixée a priori, d’une règle de décision (par exemple : « rejeter si p<0,05»).

Ce n’est pas une probabilité concernant l’expérience en cours.

2. Ce qu’est réellement une p-value

Une p-value est :

p=P(T≥tobs∣H0)

Points clés :

  • Elle est conditionnelle au fait que H0 soit vraie

  • Ce n’est pas P(H0∣données)

  • Ce n’est pas P(erreur de type I)

3. D’où vient la surestimation

L’interprétation courante (mais incorrecte)

« Si p=0,03, il y a 3 % de risque que je commette une erreur de type I. »

C’est faux.

Pourquoi cela surestime le risque de premier ordre

Pour commettre une erreur de type I dans cette expérience, deux conditions doivent être réunies :

  1. H0 est vraie

  2. On rejette H0

Or la p-value suppose déjà que (1) est vraie avec une probabilité égale à 1.

La probabilité réelle de commettre une erreur de type I est :

P(H0∣données)×P(rejeter∣H0, données)

Comme :

P(H0∣données)<1

la p-value exagère nécessairement la probabilité d’avoir tort.

4. Une illustration bayésienne simple

Supposons :

  • Probabilité a priori que H0 soit vraie : 0,5

  • p-value observée : 0,05

Sous des hypothèses raisonnables, la probabilité a posteriori que H0 soit vraie est souvent bien supérieure à 0,05, typiquement de l’ordre de 20 à 40 %.

Donc :

  • p-value = 0,05

  • Probabilité réelle d’erreur de type I ≫ 5 %

Cela est parfois appelé la « fausseté de la p-value » ou relié au risque de faux positifs (Colquhoun, 2014).

Colquhoun, D. (2014). An investigation of the false discovery rate and the misinterpretation of p-values. Royal Society Open Science, 1(140216), 1-16. https://doi.org/10.1098/rsos.140216 

5. Pourquoi cela est inévitable en tests fréquentistes

  • Le cadre fréquentiste n’attribue pas de probabilités aux hypothèses

  • Il contrôle uniquement des taux d’erreur avant d’observer les données

  • Une fois les données observées, la p-value n’a pas de signification décisionnelle directe

La p-value n’est donc pas fausse, mais son interprétation est très souvent erronée.

6. Interprétation correcte

✔ Correct :

« Si l’hypothèse nulle était vraie, des données au moins aussi extrêmes seraient observées avec une probabilité égale à p. »

❌ Incorrect :

« Il y a une probabilité p que je commette une erreur de type I. »

7. Message clé

Les p-values surestiment le risque de premier ordre parce qu’elles :

  • conditionnent sur le fait que H0 soit vraie,

  • ignorent la probabilité que H0 soit fausse,

  • sont confondues avec des probabilités a posteriori.

C’est pourquoi :

  • des p-values très petites (<0.000001) sont nécessaires pour une preuve solide,

  • la réplication est essentielle,

  • des approches bayésiennes ou fondées sur la vraisemblance sont souvent plus informatives.

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Standard error from Hessian Matrix... what can be done when problem occurs

An Hessian matrix is a square matrix of partial second order derivative. From the square-root of the inverse of the diagonal, it is possible to estimate the standard error of parameters. Let take an example: val=rnorm(100, mean=20, sd=5) # Return -ln L of values in val in Gaussian distribution with mean and sd in par fitnorm<-function(par, val) {   -sum(dnorm(val, par["mean"], par["sd"], log = TRUE)) } # Initial values for search p<-c(mean=20, sd=5) # fit the model result <- optim(par=p, fn=fitnorm, val=val, method="BFGS", hessian=TRUE) # Inverse the hessian matrix to get SE for each parameters mathessian <- result$hessian inversemathessian <- solve(mathessian) res <- sqrt(diag(inversemathessian)) # results data.frame(Mean=result$par, SE=res)   library(MASS) (r<-fitdistr(val, "normal")) It works well. However, the inverse of the matrix cannot be calculated if the second order derivative for some paramete...
Lire la suite

stepAIC from package MASS with AICc

Due to a bug in dropterm() and addterm() in package MASS, it is impossible to use AICc with stepAIC() . Here is a solution. Enter these commands and now you can use: stepAIC(g0, criteria="AICc") or stepAIC(g0, criteria="BIC") For example: datax <- data.frame(y=rnorm(100), x1=rnorm(100),                     x2=rnorm(100), x3=rnorm(100), x4=rnorm(100)) g0 <- glm(y ~ x1+x2+x3+x4, data=datax) gx_AICc <- stepAIC(g0, criteria="AICc") gx_AIC <- stepAIC(g0, criteria="AIC") gx_AIC <- stepAIC(g0, criteria="BIC")
Lire la suite

Multivariable analysis and correlation of iconography

Image
Introduction Correlation iconography is a not very well known method to study multivariate data. It was developed long-time ago by Michel Lesty: Lesty M (1999) Une nouvelle approche dans le choix des régresseurs de la régression multiple en présence d'intéractions et de colinearités. La revue de Modulad 22:41-77 It is also well described in a French Wikipedia page: https://fr.wikipedia.org/wiki/Iconographie_des_corrélations After checking the possibilities of this method, I think that it deserves more attention. Let take the example of the wikipedia page: dta <- read.table(text=gsub(",", ".", "Élève Poids Âge Assiduité Note e1 52 12 12 5 e2 59 12,5 9 5 e3 55 13 15 9 e4 58 14,5 5 5 e5 66 15,5 11 13,5 e6 62 16 15 18 e7 63 17 12 18 e8 69 18 9 18"), header=TRUE) > dta   Élève Poids  Âge Assiduité Note 1    e1    52 12.0        12  5.0 2    e...
Lire la suite