Vad kan man göra med en nollhypotes?

Diskutera allmänt om vetenskap, pseudovetenskap och folkbildning, t.ex. vetenskapsteori eller forskningspolitik.
Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » fre 11 okt 2019, 12:36

Crepitus skrev:
sön 11 jan 2015, 00:12
Om allt annat är lika (förutom p-värdena) så är den fördefinierade signifikansnivån (α) förstås också lika i studierna (tex 0.05).
Eftersom signifikansnivån per definition är sannolikheten att felaktigt förkasta nollhypotesen, trots att den är sann, så är denna sannolikhet exakt lika stor i studierna.
”Säkerheten” i förkastandet av nollhypotesen är därför precis lika stor i studierna. Det gäller oavsett vad p-värdena är.

Nedanstående simulering verkar inte hålla med. Nedan har jag simulerat och endast förkastat H0 vid p-värden<0.1 (signifikansnivå 0.1 alltså) och därefter fittat en logitregression. Det verkar som att sannolikheten för rätt beslut har ett negativt samband med p-värdet. Detta fenomen uppstår, som jag skrivit tidigare, eftersom densitetsfunktionen för p-värden under Ha skiljer sig från densitetsfunktionen under H0. Om säkerheten hade varit densamma oavsett p-värde (givet en signifikansnivå) så hade den gröna linjen nedan varit horisontell.

Och för att återigen bli upprepande: jag menar inte att man kan säga någonting om sannolikheten för H0 eller Ha, eftersom sannolikheterna för dessa är antingen 0 eller 1 (dessa sannolikheter behandlas egentligen inte ens inom den frekventistiska ansatsen).

Bild
1 är alltså korrekt förkastande och 0 är felaktigt (typ 1 fel). Som kuriosa kan vi se att felaktigt förkastande ser ut att vara likformigt fördelat, vilket är förväntat eftersom p-värden är likformigt fördelade under nollhypotesen.

Kod: Markera allt

pvalue <- function(M,n,a) {
  Pvalues <- numeric(M)
  Correct <- numeric(M)
  for (i in 1:M) {
    repeat {
      mu <- rbinom(1,1,0.5)
      if (mu==1) {mu <- runif(1,-0.5,0.5)}
      x <- rnorm(n, mu, 1)
      s2 <- sum((x-mean(x))^2)/(n-1)
      T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
      Pvalue <- 2*pt(-abs(T),df=n-1)
      if(Pvalue < a & mu == 0) {Correct[i] <- 0}
      if(Pvalue < a & mu != 0) {Correct[i] <- 1}
      if (Pvalue < a) {break}
    }
    Pvalues[i] <- Pvalue
  }
  fit = glm(Correct ~ Pvalues, family = "binomial")
  newdat <- data.frame(Pvalues=seq(min(Pvalues), max(Pvalues),len=100))
  newdat$Correct = predict(fit, newdata=newdat, type="response")
  plot(Correct~Pvalues, col="red4")
  lines(Correct~Pvalues, newdat,col="green4",lwd=2)
  
  mean(Correct)
}
pvalue(800,50,0.1)
Kortfattat har jag simulerat ett urval om 50 individer, med en sannolikhet på 0.5 från Ha och 0.5 från H0. Därefter har jag beräknat p-värden och enbart behållit de som kommit under signifikansnivån på 0.1 för att sedermera anpassa en logistisk regression och plottat datan.

Jag inser att detta är en typisk dålig metod att föra fram min poäng. Att jag visar att detta är fallet just här säger ju inget om mitt antagandes almänna giltighet. Jag bör ju leta evidens mot mitt påstående. Ska försöka.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » fre 11 okt 2019, 13:19

Inne i skrivarmode så jag postar en hypotetisk frågeställning. Anta att vi har två tärningar och vi vet att den ena är viktad att enbart visa femmor och den andra är en vanlig tärning. Vi kastar 3 kast och bägge visar enbart femmor. Sannolikheten för detta är 1 för den viktade tärningen och (1/6)^3 för den vanliga. I detta fall kan vi inte avgöra vilken som är viktad.

Om vi däremot upprepar detta test 1.000.000 gånger så förväntas den vanliga tärningen visa tre femmor (1/6)^3 av gångerna, medan den viktade visar tre femmor under alla försök. Om vi då undersöker hela utfallsrummet av tre femmor så förväntas det uppstå totalt 1.004.630. Av dessa förväntas 4630 kastas av den vanliga tärningen och övriga miljonen av den viktade.

Detta illustrerar att av alla möjliga positiva resultat så kommer 1.000.000 av 1.004.630 från den viktade tärningen. Vi kan därmed säga att om vi får ett positivt resultat i ett test med en tärning så kan vi vara rätt säkra på att tärningen är viktad (förutsatt att vi vet att vi eventuellt har med viktade tärningar att göra). Har vi ingen anledning att tro att det ska vara en viktad tärning så är det rätt dumt att utgå från att vi har dragit en korrekt slutsats.

Poängen är väl att om den data vi observerar är lite, lagom, eller mycket mer sannolik under Ha jämfört med H0 så kan vi indirekt använda detta i klassisk hypotestestning. Om det nu vore så att p-värdet inte har ett inverst samband med sannolikheten att dra en korrekt slutsats så skulle sannolikheten att dra rätt slutsats vara lika stor vid p-värden på 0.00001 som vid 1 vid en signifikansnivå på 1.

Ponera att det öppnar upp en tidsskrift som enbart tillåter studier med signifikansnivå 1. Det kommer in studier med p-värden mellan i princip 0 och andra studier med värden väldigt nära 1. Alla förkastar nollhypotesen. Jag vill påstå att andel korrekta slutsatser skulle vara större bland studierna med p-värden kring 0.0000001 än bland de studier med p-värden nära 1.

Exempel 2: Om p-värden inte är inverst relaterat till säkerheten i sin utsaga skulle man vara lika säker på sin slutsats i dessa två följande test. Kasta en tärning två gånger och testet resulterar i två femmor på raken - beräkna p-värdet. Förkasta nollhypotesen. Kasta en annan tärning 1 miljard gånger och notera en miljard femmor - beräkna p-värdet. Förkasta nollhypotesen. Vilken av tärningarna är vi mer säkra på att vi dragit rätt slutsats om?
Nu är då och framtiden är för alltid!

Skriv svar