Vad kan man göra med en nollhypotes?

Diskutera allmänt om vetenskap, pseudovetenskap och folkbildning, t.ex. vetenskapsteori eller forskningspolitik.
Användarvisningsbild
micke.d
Forummoderator
Inlägg: 13376
Blev medlem: tis 05 jan 2010, 19:02
Ort: Ultima Thule

Re: Vad kan man göra med en nollhypotes?

Inlägg av micke.d » ons 17 dec 2014, 15:44

Kan det möjligen vara så att Englund inte menar att p-värdet säger något kvantitativt om hypotesernas sannolikhet, men att det ändå kvalitativt säger något om detta?

Det vill säga att ett p-värde på exempelvis 0.001 inte säger att någon hypotes har sannolikhet 0.001, men att det ändå säger att nollhypotesen har låg sannolikhet och kan förkastas?
Hädanefter kallar jag dem Daesh.

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » ons 17 dec 2014, 17:30

Crepitus skrev:Den här tråden bjuder onekligen på viss komik Englund.
Englund sid 7; 12:43 skrev: Om p-värdet inte kan användas som mått på sannolikheten att H0 är sann så skulle det aldrig fylla någon som helst funktion över huvud taget att utföra hypotestest.
Englund sid 8; 12:15 skrev:Vi kan inte säga något om H0 eller HA's "trolighet"/sannolikhet.
Får jag fråga, varför gör du hypotestest?
Du vet mycket väl att jag reviderat det först citerade ovan. Det gäller att hålla tungan rätt i mun. Återigen, hypotestest utförs för att få ett mått på säkerheten i slutsatsen!
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » ons 17 dec 2014, 17:48

Ursäkta att jag tjatar. Exakt vad menar du att slutsatsen i ett statistiskt hypotestest är?
Handlar slutsatsen om nollhypotesens förkastande?
Eller rör slutsatsen på något vis nollhypotesens och/eller alternativhypotesen sannolikhet?
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 18 dec 2014, 07:31

Crepitus skrev:Ursäkta att jag tjatar. Exakt vad menar du att slutsatsen i ett statistiskt hypotestest är?
Vad bra att du frågar igen, på riktigt alltså. Jag hade tänkt komma med ett förslag om att vi börjar om, mer eller mindre. Jag återkommer inom ett par dagar med mer precisa definitioner på vad jag menar.
Crepitus skrev:Handlar slutsatsen om nollhypotesens förkastande?
Ja. Jag menar att p-värdet är ett mått på den säkerhet vi har när vi förkastar nollhypotesen. Jag har en klar bild framför mig nu hur jag kan visa på ett än tydligare sätt via simulering att ju lägre p-värde, desto säkrare blir slutsatsen att H0 är falsk.
Crepitus skrev:Eller rör slutsatsen på något vis nollhypotesens och/eller alternativhypotesen sannolikhet?
Nej, det gör den inte! Inte i normalfallet i alla fall där p-värdet är större än 0, vilket alltid är fallet om variabelns densitetsfunktion är kontinuerlig.

Jag kan väl i denna post börja med att fortsätta trycka på att om p-värdet är noll, så vet vi med 100% säkerhet att nollhypotesen är falsk. Jag exemplifierade med följande exempel tidigare (skriver om lite nu, så det är inte ett exakt citat)
Englund skrev:Vi har fyra bollar i en låda. Den exakta samplingfördelingen för antalet blå bollar i ett sample på tre följer nedan, givet nollhypotesen om att där är två röda och två blå bollar:

P(X=0) = 0
P(X=1) = 1/2
P(X=2) = 1/2
P(X=3) = 0

Om vi då sätter H0 till det är två stycken blå bollar i lådan, samtidigt som vi sedan observerar tre blå bollar så får vi ett p-värde på 0. Det vill säga att sannolikheten att få det sample vi fick, eller extremare, är 0 under nollhypotesen. Alltså, om H0 är sant (det är två blå bollar i lådan) så är det omöjligt att observera tre blå bollar i ett slumpmässigt urval av tre bollar. Ergo: p-värdet blir noll. Jag vet att du tidigare kommit med några invändningar angående detta exempel, men detta är faktiskt en korrekt och legitim användning av p-värde.
Varför nollhypotesen måste vara falsk om p-värdet är lika med 0? Well, begrunda följande:

Sannolikheten att observera 7 sidor på en slumpmässigt vald tärning givet nollhypotesen att alla tärningar har max 6 sidor är 0. Så om vi observerar en tärning med 7 sidor så har vi uppnått ett p-värde lika med 0. Alltså vet vi med 100% säkerhet att alla tärningar inte alls har max 6 sidor, för vi skulle inte kunna observera någon tärning med 7 sidor om alla tärningar skulle haft färre än 7 sidor. Detta är också en legitim använding av p-värde. I logisk sats:

Om S är omöjlig att uppnå givet att H är sann, så:
S uppnås (p-värde = 0) --> H falsk ... Eftersom S är omöjlig att uppnå om H är sann.

Ett mer vardagligt exempel kommer här*:

Om det är omöjligt att flygplanet störtar (S) givet att flygplanet inte störtar (H) så kan vi dra slutsatsen att hypotesen (H) är falsk om planet störtar. Hypotesen att planet inte störtar är alltså felaktig om vi i vårt data observerar** att planet störtar. Detta följer per modus ponens.

*Det finns säkert någon filosofisk fallgrop i detta argument, men jag känner mig väldigt säker på att poängen framgår tydligt.
**Jag passar också på att reservera mig för observationsfel. Att vi observerar att planet störtar betyder alltså i detta fall att planet verkligen störtar.
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » tor 18 dec 2014, 22:13

Englund sid 9; 031 skrev: …ju lägre p-värde, desto säkrare blir slutsatsen att H0 är falsk.
Det påståendet är dessvärre fortfarande inkorrekt.

Tyvärr kan inte p-värdet omvandlas till något vederhäftigt som rör slutsatser om H0 eller HA är sanna/falska/sannolika/osannolika/troliga eller liknade.
P-värdet kan heller inte säga något om slutsatserna om H0 eller HA är ”säkra” eller ej, eftersom ordet "säker" syftar på begreppen ovan.


Ditt påstående går ju att motbevisa med ett enkelt exempel.

Säg att vi har en nollhypotes.

Vi testar den och kommer fram till att p-värdet är extremt lågt.
Det är p<0.0000001

Nollhypotesen förkastas förstås.
Enligt den logik du föreslår ovan så kan vi vara extremt säkra att H0 är falskt, eller hur?!

Nu ska jag avslöja vad H0 var.




H0 =neutriner kan inte färdas snabbare än ljuset

Hur stor är sannolikheten att H0 stämmer (Bayesiansk tolkning)? Den är extremt hög eller hur!, på goda empiriska och teoretiska grunder eftersom Einsteins speciella relativitetsteori stipulerar att inget kan accelerera över ljusets hastighet.

Det här är ju ett exempel taget ifrån verkligheten.


Trots att p-värdet P (D|H0) var väldigt lågt (och nollhypotesen kunde förkastas i testet) var sannolikheten att nollhypotesen stämde i verkligheten P(H0|D) ännu högre.
Ett simpelt experiment är helt enkelt inte tillräckligt för att rubba relativitetsteorin.

P-värdet är ett mått på om nollhypotesen kan förkastas. P-värdet är inte (och kan av fundamentala skäl inte vara...) ett mått på om nollhypotesen är sann eller ej (för vi har redan antagit att den är sann).
Falk & Greenbaum skrev: Unfortunately, the conclusion that, given a significant result, H0 becomes improbable is not generally true.
When we obtain data, D, such that P (D|H0) is low, it does not imply that P(H0|D) is also rendered sufficiently low to warrant rejection of H0. In fact, P(H0|D) may be quite high….
…The belief that obtaining data in a region whose conditional probability under a given hypothesis is low implies that the conditioning hypothesis is improbable is a fallacy.
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
kaxiga Z
Forummoderator
Inlägg: 17568
Blev medlem: tor 21 jun 2007, 07:44

Re: Vad kan man göra med en nollhypotes?

Inlägg av kaxiga Z » fre 19 dec 2014, 23:23

Förkasta och acceptera är praktiska verb.
Vetenskaplig metod är något man ofta kommer överens om. ISO.
p =/< 0,05 osv.

"Slumpen får ge detta värde vid som mest vart tjugonde liknande test, för att du ska få publicera en artikel i denna tidskrift och påstå detta."

Användarvisningsbild
matsw
Inlägg: 7263
Blev medlem: fre 10 feb 2006, 23:20

Re: Vad kan man göra med en nollhypotes?

Inlägg av matsw » fre 19 dec 2014, 23:52

Crepitus skrev: Säg att vi har en nollhypotes.

Vi testar den och kommer fram till att p-värdet är extremt lågt.
Det är p<0.0000001

Nollhypotesen förkastas förstås.
Enligt den logik du föreslår ovan så kan vi vara extremt säkra att H0 är falskt, eller hur?!

Nu ska jag avslöja vad H0 var.




H0 =neutriner kan inte färdas snabbare än ljuset

Hur stor är sannolikheten att H0 stämmer (Bayesiansk tolkning)? Den är extremt hög eller hur!, på goda empiriska och teoretiska grunder eftersom Einsteins speciella relativitetsteori stipulerar att inget kan accelerera över ljusets hastighet.

Det här är ju ett exempel taget ifrån verkligheten
Meh. Nu blandar du ihop äpplen o päron. Sanning var ju att p inte alls var så låg.
det väsentliga är inte vad man vet utan hur man vet det.

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » lör 20 dec 2014, 17:35

matsw skrev:Meh. Nu blandar du ihop äpplen o päron. Sanning var ju att p inte alls var så låg.
Missförstår jag dig? Eller missförstår du mig? Din invändning är min poäng!

Äpplet (p-värdet) kan inte vara ett mått eller slutsats på frågor som rör päronen (H0/HA). Det är logiskt omöjligt. Men det är det som Englund hävdar.

Det enda sättet att uppskatta P(H|D) (det som du antagligen menar med ”p” ) är att tillämpa Bayesiansk metod.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » sön 21 dec 2014, 23:07

Crepitus skrev:Tyvärr kan inte p-värdet omvandlas till något vederhäftigt som rör slutsatser om H0 eller HA är sanna/falska/sannolika/osannolika/troliga eller liknade.
P-värdet kan heller inte säga något om slutsatserna om H0 eller HA är ”säkra” eller ej, eftersom ordet "säker" syftar på begreppen ovan.
Där har du fel, det är ju just detta p-värdet är till för; för att få ett mått på säkerheten i slutsatsen. Som vi redan är överens om så kan ett p-värde inte användas som sannolikhet för H0=sann. Jag tror att Kaxiga Z skrev det nedanstående i en tidigare post, men då insåg jag inte att det argumentet räckte till som argument för varför slutsatsen blir säkrare ju lägre p-värdet är; men det gör det ju!

Om vi antar en asymptotisk position i frågan och leker med tanken att antalet hypotestest går mot oändligheten; om vi i ena fallet förkastar nollhypotesen vid p-värde < 0.01 och i det andra fallet förkastar H0 vid p-värde < 0.10 så kommer vi att felaktigt förkasta H0 fler gånger i det sistnämnda fallet. Eller med andra ord: Sannolikheten för att vi drar den felaktiga slutsatsen att H0 är falsk blir lägre för lägre p-värden. Under HA är den slutsatsen korrekt i 100% procent av fallen och under H0 är den slutsatsen korrekt 0 % av fallen, men andelen gånger vi drar den slutsatsen rör sig proportionerligt mot signifikansnivån. Det är detta jag menar med att slutsatsen blir säkrare desto lägre p-värdet är. Ber om ursäkt för om det inte framgått tydligt tidigare att detta är min ståndpunkt. Eller så insåg jag att detta var min ståndpunkt nu och att jag tidigare gjorde frågeställningen svårare än vad den var.
Crepitus skrev:P-värdet är ett mått på om nollhypotesen kan förkastas. P-värdet är inte (och kan av fundamentala skäl inte vara...) ett mått på om nollhypotesen är sann eller ej (för vi har redan antagit att den är sann).
Nu lägger du ord i min mun. Jag påstår inte att det är ett mått på sannolikheten för H0/HA, och de gånger jag råkat påstå det så har jag reviderat det så snart jag insett min felaktiga formulering. Den enda gången p-värdet är ett mått på sannolikheten för H0/HA är när p-värdet är lika med noll, vilket jag visat med några enkla exempel. Om vi får en sjua med ett tärningskast så vet vi att H0: det finns ingen sjua, är felaktig. Slutsatsen tärningen har en sjua är korrekt med 100% sannolikhet, givet att observationen är korrekt vilket vi utgår från att den är i denna lite mer teoretiska diskussion.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » mån 22 dec 2014, 02:48

Nedan visas en liten simulering som visar att ju lägre p-värde desto säkrare blir slutsatsen att H0 är falsk. Det vi också kan se genom denna simulering är att p-värdet inte är ett mått på sannolikheten att H0 är falsk, vilket vi är överens om. I denna uppsättning satte jag P(H0) = 0.9 och P(HA) = 0.1 och denna punkt skärs om man sätter signifikansnivån till ungefär 0.05. Det denna simulering visar är att ju lägre signifikansnivå desto större är sannolikheten att slutsatsen att H0 är falsk är korrekt om p-värdet blir lägre än signifikansnivån. Så, återigen, p-värdet är inte ett mått på sannolikheten att H0 är falsk, men det finns ett negativt samband mellan P(Slutsats att H0 är falsk = korrekt) och p-värdet.

Denna simulering är egentligen samma som jag redovisade på sidan 8, men redogör på ett tydligare sätt det negativa sambandet mellan p-värde och P(Slutsats att H0 är falsk = korrekt). Detta samband existerar p.g.a. att sannolikhetsfördelningen av p-värdet är snedfördelat mot 0 under HA, men likformigt fördelat under H0.

Bild

Kod: Markera allt

pvalue <- function(M,n,D) {
  Pvalue <- numeric(M); False <- numeric(M); ShareFalse <- numeric(D)
  mu <- rbinom(M,1,0.1)
  for (a in 1:D) {
    for (i in 1:M) {
      if (mu[i]==1) {mu[i] <- runif(1,-0.5,0.5)}
      x <- rnorm(n, mu[i], 1)
      s2 <- sum((x-mean(x))^2)/(n-1)
      T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
      Pvalue[i] <- 2*pt(-abs(T),df=n-1)
      if(Pvalue[i] < a/100 & mu[i] == 0) {False[i] <- 1}
      if(Pvalue[i] < a/100 & mu[i] != 0) {False[i] <- 0}
      ShareFalse[a] <- mean(False)
    }
  }
  plot(ShareFalse,xlab="Signifikansnivå",ylab="Andel felaktiga slutsatser",type="l",ylim=c(0,0.5))
}
pvalue(10000,50,10)
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » ons 24 dec 2014, 00:08

Ignorera simuleringen ovan, den blev lite knasig. Nedan följer ett resultat när kodningen är korrekt. Poängen och slutsatsen är i alla fall densamma som vid förra inlägget.

När signifikansnivån är 1 så dras alltid slutsatsen förkasta H0 och i det läget ser vi att andelen felaktiga slutsatser är 0.9, vilket är förväntat eftersom P(HA) = 0.1. Vi ser också att ju lägre signifikansnivå, desto större andel av slutsatserna blir korrekta.
Bild
Bild

Kod: Markera allt

pvalue <- function(M,n,D) {
  Pvalue <- numeric(M); False <- numeric(M); ShareFalse <- numeric(D)
  for (a in 1:D) {
    for (i in 1:M) {
      repeat {
        mu <- rbinom(1,1,0.1)
        if (mu==1) {mu <- runif(1,-0.5,0.5)}
        x <- rnorm(n, mu, 1)
        s2 <- sum((x-mean(x))^2)/(n-1)
        T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
        Pvalue <- 2*pt(-abs(T),df=n-1)
        if(Pvalue < a/100 & mu == 0) {False[i] <- 1}
        if(Pvalue < a/100 & mu != 0) {False[i] <- 0}
        if (Pvalue < a/100) {break}
      }
    }
    ShareFalse[a] <- mean(False)
  }
  plot(ShareFalse,xlab="Signifikansnivå",ylab="Andel felaktiga slutsatser",type="l",ylim=c(0,1))
}
pvalue(3000,50,100)
OBS. Figurerna ovan är inte en exakt spegelbild av varandra eftersom jag körde två olika simuleringar och jag glömde att sätta ett fixed seed.
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » fre 26 dec 2014, 10:53

God fortsättning Englund! Ursäkta att svaret dröjt. Lite knäck och annat kom emellan.
Englund sid 9: 02:48 skrev:Nedan [dvs ovan, min anmärkning] visas en liten simulering som visar att ju lägre p-värde desto säkrare blir slutsatsen att H0 är falsk.
Nej, det visar den ju inte. Det framgår klart och tydligt av axlarna i dina grafer att du visar att det finns ett samband mellan signifikansnivån och risken att göra typ-1 respektive typ-2 fel.

Det är förstås inget bevis för ditt påstående att det finns ett samband mellan p-värdet och slutsatsen att H0 är falskt. P-värde och signifikansnivå är två helt skilda saker och sannolikheten att H0 är sann/falsk är något annat än "error probabilites".

Jag underkänner din simulering som bevis för ditt påstående.

Jag återkommer med argument, men först mer knäck!
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » mån 29 dec 2014, 11:46

Englund, sid 8; 14:59 skrev:Detta betyder alltså att ju lägre p-värde vi observerar desto säkrare slutsatser kan göras angående nollhypotesens vara eller icke vara, och därmed alternativhypotesens.
Englund, du har påstått flera saker om hur p-värdet bör tolkas. En del har du tagit tillbaka, men även ditt senaste förslag (ovan) är i grunden fel.
Du påstår att det finns ett samband mellan p-värdet och ”säkerheten” i slutsatsen rörande H0 (och därmed alternativhypotesen).

Påståendet är med andra ord att p-värdet i sig är en form av evidensmått mot H0.
Du skriver att ju lägre p-värdet är, desto säkrare slutsats mot nollhypotesen.
Således en studie med p=0.00002 ger enligt dig en ”säkrare” slutsats att H0 är falsk, än en studie där p=0.04.

Jag ska ge ett par olika argument varför denna tolkning är orimlig.


Jag har delat upp argumenten under rubriker:


Säkerhet/sannolikhet
Den första invändningen är rent semantisk.
Du påstår att slutsatsen är ”säkrare” ju lägre p-värdet är. Ordet "säker" är en revidering från ditt tidigare påstående att "ju lägre p-värde vi observerar desto troligare är det att alternativhypotesen är sann”. (sid 8 11:20)

Ordet ”säkrare” är en omskrivning för vad vi menar med ”troligare” eller ”mer sannolikt”. En ”säker” slutsats har helt enkelt större sannolikhet att vara sann än en osäker slutsats.
(Ordet säkerhet används ibland i statistiken i bemärkelsen ”precision” och återger då ”säkerheten” i utfallet i form av ett konfidensintervall. P-värden redovisas dock inte på detta vis och kan inte heller tolkas som mått på säkerhet.)

Begreppen säkerhet/sannolikhet måste klargöras för att inte grumla diskussionen.
Om du inte håller med om att säkerhet syftar på sannolikheten för H0 så måste du förklara vad säkerhet betyder i relation till H0.


P-värdet är inte en sannolikhet för H0, men är ändå det på något vis
Jag förstår att du menar att p-värdets siffror inte direkt motsvarar sannolikheten att H0 är falsk (det är vi eniga om).
Men när du skriver att ett lägre p-värde ger en ”säkrare” slutsats rörande H0, så är innebörden att p-värdet de facto kan förstås som ett sannolikhetsmått/säkerhetsmått mot H0, om än på en annan skala än p-värdet självt.
Snurrigt? Ja, absolut, men det är det du påstår.
Om ditt resonemang ska fungera så transformeras p-värdet (som gäller under antagandet att H0 är sant) via en hittills en okänd matematisk funktion till en sannolikhet av betydelse för H0.
P-värdet kan alltså enligt dig, utifrån någon ordinal/rangordningskvalitet, tolkas som en bayesiansk posteriorisannolikhet för H0 giltighet.

Detta var så som jag beskrev illusionen:
Crepitus, sid 8; 10:12 skrev:Illusionen är att p-värdet på något vis, trots att det bygger på antagandet att H0 är sant, samtidigt är ett mått på det samma.
Tunga argument/referenser påstår (se sid 8, 10:12) att detta sätt att resonera är fundamentalt fel. Ett felslut. Du har inte bemött dessa argument.

Här är några till citat, saxade från Wikipedias hemsida om p-värden och hur dess betydelse ofta misstolkas:
Wikipedia, p-value, misunderstandings skrev: The p-value does not in itself allow reasoning about the probabilities of hypotheses
Wikipedia, p-value, misunderstandings skrev: The p-value is not the probability that the null hypothesis is true, nor is it the probability that the alternative hypothesis is false – it is not connected to either of these.
In fact, frequentist statistics does not, and cannot, attach probabilities to hypotheses
. Mina fetningar
De här citaten är djupt problematiska för din ståndpunkt. De påstår att man inte kan resonera på det vis du gör.
Vad är din kommentar till det?


Kan man med observationer motbevisa ett axiomatisk antagande?
Jag påstod (sid 7: 10:34) att det är orimligt att anta att något är sant (nollhypotesen) och sedan under detta antagande få fram en siffra som på något vis är mått på ”säkerheten” om antagandet stämmer.
Någon av forumets matematiker/logiker/statistiker får gärna kommentera detta.
Kan man, som Englund påstår, verkligen motbevisa ett axiomatiskt antagande inom ett system? Det måste vara en form av logiskt ogiltig självreferens anser jag.

Ditt exempel Englund (sid 9, 07:31): om vi i en värld där det bara finns sexsidiga tärningar ändå lyckas finna en tärning med sju sidor, känns föga övertygande.
Och det faktum att när P(D|H0)=0, sammanfaller med P(H0|D)=0, är ju inget bevis för att den andra sannolikheten beror på den första.
I synnerhet inte eftersom vi är överens att en sådan direkt tolkning av p-värdet som posteriorsannolikhet för H0 är principiellt fel i alla andra sammanhang.



Öka stickprovsstorleken som metod för ”säkrare slutsats”

En annan invändning mot p-värdet som evidensmått är att vi i princip alltid kan skaffa oss ett lägre p-värde om vi vill.
Detta beror på att de flesta teststatistikor, som p-värdet följer, inte enbart beror på om datan devierar från en tänkt nollhypotes utan även på stickprovets storlek.
Vill du ha ett lägre p-värde, öka bara stickprovets storlek!

När man till exempel undersöker om det finns en genomsnittsskillnad eller korrelation mellan två variabler i två jämförda populationer så kan man på goda grunder utgå från att en genomsnittsskillnad eller en korrelation aldrig är exakt =0.
Nilhypotesen stämmer aldrig, se kommentar tidigt i tråden. Detta betyder att med ökad stickprovsstorlek kan vi alltid förkasta nollhypotesen.

Ett exempel: min hypotes är att vänsterhänta och högerhänta människor är olika långa (vi utgår från att detta inte stämmer, de finns inget verkligt samband mellan dominant hand och kroppslängd säger vi).
Om vi beräknar medellängden på vänsterhänta och högerhänta så kommer vi ändå finna att de genomsnittligt är olika långa, om inte på centimeterskalan så kanske på millimeterskalan. Eller på mikrometerskalan i alla fall.
Om vi bara ökar stickprovets storlek så uppnår vi statistisk signifikans till slut. Se Cohens artikel sid 1000 för utförligare resonemang om detta.

Detta är i strikt meningen inte ett argument mot metoden som sådan (beräkningen av p-värden).
Däremot är det ett argument att p-värden ensamt inte kan tolkas som effektmått/mått på stöd för eller mot någon hypotes, eftersom ett signifikant p-värde inte kan diskriminera mellan det som är intressant (statistiskt och kliniskt signfikant) från det som är ointressant (statistiskt signifikant men kliniskt ointressant.)
En statistisk signifikant längdskillnad mellan höger/vänsterhänta på 0.2 mm (p<0.0001) skulle kunna vara ett exempel på det senare.



Tolkningen av p-värden utgör ”säkerhet” för slutsatsen kan inte göras utan förståelse hur datan samlats in
Här kommer ett tyngre argument i det orimliga i påståendet: ”ju lägre p-värde vi observerar desto säkrare slutsatser”

Tänk att vi drar slumpmässiga urval på 2000 individer ur en population för att undersöka om det finns ett samband mellan två variabler: A och B, respektive A och C.
Nollhypoteserna i respektive fall är inget samband.

I det första fallet är det en forskargrupp som drar ett stickprov och gör en analys efter konstens alla regler och finner ett samband mellan A och B där p<0.05 och publicerar detta.

I det andra fallet så undersöker tusen olika olika forskargrupper om det finns ett samband mellan A och C. De gör alla slumpmässiga urval (vart och ett på n=2000) från samma population som första exemplet. Endast en av de 1000 forskargrupperna finner ett statistiskt signifikant samband mellan A och C, p<0.0001 och publicerar detta. De 999 andra forskargrupperna avstår från publicering av de negativa fynden.

Enligt den logik du argumenterar för så kan vi baserat på p-värdets storlek i de två publicerade studierna vara mer säkra på att det finns ett verkligt samband mellan A och C än att vi kan vara säkra på att det finns ett samband mellan A och B.
De flesta (hoppas jag) inser att det förmodligen är tvärt om: dvs. att det troliga är att det finns ett verkligt samband mellan A och B, men inte mellan A och C.

Ett annat exempel.
Om vi tar en slumpvis vald tärning och slår fyra femmor i rad så är det ett starkt argument mot att tärningen är ”rättvis” (p=0.00077). Troligen är tärningen inte symmetrisk, en fusktärning.
Men om vi tar en slumpvis vald tärning och slår den 50 000 gånger och från med slag 22 385 så slås det fem sexor i rad inser förhoppningsvis de flesta att dessa fem påföljande slag av sexor inte är ett bra argument att det troligen rör sig om en fusktärning trots att p-värdet för att slå fem sexor i rad (givet antagandet att nollhypotesen är riktigt) ännu lägre än i det första fallet (p=0.00012).

Poängen med ovanstående exempel är att p-värdet inte tar hänsyn till hur data samlats in eller vilka av en lång följd observationer vi tar med i vår analys. Det kan ha samlats in på ett ”rättvist” sätt som minimerar slumpfynd, eller så kan ett statistiskt signifikant resultat vara ett slumpfynd (som orsakats av tex data dredging eller multiple comparisons).
Konsekvensen av ovanstående är att ett enskilt p-värde inte kan tolkas som ett mått på ”säkerheten” i slutsatser som rör påståenden om verkligheten (H0). P-värdet tar inte hänsyn till om observationerna är representativa eller selekterade.


Jag har ovan listat ett antal invändningar mot ditt påstående att ”ju lägre p-värde vi observerar desto säkrare slutsatser”

Här är rubrikerna, du får gärna bemöta vart och ett av dem:

1) Säkerhet/sannolikhet – begreppsförvirring
2) P-värdet är inte en sannolikhet för HO, men är ändå det
3) Kan man med observationer motbevisa ett axiomatisk antagande
4) Öka stickprovsstorleken som metod för ”säkrare slutsats”
5) Tolkningen av p-värden utgör ”säkerhet” för slutsatsen kan inte göras utan förståelse hur datan samlats in
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » mån 29 dec 2014, 14:12

Jag har ett annat argument också.
Den här artikeln: P Values: What They Are and What They are Not, vederlägger av allt att döma på logiska/statistiska grunder ståndpunkten att p-värden kan tolkas som stöd för/mot hypoteser.
Conclusion sid 206 skrev:We have also seen that P values cannot be interpreted as measures of support for their respective hypotheses.
One could try to argue, with normal distributions at least, that the P value penalized hypotheses that contain additional parameter vales that are far away from the data, but even this argument fails in the case of uniform distributions.
Jag förstår inte själva bevisningen i detalj, men den tycks bygga på att undersöka om ett formellt logiskt villkor, som måste gälla för alla mått som utrycker stöd för något, gäller för p-värden, vilket författaren visar att det inte gör.
Således kan inte P värden utgöra "measures of support", och logiken ju lägre p-värde, ju större säkerhet (eller mindre sannolikhet) för HO är helt enkelt felaktig.

Författaren avslutar med förbehållet att hans bevis gäller enkla statistiska problem och inte multiparameterproblem, men att det inte finns någon direkt anledning att tro att det inte gäller även det senare.

Så länge ingen kan förklara att slutsatsen i denna artikel är fel eller irrelevant anser jag att det är ett mycket starkt stöd mot att p-värdet utgör ett evidensmått mot H0.
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
pwm
Inlägg: 11358
Blev medlem: tis 30 nov 2004, 09:06
Ort: Göteborg
Kontakt:

Re: Vad kan man göra med en nollhypotes?

Inlägg av pwm » mån 29 dec 2014, 15:00

Se även Folkvett #4/2010: Sven Ove Hansson, Signifikansmissbruket i pseudovetenskapen.

Skriv svar