Vad kan man göra med en nollhypotes?

Diskutera allmänt om vetenskap, pseudovetenskap och folkbildning, t.ex. vetenskapsteori eller forskningspolitik.
Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 11:20

Nu kanske det blir lite tekniskt, men om detta är förståeligt så tror jag att vi kan stänga caset. Man skulle kunna förklara det med hjälp av densitetsfunktionen för p-värdet för olika parametervärden. Under H0 blir 5% av p-värdena <=0.05. Under Ha blir fler än 5% av p-värdena <= 0.05. I matematisk notation: P(p-värde <= 0.05 | HA) > P(p-värde <= 0.05 | H0) = 0.05. Nedan följer ett enkelt exempel som illustrerar vad jag vill ha sagt.

Kod: Markera allt

pvalue <- function(M,n) {
  T <- numeric(M); mu <- runif(M,-1.5,1.5)
for (i in 1:M) { 
  x <- rnorm(n, mu[i], 1)
  s2 <- sum((x-mean(x))^2)/(n-1)
  T[i] <- sqrt(n)*(mean(x)-0)/sqrt(s2)
}
  plot(abs(mu),abs(T))
}
pvalue(1000,100)
Bild

Det vi ser är att ju längre parametern vi önskar undersöka är från nollhypotesen, desto större blir test-statistikan (ju större teststatistika desto lägre p-värde). Detta betyder alltså att ju lägre p-värde vi observerar desto troligare är det att alernativhypotesen är sann. Detta eftersom p-värdets densitetsfunktion ser ut som den gör.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 11:53

Om vi tittar på plotten ovan så ser vi att det inte finns några samples av urval med parametervärden nära H0 som ger en statistika större än eller lika med 10 (T-statistika på 10 motsvarar ett väääääldigt lågt p-värde). Under HA är det däremot väldigt många urval av samples som ger en statistika större än eller lika med 10. Frågan man kan ställa sig då är: Om vi observerar en teststatistika på 10, hur stor andel av alla möjliga kombinationer av samples får ett sådant värde under H0 respektive under HA? Denna andel är större under HA!

Ett mer vardagligt exempel: Om vi hittar en bok som innehåller fler än 800 sidor så är sannolikheten större att det är Steven King som skrivit boken än att Snookie gjort det. Detta p.g.a. att det finns fler böcker ute i världen skrivna av Steven King som har fler än 800 sidor än respektive dito av Snookie.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 12:14

Lite kuriosa kring metodiken jag presenterade ovan är att bayesianska hypotestest utgår från samma idé som jag presenterade ovan. Frågan man ställer vid sådana hypotestest är: Under H0 respektive HA, hur många gånger mer sannolikt är det att HA är sann jämfört med H0?

Jag har knappt läst någon bayesiansk statistik och än mindre bayesianska hypotestest, så om jag har fel angående ovanstående så får någon Bayesian slå mig på fingrarna.
Nu är då och framtiden är för alltid!

Användarvisningsbild
kaxiga Z
Forummoderator
Inlägg: 17568
Blev medlem: tor 21 jun 2007, 07:44

Re: Vad kan man göra med en nollhypotes?

Inlägg av kaxiga Z » lör 13 dec 2014, 13:50

Crepitus skrev:
kaxiga Z skrev:För att inte gå bet språkligt vad gäller sannolikheter (sannolikheten för detta resultat då nollhypotes gäller, osv osv), så kan man istället använda ett annat ord: säkerhet:

p-värdet är ett mått på Alternativhypotesens säkerhet.
Tyvärr kaxiga Z, också detta är fel att säga.
Jag återkommer med en post där jag ska försöka förklara varför.
Du har rätt: P-värdet är snarare "ett mått på säkerheten hos förkastandet av Nollhypotesen".

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 14:59

Englund skrev:Detta betyder alltså att ju lägre p-värde vi observerar desto troligare är det att alernativhypotesen är sann.
Formulerar om mig. Sannolikheten för en hypotes förändras givetvis inte beroende på vilket sample vi observerar. Därför var det fel av mig att skriva "troligare". Såhär skulle jag ha skrivit istället:

Detta betyder alltså att ju lägre p-värde vi observerar desto säkrare slutsatser kan göras angående nollhypotesens vara eller icke vara, och därmed alternativhypotesens.

Precis som Kaxiga Z skrev.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 15:31

Jag kan också tillägga att p-värdet under nollhypotesen är rektangulärt fördelat (om X följer en kontinuerlig fördelningsfunktion) med ändvärdena 0 och 1. Under alternativhypotesen är p-värdets fördelningsfunktion snedfördelat mot 0, och ju mer parametervärdet som undersöks avviker från H0 desto mer snedfördelat mot 0 blir sannolikhetsfördelningen av p. Vilket i sin tur förklarar att ju lägre p-värde - desto större säkerhet har vi i vårt förkastande av H0.

Detta är egentligen samma sak som jag skrev tidigare, fast i andra ordalag. Den övre av bilderna nedan är simulerad fördelning under H0. Den nedre bilden är simulerad fördelning under HA med väntevärdet 0.1.

Bild
Bild

Kod: Markera allt

pvalue <- function(M,n,mu) {
  Pvalue <- numeric(M)
  for (i in 1:M) { 
    x <- rnorm(n, mu, 1)
    s2 <- sum((x-mean(x))^2)/(n-1)
    T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
    Pvalue[i] <- 2*pt(-abs(T),df=n-1)
  }
  hist(Pvalue,freq=F,breaks=100)
}
pvalue(100000,100,0.0)
pvalue(100000,100,0.1)
Nedan följer liknande plot som den första jag postade, fast denna gång plottat med p-värden istället för T-statistikan.
Bild

Kod: Markera allt

pvalue <- function(M,n) {
  Pvalue <- numeric(M); mu <- runif(M,-0.5,0.5)
  for (i in 1:M) { 
    x <- rnorm(n, mu[i], 1)
    s2 <- sum((x-mean(x))^2)/(n-1)
    T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
    Pvalue[i] <- 2*pt(-abs(T),df=n-1)
  }
  plot(mu,Pvalue)
}
pvalue(2000,500)
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 16:16

Crepitus skrev:Du kan inte anta att något är sant och sedan leda i bevis att det inte är det.
Ahaa, först nu förstod jag att du hänvisade till spaghettimonstret. Du har rätt* när det gäller det kontinuerliga fallet, d.v.s. när X fördelningsfunktion inte är diskret. Men i mitt diskreta fall beskrivet i inlägg daterat lör 13 dec 2014, 10:00 så fungerar det jättebra. P-värden kan användas i många olika fall och det diskreta fallet jag exemplifierade är kanske inte så lätt att begripa sig på. Men det är en korrekt användning av p-värde och det fungerar utmärkt att göra så.

Anledningen till att det fungerar på detta vis beror på att i det kontinuerliga fallet så kan aldrig p-värdet bli 0. Men i det diskreta fallet så är det möjligt. Vilket jag precis visade i inlägget daterat lör 13 dec 2014, 10:00.

*Ingen har heller sagt emot dig här. Man kan inte leda i bevis (givet att "bevis" är definierat som 100% säkerhet) i det kontinuerliga fallet. Men man kan få ett mått på den säkerhet man har i påståendet.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » lör 13 dec 2014, 16:59

Det finns dock en logisk inkonsekvens vid normal hypotestestning. Man använder sig av en logisk följd som inte nödvändigtvis är sann. Det man gör är att man utgår från att följande:

Om H0 så är följande parameterskattningar är troliga.
Om en parameterskattning ej faller inom det troliga under H0 dras slutsatsen att H0 är falsk.

Detta följer samma logik som nedan:

Om jag hoppar i vattnet så blir jag troligtvis kall, alltså ---> Om jag inte hoppar i vattnet så blir jag troligtvis inte kall.

Det är inte ett korrekt logiskt resonemang per se. Men analogin är inte överförbar till hypotestest, vilket jag har bevisat* via simuleringar på sidan 8 i denna tråd. Att resonemanget inte gäller i alla lägen är inte detsamma som att det inte kan gälla i vissa lägen, som vid hypotestest exempelvis.

*Bevis i den bemärkelse att jag har visat att det jag säger stämmer med väldigt god säkerhet.
Nu är då och framtiden är för alltid!

Användarvisningsbild
micke.d
Forummoderator
Inlägg: 13375
Blev medlem: tis 05 jan 2010, 19:02
Ort: Ultima Thule

Re: Vad kan man göra med en nollhypotes?

Inlägg av micke.d » tis 16 dec 2014, 23:09

Englund skrev:Om H0 så är följande parameterskattningar är troliga.
Om en parameterskattning ej faller inom det troliga under H0 dras slutsatsen att H0 är falsk.

Detta följer samma logik som nedan:

Om jag hoppar i vattnet så blir jag troligtvis kall, alltså ---> Om jag inte hoppar i vattnet så blir jag troligtvis inte kall.
Borde inte det sista vara:

Om jag hoppar i vattnet så blir jag troligtvis kall, alltså ---> Om jag inte är kall, så har jag troligtvis inte hoppat i vattnet.
Hädanefter kallar jag dem Daesh.

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » ons 17 dec 2014, 10:12

En lite längre post.
Englund, jag ser tyvärr ingen möjlighet att citera alla dina utläggningar från början till slut, det hade blivit för långt och för förvirrande, posten blir lång nog ändå.
Så med risk för att återigen bli anklagad för ojust citering så försöker jag här bemöta det centralt felaktiga i ditt resonemang och dessutom försöka sätta in det i ett större sammanhang.
För ordningens skull: om jag inte klipper in exakt vad du skriver så ska jag försöka ange i vilket av dina inlägg (sida; tidpunkt) jag hämtat dina påståenden/argument ifrån, så kan den nogsamme gå till källorna.

Det började ett antal sidor sedan när du (sid 4; 16:39) invände mot mitt påstående att en förkastad nollhypotes ger ett hypotetiskt stöd [till hypotesen] eftersom (som jag påstod) det alltid finns flera möjliga alternativhypoteser.
Det tog ett antal sidor att förstå att vi pratade om olika saker (jag förstod inte inledningsvis om det var ordet hypotetiskt eller om det var det att det fanns flera alternativhypoteser som du invände emot).
Det hela landade i stort sett i att Ja - i den verkliga världen finns det i princip alltid alternativhypoteser, dvs. konkurrerade teorier som skulle kunna förklara en och samma testdata under HA.
Förkastandet av nollhypotesen kan inte diskriminera emellan dessa, dvs. avgöra vilken av alternativhypoteserna som är trolig, om någon. Det enda man gör är att förkasta nollhypotesen.

Du framhöll som en orsak till missförståndet (sid 5: 19:01) att du i ditt sätt att resonera, emellertid, hade "utgått från att vi lever i en perfekt värld, och i en ofelbar värld har man kontrollerat så att HA2 inte kan ske."
Utifrån denna utgångspunkt måste jag naturligtvis ge dig rätt. Om man utgår från att HA är den enda möjliga förklaringen, så kan man rimligen utesluta andra förklaringar än just HA.

Sedan gled vi över på den intressanta frågan hur p-värdet och ett signifikant resultat ska tolkas.
Vilket stöd ger egentligen ett p-värde för det vi är intresserade av, dvs. om H0 respektive HA kan anses vara helt eller troligen falskt/sant?

Det är ingen trivial fråga. Vi gör ju ett hypotestest för att testa hypotesen. Resultatet av processen är ett p-värde.
Vilket stöd man anser att p-värdet ger slutsatser som rör nollhypotesen respektive alternativhypotesen är av fundamental betydelse om man vill förstå vad statistisk hypotesprövning har för värde överhuvudtaget.

Du svajar väsentligt i frågan och kommer dessvärre fram till en felaktig slutsats, som inte bör stå oemotsagd.

För att sätta in denna fråga i ett sammanhang. Den metod vi diskuterar utvecklades under 1920 och 30-talet.
Den är en mix mellan Fishers signifikanstest (nollhypotes, p-värde) och Neyman/Pearsons hypotesprövning (alternativhypotes, typ 1 & 2-fel).
Fischer och Neyman/Pearson var inte eniga, snare rätt hätska meningsmotståndare som kritiserade varandras metoder.
De hade förmodligen alla tre misstyckt till den hybrid som vi tillämpar idag, inklusive varit oeniga om hur ett p-värde ska tolkas.

Metoden, dvs. klassisk statistisk hypotesprövning, har utsatts för omfattande kritik genom åren, se t.ex. den här sidans sammanställning av 402 referenser.

Kritiken i artiklarna/böckerna rör ofta filosofiska och logiska aspekter på metoden, men även hur p-värdet genomgående misstolkas och missbrukas, i den här artikeln listade som A Dirty Dozen: Twelve P-Value Misconceptions

De allra vanligaste missförstånden torde vara dessa, saxat från abstraktet av J Cohens klassiska artikel The earth is Round (p<.05) från 1994.
J Cohen skrev:After 4 decades of severe criticism, the ritual of null hypothesis significance testing - mechanical dichotomous decisions around a sacred .05 criterion - still persists.
This article reviews the problems with this practice, including its near-universal misinterpretation of p as the probability that H0 is false,
the misinterpretation that its complement is the probability of successful replication and the mistaken assumption that if one rejects H0 one thereby affirms the theory that led to the test.
Att p-värden är svåra att förstå är ett empiriskt faktum, se till exempel denna artikel där 53 psykologistudenter fick ta ställning till om ett p-värde <0.05 visade:

1) Att vi bevisat att H0 är falskt (3.8%)
2) Att vi bevisat att HA är sant (0 %)
3) Att vi visat att H0 är osannolikt (79.2%)
4) Att vi visat att HA är sannolikt (3.8%)
5) Inget av ovanstående (13.2%)

Svarsalternativ 5 är alltså det rätta svaret, vilket 13.2 % av studenterna svarade.

Ett annat exempel att p-värden missförstås även av forskare och statistiker finns i den här artikeln The Null Ritual - What You Always Wanted to Know About Significance Testing but Were Afraid to Ask

I denna studie fick studenter, universitetslärare/professorer samt statistiklärare ta ställning till 6 påståenden rörande vilka slutsatser man kan dra av ett statistiskt signifikant resultat.
De sex påståendena var alla falska. De liknade i stort punkt 1-4 ovan även om de var formulerade lite mer knepigt.
Andelen som identifierade alla resultat som falska (dvs. svarade helt rätt) var 0 % av studenterna, 10 % av lärarna/professorerna och 20 % av statistiklärarna (se figur 1, sid 5 i artikeln).

Anledningen att det är så svårt att tolka p-värden är att de är betingade sannolikheter, vilket betyder att p-värdet gäller givet att antagandet att H0 är sant.
Det är uppenbarligen väldigt svårt för oss människor att förstå vad det innebär. Dessvärre ger dessa svårigheter upphov till en illusion.
Illusionen är att p-värdet på något vis, trots att det bygger på antagandet att H0 är sant, samtidigt är ett mått på det samma.

Det har skrivits massvis om denna illusion.
Den har kallts för the permanent illusion av Cohen.
Falk and Greenbaum kallar den ”illusion of probalistic proof by contradiction” och ”the illusion of attaining improbability”
Gigerenzer gör i artikeln Mindless statistics en Freudiansk liknelse och menar att om Neyman/Pearsons synsätt är superegot, så är Fishers Egot.
Id, som motsvarar våra djuriska instinkter, symboliserar enligt Gigerenzer vår outtröttliga längtan att kunna dra slutsatser om vår hypotes i termer av dess sannolikhet (Bayesian Id’s wichful thinking).

Illusionen bygger ungefär på följande skenbart logiska resonemang. Du känner igen en del dina egna argument kanske.
  • • Det finns bara två möjligheter H0 & HA, inget annat är möjligt.
    • P-värdet är ett mått på om H0 bör förkastas, således ju lägre p-värde desto mer troligt att H0 inte är sant.
    • Om H0 troligen inte är sant följer – logiskt med hänvisning till första punkten - slutsatsen att HA troligen är sant.

    • Således – ju lägre p-värde desto mer troligt att H0 är falskt och HA är sant.
OBS- ovanstående resonemang är fel och leder till en felaktig slutsats, nämligen att man kan tolka p-värdet som ett sannolikhetsmått på H0/HA.
Det är den slutsatsen du kommer fram till efter ditt datasimuleringsbevis, överst på sid 8.

Du visste ju att man inte kan resonera så Englund för du skriver ju (sid 6; 10:49)
Englund sid 6: 10:49 skrev: Det jag tror du fiskar efter är att P(A|S) eller P(A) inte är ekvivalent med P(S|A) = p-värdet. Alltså, sannolikheten att nollhypotesen är sann givet vårt sample kan inte beräknas på ett enkelt sätt om man bara vet sannolikheten för samplet givet A, d.v.s. p-värdet. Sådana feltolkningar är nog vanliga däremot.

Så givetvis har du helt rätt i att p-värdet inte är ett mått på sannolikheten att en hypotes är sann eller inte; att vissa tolkar det på fel sätt är deras problem, men det förändrar inte p-värdets betydelse. Men p-värdet ger i alla fall en god vägledning eller ett "hypotetiskt" stöd, som du uttryckte dig.
Så långt allt väl. Vi är till och med eniga att stödet är hypotetiskt. Och som du skriver: givetvis är inte p-värdet ett mått på sannolikheten att en hypotes är sann eller inte.
Det är ju vad man lär sig på grundkursen: att P(D|H) dvs. sannolikheten för datan givet hypotesen INTE är samma sak som P(H|D), dvs. sannolikheten för hypotesen givet datan.

Inte desto mindre är detta ett vanligt missförstånd. Så här skriver Wikipedia om vanliga tankemässiga felslut apropås betingad sannolikhet.
Wikipedia skrev:In general, it cannot be assumed that P(A|B) ≈ P(B|A). This can be an insidious error, even for those who are highly conversant with statistics.
Och det får vi ju vara benägna att hålla med dem om. Ja, både det första and andra påståendet.

Men så inställer sig frågan – vad har då statistiskt hypotestest för betydelse överhuvudtaget om metoden nu inte säger något om nollhypotesens/hypotesens sannolikhet?
Då är ju testet meningslöst. Ett tvivel infinner sig.

Du resonerar så här (sid 7; 12:43)
Englund sid 7: 12:43 skrev: Om p-värdet inte kan användas som mått på sannolikheten att H0 är sann så skulle det aldrig fylla någon som helst funktion över huvud taget att utföra hypotestest. Och se mina tidigare inlägg så att du inte lyfter ur något ur sitt sammanhang. Jag säger inte att p-värdet är ekvivalent med sannolikheten att H0 är sann, bara att det är ett styrkemått. Och, som sagt, hade det inte varit ett styrkemått på detta så hade hypotestest varit helt oanvändbara.
Det ligger en del i vad du säger och det finns forskare som menar att metoden av detta skäl tämligen värdelös, men det är inte fokus i detta inlägg.

Sedan försöker du leda i bevis att p-värdet trots allt är, eller åtminstone kan vara, ett mått på slutsatsen rimlighet trots att du nyss hävdat att vissa personer gör just detta tolkningsfel.
Så här skriver du: (sid 7; 10:00)
Englund sid 7: 10:00 skrev: Här kommer ett exempel på när p-värdet garanterat är ett mått på slutsatsens rimlighet.
I ditt exempel (sid7; 10:00) antar du att H0 är sant och sedan ”bevisar” du att ditt antagande är falskt.
Jag påpekar i den påföljande posten att detta är logiskt orimligt.
Du svarar att du inte ser den logiska fallgropen. (sid 7; 10:55)

Kanske visar ditt svar det problematiska med betingade sannolikheter.
Antagandet att H0 är sant är av axiomatisk karaktär. Vi hugger till med en H0 och håller den för sann. Det är ett påstående varken kan styrkas eller bekräftas inom systemet.
Vi gör heller inte någon bedömning innan testet är om H0 är sannolikt eller ej. För det spelar ingen roll för testet.
H0 tjänar som en referenspunkt för att vi ska kunna bedöma om vår data devierar tillräcklig mycket så att vi kan säga att det är statistiskt signifikant eller ej (nu är p-värdet/statistikan dessutom biased av antalet observationer förutom avståndet från testdatan, så deviation är kanske inte lämpligt ord).

Och om det nu vore så att du har rätt - dvs att p-värdet på något vis kan ses som ett mått på nollhypotesen rimlighet –då innebär ju det att ju lägre p-värdet är, desto mer osannolikt är H0.
Men p-värdet gäller ju bara om H0 är sant, således så skulle ett lågt p-värde undergräva sin egen giltighet.
Ett logiskt moras…

Sedan försöker du ”stänga caset” med en datorsimulering, överst sid 8.
Jag ska i ärlighetens namn erkänna att jag inte förstår vad gör, men så mycket begriper att du landar i den Bayesianska tolkningen av p-värden som du två sidor tidigare (sid 6: 10:49) menat är en vanlig misstolkning som andra begår.

Hur får du till exempel ihop följande två påståenden? (ja, nu klipper jag dina långa inlägg, men det är här din inkonsistens finns):
Englund sid 6: 10:49 skrev: Så givetvis har du helt rätt i att p-värdet inte är ett mått på sannolikheten att en hypotes är sann eller inte.
Englund sid 8: 11:20 skrev: Detta betyder alltså att ju lägre p-värde vi observerar desto troligare är det att alternativhypotesen är sann. (sid 8: 11:20
Det senare påståendet är prompt fel, Englund. Du föreslår att p-värdet är ett mått på om alternativhypotesen är sann. The permanent illusion.

Du tror uppenbarligen inte på mig. Kan några av de här källorna få dig att ändra inställning?
Wikipedias inledande text om p-värden:
Wikipedia skrev: Fundamentally, the p-value does not in itself support reasoning about the probabilities of hypotheses, nor choosing between different hypotheses – it is simply a measure of how likely the data (or a more "extreme" version of it) were to have occurred, assuming the null hypothesis is true. Min fetning.
Fundamentally wrong.

Eller den här artikeln Towards Evidence-Based medical statistics 1: The P Value Fallacy i vilken man kan läsa följande text (sid 997-998).
S Goodman skrev: In my experience teaching physicians with a single-sentence summary of a study that produced surprising results with P=0.05, the overwhelming majority will confidently state that there is a 95% or greater chance that the null hypothesis is incorrect.
This is an understandable but categorically wrong interpretation because the P value is calculated on the assumption that the null hypothesis is true.
It cannot; therefore, be a direct measure of the probability that then null hypothesis is true. In numerable authors have tried to correct this misunderstanding…. Min fetning
Categorically wrong.

Eller kanske den här artikeln: Significance Tests Die Hard: The Amazing Persistence of a Probabilistic Misconception i vilken man kan läsa följande text (sid 997-998).
Falk & Greenbaum skrev: Unfortunately, the conclusion that, given a significant result, H0 becomes improbable is not generally true.
When we obtain data, D, such that P (D|H0) is low, it does not imply that P(H0|D) is also rendered sufficiently low to warrant rejection of H0. In fact, P(H0|D) may be quite high….
….The belief that obtaining data in a region whose conditional probability under a given hypothesis is low implies that the conditioning hypothesis is improbable is a fallacy. Mina fetningar.
A fallacy.

Det är helt klart svårt att försöka förklara the permanent illusion. Väldigt många har försökt, men budskapet tycks inte gå fram, inte ens på statistikutbildningar. Så det är inte alls säkert att jag lyckas.
Läs förslagsvis några av de länkade artiklarna som dissekerar illusionen var och en på sitt vis.
Men stycket från Falk & Greenman ovan är slags nyckel tycker jag om man vill förstå varför p-värdet inte är ett mått på hypotesernas sannolikheter.
Även om p-värdet är lågt, kan sannolikheten för att H0 stämmer vara högt.
Detta beror på att p-värdet inte är ett mått på om nollhypotesen är sann eller falsk, utan ett mått på om den bör förkastas inom ramen för testet (precis som Kaxiga Z rättade sin formulering till).

Meningen ovan är viktig. Man kan förkasta nollhypotesen på goda grunder inom ramen för testet. Men det är fel att tro att det till synes objektiva och noggranna p-värdet ensamt kan säga något om verkligheten, dvs. om nollhypotesen är sann eller ej.
Så här sammanfattas denna otroligt viktiga insikt i en enda mening saxad från abstraktet i den här artikeln:
Goodman skrev:The most serious consequence of this array of P-value misconceptions is the false belief that the probability of a conclusion being in error can be calculated from the data in a single experiment without reference to external evidence or the plausibility of the underlying mechanism.

Och slutligen: en skitsak i sammanhanget, men nedanstående mening som sitter som ett häftstift och skaver i logikcentrum:
Englund sid 8; 16:59 skrev: Man använder sig av en logisk följd som inte nödvändigtvis är sann.
Det är ju fel. Själva innebörden av en logisk följd är att saker och ting följer med nödvändighet.

Apropos den posten: om du och någon annan vill ha en bättre förklaring på varför en logiskt giltig modus tollens blir ogiltig när man gör premisserna till sannolikhetspåståenden istället för absoluta sakpåståenden så rekommenderar jag Cohens artikel sid 998.





Ja, du var dryg Englund.
Du jiddrade om kubminitigrar i kylen (sid 5: 21:03), kom ut som drama queen och spelade ut auktoritetskortet (sid 5: 22:33).

Att du hade luddig uppfattning av begreppet alternativhypotes tyckte jag inte du behövde känna dig ledsen över eftersom du in din dagliga praktik inte verkar syssla med kritiskt ifrågasättandet av testresultat.

Däremot kan jag ha större förståelse för om du kan känna dig modstulen över en gryende insikt att du hittills saknat grundläggande förståelse hur de resultat du dagligen producerar egentligen ska tolkas.
Fast det kan ju bättra sig.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » ons 17 dec 2014, 11:35

Crepitus skrev:Hur får du till exempel ihop följande två påståenden? (ja, nu klipper jag dina långa inlägg, men det är här din inkonsistens finns):
Englund sid 6: 10:49 skrev: Så givetvis har du helt rätt i att p-värdet inte är ett mått på sannolikheten att en hypotes är sann eller inte.
Englund sid 8: 11:20 skrev: Detta betyder alltså att ju lägre p-värde vi observerar desto troligare är det att alternativhypotesen är sann. (sid 8: 11:20
Det senare påståendet är prompt fel, Englund. Du föreslår att p-värdet är ett mått på om alternativhypotesen är sann. The permanent illusion.
Jag svarar mer senare, men angående mitt andra citat ovan så reviderade jag ju det vid senare tillfälle. På följande vis:
Englund skrev:
Englund skrev:Detta betyder alltså att ju lägre p-värde vi observerar desto troligare är det att alernativhypotesen är sann.
Formulerar om mig. Sannolikheten för en hypotes förändras givetvis inte beroende på vilket sample vi observerar. Därför var det fel av mig att skriva "troligare". Såhär skulle jag ha skrivit istället:

Detta betyder alltså att ju lägre p-värde vi observerar desto säkrare slutsatser kan göras angående nollhypotesens vara eller icke vara, och därmed alternativhypotesens.
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » ons 17 dec 2014, 11:48

Englund skrev:Detta betyder alltså att ju lägre p-värde vi observerar desto säkrare slutsatser kan göras angående nollhypotesens vara eller icke vara, och därmed alternativhypotesens.
Wikipedia skrev:Fundamentally, the p-value does not in itself support reasoning about the probabilities of hypotheses.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » ons 17 dec 2014, 12:09

Crepitus skrev:
Englund skrev:Detta betyder alltså att ju lägre p-värde vi observerar desto säkrare slutsatser kan göras angående nollhypotesens vara eller icke vara, och därmed alternativhypotesens.
Wikipedia skrev:Fundamentally, the p-value does not in itself support reasoning about the probabilities of hypotheses.
Det påstår jag inte heller. Detta eftersom P(H0|Sample) = P(H0), dvs sannolikheten att H0 är sann är oberoende av vilket sample vi observerar. Att säga "säkerheten i vårt påstående..." är inte detsamma som att uttala sig om P(H0=True).
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » ons 17 dec 2014, 12:15

Crepitus skrev:Illusionen bygger ungefär på följande skenbart logiska resonemang. Du känner igen en del dina egna argument kanske.


• Det finns bara två möjligheter H0 & HA, inget annat är möjligt.
• P-värdet är ett mått på om H0 bör förkastas, således ju lägre p-värde desto mer troligt att H0 inte är sant.
• Om H0 troligen inte är sant följer – logiskt med hänvisning till första punkten - slutsatsen att HA troligen är sant.

• Således – ju lägre p-värde desto mer troligt att H0 är falskt och HA är sant.


OBS- ovanstående resonemang är fel och leder till en felaktig slutsats, nämligen att man kan tolka p-värdet som ett sannolikhetsmått på H0/HA.
Det är den slutsatsen du kommer fram till efter ditt datasimuleringsbevis, överst på sid 8.
Det fetstilta stämmer inte. Din fjärde punkt ovan, som jag påpekat tidigare, stämmer såklart inte heller, precis som du säger. Vi kan inte säga något om H0 eller HA's "trolighet"/sannolikhet. Men som jag sagt tidigare, vi kan använda oss av p-värden för att säga något om säkerheten i vår slutsats, vilket alltså inte ska misstolkas som att man säger någonting om P(H0=True).
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » ons 17 dec 2014, 15:21

Den här tråden bjuder onekligen på viss komik Englund.
Englund sid 7; 12:43 skrev: Om p-värdet inte kan användas som mått på sannolikheten att H0 är sann så skulle det aldrig fylla någon som helst funktion över huvud taget att utföra hypotestest.
Englund sid 8; 12:15 skrev: Vi kan inte säga något om H0 eller HA's "trolighet"/sannolikhet.
Får jag fråga, varför gör du hypotestest?
When the facts change, I change my mind. What do you do, Sir?

Skriv svar