Vad kan man göra med en nollhypotes?

Diskutera allmänt om vetenskap, pseudovetenskap och folkbildning, t.ex. vetenskapsteori eller forskningspolitik.

Re: Vad kan man göra med en nollhypotes?

Inläggav micke.d » mån 29 dec 2014, 15:20

Crepitus skrev:Jag har ett annat argument också.
Den här artikeln: P Values: What They Are and What They are Not, vederlägger av allt att döma på logiska/statistiska grunder ståndpunkten att p-värden kan tolkas som stöd för/mot hypoteser.

Conclusion sid 206 skrev:We have also seen that P values cannot be interpreted as measures of support for their respective hypotheses.
One could try to argue, with normal distributions at least, that the P value penalized hypotheses that contain additional parameter vales that are far away from the data, but even this argument fails in the case of uniform distributions.


Jag förstår inte själva bevisningen i detalj, men den tycks bygga på att undersöka om ett formellt logiskt villkor, som måste gälla för alla mått som utrycker stöd för något, gäller för p-värden, vilket författaren visar att det inte gör.
Således kan inte P värden utgöra "measures of support", och logiken ju lägre p-värde, ju större säkerhet (eller mindre sannolikhet) för HO är helt enkelt felaktig.

Författaren avslutar med förbehållet att hans bevis gäller enkla statistiska problem och inte multiparameterproblem, men att det inte finns någon direkt anledning att tro att det inte gäller även det senare.

Så länge ingen kan förklara att slutsatsen i denna artikel är fel eller irrelevant anser jag att det är ett mycket starkt stöd mot att p-värdet utgör ett evidensmått mot H0.


Det artikeln handlar om är väl huruvida p-värden kan vara ett measure för stöd för hypoteser. Measure är i sammanhanget ett matematiskt begrepp som betyder att p-värdena i så fall ska ha vissa egenskaper. Vilket de då inte har enligt artikeln. Jag tror inte att någon här hävdar att p-värden skulle vara ett measure i den meningen.
Hädanefter kallar jag dem Daesh.
Användarvisningsbild
micke.d
Forummoderator
 
Inlägg: 13312
Blev medlem: tis 05 jan 2010, 19:02
Ort: Ultima Thule

Re: Vad kan man göra med en nollhypotes?

Inläggav Crepitus » mån 29 dec 2014, 20:24

micke.d skrev:Det artikeln handlar om är väl huruvida p-värden kan vara ett measure för stöd för hypoteser. Measure är i sammanhanget ett matematiskt begrepp som betyder att p-värdena i så fall ska ha vissa egenskaper. Vilket de då inte har enligt artikeln. Jag tror inte att någon här hävdar att p-värden skulle vara ett measure i den meningen.

Jag tycker att påståendet: ju lägre p-värde, desto säkrare slutsatser utrycker ett inverst samband mellan p-värde och säkerheten i slutsatserna, således en form av matematisk funktion.
Funktionen är inte närmare beskriven än så, inte heller vilken skala "säkerheten i slutsatserna" mäts på, men funktionen uttrycker ett matematiskt/logisk samband.
Jag tycker de argument som framförts i tråden liknar den bakgrund och det resonemang som författaren redogör för punkt 3 i artikeln och framåt och som han sedan vederlägger.
When the facts change, I change my mind. What do you do, Sir?
Användarvisningsbild
Crepitus
 
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » lör 03 jan 2015, 13:55

Crepitus skrev:Du skriver att ju lägre p-värdet är, desto säkrare slutsats mot nollhypotesen.
Således en studie med p=0.00002 ger enligt dig en ”säkrare” slutsats att H0 är falsk, än en studie där p=0.04.

Ja, så är det! Nedan följer ytterligare en simulering som visar att det verkar vara så. Bifogar pseudokod också så att det framgår tydligt vad jag gör för någonting. Siffrorna nedan är andelen gånger slutsatsen förkasta H0 är korrekt.

> pvalue(1000,50,0.04)
[1] 0.539
> pvalue(1000,50,0.002)
[1] 0.904
> pvalue(1000,50,0.0002)
[1] 0.975
> pvalue(1000,50,0.00002)
[1] 0.995
> pvalue(1000,50,0.000002)
[1] 0.997

Det vi återigen ser är att ju lägre p-värde, desto fler gånger blir slutsatsen att H0 är falsk korrekt.

Kod: Markera allt
1. Sätt P(väntevärde = H0) = 0.9
2. if väntevärde ≠ H0 så assignar vi ett väntevärde enligt en likformig fördelning med ändvärdena -0.5 och 0.5
3. slumpa 50 värden av x som följer en standardnormalfördelning med väntevärde lika med H0 eller en likformig fördelning enligt ovan
4. Beräkna p-värde
5. Loopa 1-4 till dess att p-värdet är lägre än 0.04 | 0.002 | 0.0002 | 0.00002 | 0.000002
6. Varje gång p-värdet är lägre än 0.04 | 0.002 | 0.0002 | 0.00002 | 0.000002 --> Observera om slutsatsen att H0 är falsk är korrekt eller inte
7. Loopa 1-6 1000 gånger.
8. Beräkna andelen gånger slutsatsen att H0 är falsk är korrekt när p-värdet är lägre än 0.04, 0.002, 0.0002 o.s.v.

Kod: Markera allt
pvalue <- function(M,n,p) {
  Pvalue <- numeric(M); Correct <- numeric(M)
    for (i in 1:M) {
      repeat {
        mu <- rbinom(1,1,0.1)
        if (mu==1) {mu <- runif(1,-0.5,0.5)}
        x <- rnorm(n, mu, 1)
        s2 <- sum((x-mean(x))^2)/(n-1)
        T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
        Pvalue <- 2*pt(-abs(T),df=n-1)
        if(Pvalue < p & mu == 0) {Correct[i] <- 0}
        if(Pvalue < p & mu != 0) {Correct[i] <- 1}
        if (Pvalue < p) {break}
      }
    }
  mean(Correct)
}
pvalue(1000,50,0.00002)


Crepitus skrev:Säkerhet/sannolikhet
Den första invändningen är rent semantisk.
[...]
Om du inte håller med om att säkerhet syftar på sannolikheten för H0 så måste du förklara vad säkerhet betyder i relation till H0.

Så som jag använt uttrycket säkerhet så syftar det inte på att det är en skattning av sannolikheten för H0, utan på att det är ett mått på säkerheten/sannolikheten att vårat påstående förkasta nollhypotesen är korrekt. Vidare menar jag inte att p-värdet är på något sätt kan predicera denna sannolikhet, men att det finns ett samband mellan p-värde och denna sannolikhet.


Crepitus skrev:P-värdet är inte en sannolikhet för H0, men är ändå det på något vis
Men när du skriver att ett lägre p-värde ger en ”säkrare” slutsats rörande H0, så är innebörden att p-värdet de facto kan förstås som ett sannolikhetsmått/säkerhetsmått mot H0, om än på en annan skala än p-värdet självt.

Så kan man nog tolka det. Men det är en felaktig tolkning, vilket vi är eniga om. Så nej, jag köper inte att det är korrekt att tolka mina påståenden på det vis du föreslår ovan.

Crepitus skrev:Tunga argument/referenser påstår (se sid 8, 10:12) att detta sätt att resonera är fundamentalt fel. Ett felslut. Du har inte bemött dessa argument.

Jag kan inte se att något av påståendena nedan står i motsats till vad jag hävdar.
1 If P  .05, the null hypothesis has only a 5% chance of being true.
2 A nonsignificant difference (eg, P >.05) means there is no difference between groups.
3 A statistically significant finding is clinically important.
4 Studies with P values on opposite sides of .05 are conflicting.
5 Studies with the same P value provide the same evidence against the null hypothesis.
6 P  .05 means that we have observed data that would occur only 5% of the time under the null hypothesis.
7 P  .05 and P <.05 mean the same thing.
8 P values are properly written as inequalities (eg, “P <.02” when P  .015)
9 P  .05 means that if you reject the null hypothesis, the probability of a type I error is only 5%.
10 With a P  .05 threshold for significance, the chance of a type I error will be 5%.
11 You should use a one-sided P value when you don’t care about a result in one direction, or a difference in
that direction is impossible.
12 A scientific conclusion or treatment policy should be based on whether or not the P value is significant.


Wikipedia, p-value, misunderstandings skrev: The p-value does not in itself allow reasoning about the probabilities of hypotheses

Wikipedia, p-value, misunderstandings skrev: The p-value is not the probability that the null hypothesis is true, nor is it the probability that the alternative hypothesis is false – it is not connected to either of these.
In fact, frequentist statistics does not, and cannot, attach probabilities to hypotheses
. Mina fetningar


Crepitus skrev:De här citaten är djupt problematiska för din ståndpunkt. De påstår att man inte kan resonera på det vis du gör.
Vad är din kommentar till det?

Min kommentar till det är att inget av ovanstående är något som står på tvären med det jag påstår.

Crepitus skrev:Kan man med observationer motbevisa ett axiomatisk antagande?
Om vi talar om att bevisa bortom allt rimligt tvivel så är det endast möjligt vid ett p-värde = 0. Här följer ett bevis för det (osäker på om det är ett valitt bevis dock):

om P(S|H0) = 0 så måste också P(H0) vara lika med 0 eftersom ...
P(H0) = P(H0 & S) / P(S|H0) saknar lösning eftersom man inte kan dividera med 0.

Sedan har jag ju visat på att det är så med tärningsexemplet också. Jag har visat på att det finns fall (tärningsexemplet) då P(H0) = 0 om P(S|H0) = 0; om det är så i alla fall är jag inte helt hundra på, däremot känner jag mig ganska säker på det.

Crepitus skrev:Ditt exempel Englund (sid 9, 07:31): om vi i en värld där det bara finns sexsidiga tärningar ändå lyckas finna en tärning med sju sidor, känns föga övertygande.
Tärningsexemplet är ett valitt exempel, period! Och det visar på att det finns minst ett fall då H0 måste vara falsk om p-värdet är 0. Vidare kan p-värdet enbart vara 0 i diskreta fall samt i vissa kontinuerliga fall där fördelningsfunktionen inte går mot oändligheten i båda ändarna.

Crepitus skrev:Och det faktum att när P(D|H0)=0, sammanfaller med P(H0|D)=0, är ju inget bevis för att den andra sannolikheten beror på den första.
Det har jag inte påstått heller.
Crepitus skrev:Öka stickprovsstorleken som metod för ”säkrare slutsats”
[...]
Däremot är det ett argument att p-värden ensamt inte kan tolkas som effektmått/mått på stöd för eller mot någon hypotes [...]
Enig! Men det går inte stick i stäv med det jag hävdar heller.


Crepitus skrev:Tolkningen av p-värden utgör ”säkerhet” för slutsatsen kan inte göras utan förståelse hur datan samlats in
Här kommer ett tyngre argument i det orimliga i påståendet: ”ju lägre p-värde vi observerar desto säkrare slutsatser”

Tänk att vi drar slumpmässiga urval på 2000 individer ur en population för att undersöka om det finns ett samband mellan två variabler: A och B, respektive A och C.
Nollhypoteserna i respektive fall är inget samband.

I det första fallet är det en forskargrupp som drar ett stickprov och gör en analys efter konstens alla regler och finner ett samband mellan A och B där p<0.05 och publicerar detta.

I det andra fallet så undersöker tusen olika olika forskargrupper om det finns ett samband mellan A och C. De gör alla slumpmässiga urval (vart och ett på n=2000) från samma population som första exemplet. Endast en av de 1000 forskargrupperna finner ett statistiskt signifikant samband mellan A och C, p<0.0001 och publicerar detta. De 999 andra forskargrupperna avstår från publicering av de negativa fynden.

Enligt den logik du argumenterar för så kan vi baserat på p-värdets storlek i de två publicerade studierna vara mer säkra på att det finns ett verkligt samband mellan A och C än att vi kan vara säkra på att det finns ett samband mellan A och B.
De flesta (hoppas jag) inser att det förmodligen är tvärt om: dvs. att det troliga är att det finns ett verkligt samband mellan A och B, men inte mellan A och C.

På tal om data dredging...

Ja, givet att vi enbart har informationen om p-värdena från de två studierna så är säkerheten i slutsatsen att H0 är falsk säkrare i det andra fallet. Men i ditt exempel råkade det ju vara fel, men fel kan man ju alltid ha så länge sannolikheten för fel är större än 0. Så jag ser inte riktigt poängen med ditt exempel. Jag hävdar ju inte att man inte kan dra fel slutsats vid riktigt låga p-värden.
----------------------------------------------------------------------------------------------------------

Vi har nog tillräckligt med material för att skriva en artikel :)
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » lör 03 jan 2015, 14:50

Bild

Jag ser att i en av artiklarna du refererat till så har författaren beräknat ett felaktigt p-värde i ett exempel han använt för att föra fram sin poäng. Det författaren gjort är att han beräknat p-värdet baserat på ändpunkterna i nollhypotesen och viktat dessa ändpunkter lika. D.v.s. han har utgått från att P(min(H0)) = P(max(H0)) och sedan beräknat p-värdet rakt av. Gör man på det viset så innebär det att P(S | H0) minskar om min(H0) minskar, vilket är felaktigt. P-värdet ökar om min(H0) minskar eftersom H0 då täcker en större del av utfallsrummet. Författaren påpekar detta tidigare i artikeln också men ändå gör han detta misstag.

Författarens poäng i punkt tre framgår tydligt, men hans bevis för den poängen faller. Det författaren testar i exemplet ovan är egentligen

H01: mu = -0.82 eller mu = 0.52
samt
H02: mu = -0.5 eller mu = 0.5,

inte

H01: -0.82 < mu < 0.52
samt
H02: -0.5 < mu < 0.5,

vilket var hans intention. Och det är klart att p-värdet blir lägre i det fallet, men hans exempel är beräknat på fel sätt och hans bevis faller därmed.

Om man ska ställa upp en hypotes på det vis han gjorde i exemplet så måste man röra sig mot bayesiansk teori eftersom man måste anta en fördelningsfunktion för parametern. Författaren har helt rätt när han påstår att H01 innefattar H02, men han har utfört testet på ett felaktigt sätt. Såsom testet är utfört så ingår inte H02 inte i H01.
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » lör 03 jan 2015, 15:04

Englund skrev:Om vi talar om att bevisa bortom allt rimligt tvivel så är det endast möjligt vid ett p-värde = 0. Här följer ett bevis för det (osäker på om det är ett valitt bevis dock):

om P(S|H0) = 0 så måste också P(H0) vara lika med 0 eftersom ...
P(H0) = P(H0 & S) / P(S|H0) saknar lösning eftersom man inte kan dividera med 0.
Ofärdigt bevis märkte jag nu. Jag vidareutvecklar det nedan.

om P(S|H0) = 0 så måste också P(H0) vara lika med 0 eftersom ...
täljaren i högerledet måste vara 0 --> P(S|H0) = P(H0 & S) / P(H0) ... eftersom P(S|H0) = 0.
Så, P(H0 & S) = 0 om P(S|H0) = 0, men innebär det automatiskt att P(H0) = 0? Nja, detta håller nog inte för att visa att P(H0) måste vara 0 om P(S|H0) = 0. Nåväl, jag har i alla fall visat att det är så i minst ett fall...
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav SuperDupe » sön 04 jan 2015, 13:03

Ni verkar föra en intressant och seriös diskussion så jag ber om ursäkt för att jag endast mycket översiktligt skummat igenom inläggen. Det är mycket möjligt att ni har tagit upp min lilla kommentar som jag har nu, men here goes:

Jag skulle vara försiktig med att tolka p-värdet allena som stöd för någon särskild hypotes eftersom p-värdet är beroende av antalet observationer. Jag själv arbetar till exempel just nu med data som innehåller runt 700 000 observationer och i regressionerna blir naturligtvis allt i stort sett alltid "statistiskt signifikant" på en extrem nivå (p < 0.000) mer eller mindre oavsett vad jag gör. Med så många observationer säger p-värdet inte mycket. Ett skäl till det är att i verklig data är nollhypotesen i allmänhet orimlig (att två grupper är exakt lika eller att en estimerad koefficient skulle vara exakt 0, oavsett om man har randomiserat eller ej). I stället för att förlita sig på statistisk signifikans bör man fundera på om estimaten är "ekonomiskt/klinistiskt signifikanta", d.v.s. om den estimerade effekten är tillräckligt stor för att vara av praktisk betydelse. Men det går, naturligtvis, inte att testa statistiskt. (Och ekonomiskt/klinisk signifikans ska man naturligtvis alltid fundera på oavsett antalet observationer.)

Tillägg: Jag såg nu att Crepitus tog upp problemet med antalet observationer i detta inlägg.
SuperDupe
 
Inlägg: 1673
Blev medlem: mån 29 nov 2004, 10:56
Ort: Uppsala

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » mån 05 jan 2015, 16:59

SuperDupe skrev:Ni verkar föra en intressant och seriös diskussion så jag ber om ursäkt för att jag endast mycket översiktligt skummat igenom inläggen. Det är mycket möjligt att ni har tagit upp min lilla kommentar som jag har nu, men here goes:

Jag skulle vara försiktig med att tolka p-värdet allena som stöd för någon särskild hypotes eftersom p-värdet är beroende av antalet observationer. Jag själv arbetar till exempel just nu med data som innehåller runt 700 000 observationer och i regressionerna blir naturligtvis allt i stort sett alltid "statistiskt signifikant" på en extrem nivå (p < 0.000) mer eller mindre oavsett vad jag gör. Med så många observationer säger p-värdet inte mycket. Ett skäl till det är att i verklig data är nollhypotesen i allmänhet orimlig (att två grupper är exakt lika eller att en estimerad koefficient skulle vara exakt 0, oavsett om man har randomiserat eller ej). I stället för att förlita sig på statistisk signifikans bör man fundera på om estimaten är "ekonomiskt/klinistiskt signifikanta", d.v.s. om den estimerade effekten är tillräckligt stor för att vara av praktisk betydelse. Men det går, naturligtvis, inte att testa statistiskt. (Och ekonomiskt/klinisk signifikans ska man naturligtvis alltid fundera på oavsett antalet observationer.)

Tillägg: Jag såg nu att Crepitus tog upp problemet med antalet observationer i detta inlägg.
Helt enig! Men det finns en liten twist på detta problem.

Om man har en ändlig population så är det så som du säger, d.v.s. att det alltid är en skillnad mellan grupperna. Väntevärdet för två identiska tärningar är dock 3.5 i båda fallen och skiljer sig således inte. Så om du utför ett hypotestest med tärningarna så kommer signifikant resultat uppnås endast i 5% av fallen, givet en signifikansnivå på 0.05 samt att testet är perfekt utfört och kontrollerat. Detta gäller oavsett om du tar ett urval av 100 eller 1.000.000 kast.
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » mån 05 jan 2015, 17:13

Englund skrev:Gör man på det viset så innebär det att P(S | H0) minskar om min(H0) minskar, vilket är felaktigt. P-värdet ökar om min(H0) minskar eftersom H0 då täcker en större del av utfallsrummet. Författaren påpekar detta tidigare i artikeln också men ändå gör han detta misstag.
Eller så gjorde författaren inget misstag och hans kritik kanske snarare var riktad mot hur man beräknar p-värden när man sätter intervallnollhypoteser. Om det nu är vanligt att man beräknar p-värden på det vis han föreslog vid intervallnollhypoteser...
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » mån 05 jan 2015, 20:08

Englund skrev:
Englund skrev:Gör man på det viset så innebär det att P(S | H0) minskar om min(H0) minskar, vilket är felaktigt. P-värdet ökar om min(H0) minskar eftersom H0 då täcker en större del av utfallsrummet. Författaren påpekar detta tidigare i artikeln också men ändå gör han detta misstag.
Eller så gjorde författaren inget misstag och hans kritik kanske snarare var riktad mot hur man beräknar p-värden när man sätter intervallnollhypoteser. Om det nu är vanligt att man beräknar p-värden på det vis han föreslog vid intervallnollhypoteser...
Nu har jag läst Schervish artikel igen och även ett par andra som refererar till honom, så jag har några ytterligare kommentarer och rättelser av vad jag skrivit tidigare.

Det Shervish hävdar är att p-värden inte kan användas som "measure of support" mot H0 eftersom det är ett inkonsistent mått vid användning av hypoteser där det a) lägre (l) (högre (h)) värdet i nollhypotesen inte går mot -oändligheten (oändligheten) samt ej mot det högre (lägre) värdet. Vidare för han resonemanget vidare och helt korrekt hävdar att både en ensidig- och en punkthypotes kan ses som specialfall av a) eftersom a) är ekvivalent med exempelvis en punkthypotes om limes_l = h, och därför kan ej heller varken p-värden från ensidiga hypoteser eller punkthypoteser användas som "measure of support" mot H0.

Hans resonemang är helt klart vettigt och bör stämma. Men mina simuleringar säger annorlunda, likaså verkar flera framstående statistiker göra enligt Abdey (2009), se bl.a. DeGroot (1973) (har dock ej läst denna än eftersom jag inte har oändligt med tid).

Schervish artikel är helt klart vettig och jag finner numer inga logiska fallgropar. Inte heller verkar andra göra det eftersom artikeln han skrev har fått väldigt stor impact och det är många som refererar till hans artikel. Så vem är jag att komma med invändningar egentligen? Däremot...mina simuleringar säger annorlunda; annorlunda när limes_l = h (eller limes_h = l) åtminstone. Jag är relativt säker på att simuleringarna är valida under de premisser som rådde under dem, och således stöder de min ståndpunkt (gissar på att de gäller under alla hypotestest som inte uppfyller a)). Det jag inte alls är jag inte lika säker på att resultaten är generaliserbara till alla möjliga situationer, såsom a).

Summering: 1. Jag finner inga logiska fallgropar i Schervish resonemang. 2. Jag finner dock problem med de resultat som uppnås om man låter limes_l = h, vilket jag visat (ganska övertygande enligt mig själv, men säg gärna till om det är något fel med mina simuleringar). 3. De logiska resonemang han lägger fram verkar korrekta, men dessa logiska resonemang verkar inte fungera som förväntat när man låter l gå mot h.
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
PS. Om det inte framgått i detta inlägg så har jag reviderat följande påstående under vissa premisser.
Englund skrev:
Crepitus skrev:P-värdet är inte en sannolikhet för H0, men är ändå det på något vis
Men när du skriver att ett lägre p-värde ger en ”säkrare” slutsats rörande H0, så är innebörden att p-värdet de facto kan förstås som ett sannolikhetsmått/säkerhetsmått mot H0, om än på en annan skala än p-värdet självt.
Så kan man nog tolka det. Men det är en felaktig tolkning, vilket vi är eniga om. Så nej, jag köper inte att det är korrekt att tolka mina påståenden på det vis du föreslår ovan.
Jag håller alltså med dig om att man kan tolka mina påståenden på det viset, åtminstone när det gäller punkthypoteser. Jag skriver också under på att det troligtvis är så under ensidiga hypoteser. Under intervallhypoteser, såsom a), inser jag däremot att detta inte gäller, vilket Schervish ganska övertygande visat.
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
PS2.
Englund skrev:Eller så gjorde författaren inget misstag och hans kritik kanske snarare var riktad mot hur man beräknar p-värden när man sätter intervallnollhypoteser. Om det nu är vanligt att man beräknar p-värden på det vis han föreslog vid intervallnollhypoteser.
Jag reviderar även detta påstående tack vare Lehmann (1986) (jag har ej heller läst denna artikel due to lack of will to spendera ytterligare timmar på detta problem, om än intressanta problem). Att jag reviderar mitt påstående betyder inte att jag förstår varför man beräknar p-värden på det viset under intervallhypoteser, men att jag accepterar att det fungerar på det viset. Jag tycker ändock att det verkar galet.

Referenser
Abdey, S, J. (2009). Quantifying Inferential Decision Errors To Assess Whether Significance Truly Is Significant. Department of Statistics of the London School of Economics [mitt tillägg: En PhD-uppsats].
DeGroot, M. H. (1973). Doing what comes naturally: Interpreting a tail area
as a posterior probability or as a likelihood ratio. Journal of the American Statistical Association 68, 966–969.
Lehmann, E. L. (1986). Testing statistical hypotheses (2nd ed.). New York: Wiley
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav Crepitus » mån 05 jan 2015, 23:17

Englund skrev:Det Shervish hävdar...Hans resonemang är helt klart vettigt och bör stämma.
Vad bra! Det stärker ju min uppfattning att p-värden på logiska grunder inte kan tolkas som evidensmått mot någon hypotes.

Englund skrev:Men mina simuleringar säger annorlunda....

Vad gäller dina simuleringar så får jag intrycket att du omvandlat p-värdena från mitt exempel till signifikansnivåer i din simulering (se rad 6 & 8 i din pseudokod, sid 10, 13:55).

Om så är fallet visar du att en lägre signifikansnivå ger en färre typ 1-fel. Det är är okontroversiellt; Neyman/Pearson school.

Vad jag önskar att du leder i bevis (fast jag tror inte att det går) är ditt påstående (sid 9: 07:31) "ju lägre p-värde, desto säkrare slutsats att H0 är falskt"
When the facts change, I change my mind. What do you do, Sir?
Användarvisningsbild
Crepitus
 
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inläggav Englund » tis 06 jan 2015, 00:25

Crepitus skrev:
Englund skrev:Det Shervish hävdar...Hans resonemang är helt klart vettigt och bör stämma.
Vad bra! Det stärker ju min uppfattning att p-värden på logiska grunder inte kan tolkas som evidensmått mot någon hypotes.
Det kan ju vara så att dessa logiska grunder inte gäller under vissa förhållanden, såsom när man rör sig inom den infinitesimala världen (http://sv.wikipedia.org/wiki/Infinitesimal). Detta är precis vad Schervish utgår från vara gällande när han visar på att p-värdet inte är ett konsistent evidensmått mot H0. Jag menar att det är så under vissa förhållanden - att de inte gäller alltså. Tänk hur Einsteins relativitetsteori "fallerar" under vissa extrema förhållanden (eller om det är gravitationsteorin som fallerar under dessa förhållanden...minns inte riktigt vilken av dem eller om det är båda som "fallerar").
Crepitus skrev:
Englund skrev:Men mina simuleringar säger annorlunda....

Vad gäller dina simuleringar så får jag intrycket att du omvandlat p-värdena från mitt exempel till signifikansnivåer i din simulering (se rad 6 & 8 i din pseudokod, sid 10, 13:55).
Där har du helt rätt! Men slutsatsen blir densamma om man utför simuleringen på liknande vis som du föreslår.

> pvalue(1000,50,0.38,0.42)
[1] 0.055
> pvalue(1000,50,0.038,0.042)
[1] 0.242
> pvalue(1000,50,0.018,0.022)
[1] 0.34
> pvalue(1000,50,0.008,0.012)
[1] 0.488
> pvalue(1000,50,0.004,0.008)
[1] 0.604
> pvalue(1000,50,0.002,0.004)
[1] 0.705
> pvalue(1000,50,0.001,0.002)
[1] 0.802
> pvalue(1000,50,0.0001,0.001)
[1] 0.908

De fetmarkerade siffrorna anger andelen gånger korrekt slutsats dras när p-värdet är inom de intervall som anges i kursiv stil. Tyvärr går det inte att utföra exakt vad du efterfrågade p.g.a. den matematiska egenskapen* P(X=x) = 0 (gäller enbart när X är kontinuerligt fördelad, vilket är fallet i min simulering). Än fast denna egenskap antagligen inte gäller enligt R's slumpgenerator så skulle det ta väldigt lång tid att utföra en sådan simulering eftersom antalet loopar skulle bli väldigt många. Det är anledningen till att jag avslutar den innersta repeat-loopen när p-värdet hamnar inom de intervall som anges i kursiv stil ovan.
Crepitus skrev:Vad jag önskar att du leder i bevis (fast jag tror inte att det går) är ditt påstående (sid 9: 07:31) "ju lägre p-värde, desto säkrare slutsats att H0 är falskt"
Jag vill påstå att det är precis vad jag gjort ovan. Givetvis är det inget bevis i bemärkelsen att det är bevisat bortom allt rimligt tvivel. Men det är visat nästan bortom allt rimligt tvivel under de förutsättningar som råder under de premisser som var gällande under simuleringen åtminstone. Denna typ av hypotestest är också antagligen den vanligaste, d.v.s. att man sätter en punkthypotes. Vidare vågar jag också påstå att simuleringen är generaliserbar till många andra förhållanden.

För att förtydliga vill jag bara säga att Schervish argument inte faller på någon punkt enligt logiska principer. Däremot verkar de falla under punkthypoteser (när limes_l = h), ungefär som relativitetsteorin faller under extrema förhållanden.

Kod: Markera allt
pvalue <- function(M,n,p1,p2) {
  Pvalue <- numeric(M); Correct <- numeric(M)
    for (i in 1:M) {
      repeat {
        mu <- rbinom(1,1,0.1)
        if (mu==1) {mu <- runif(1,-0.5,0.5)}
        x <- rnorm(n, mu, 1)
        s2 <- sum((x-mean(x))^2)/(n-1)
        T <- sqrt(n)*(mean(x)-0)/sqrt(s2)
        Pvalue <- 2*pt(-abs(T),df=n-1)
        if(Pvalue >= p1 & Pvalue <= p2 & mu == 0) {Correct[i] <- 0}
        if(Pvalue >= p1 & Pvalue <= p2 & mu != 0) {Correct[i] <- 1}
        if(Pvalue >= p1 & Pvalue <= p2) {break}
      }
    }
  mean(Correct)
}
pvalue(1000,50,0.0001,0.001)
*Det populärvetenskapliga resonemanget bakom denna egenskap är att, såsom jag förstått det, givet att X kan anta vilka värden som helst inom ett givet intervall (en kontinuerlig variabel alltså), om P(X=x) > 0 så skulle P(-inf<X<inf) = inf eftersom det finns oändligt många värden som X kan anta. Och eftersom P(-inf<X<inf) = inf inte är möjligt så måste P(X=x) vara lika med 0.
Nu är då och framtiden är för alltid!
Englund
 
Inlägg: 871
Blev medlem: sön 06 feb 2011, 12:14
Ort: Borås

Re: Vad kan man göra med en nollhypotes?

Inläggav kaxiga Z » tor 08 jan 2015, 19:21

Nu börjar det bli djupt filosofiskt. Vad innebär egentligen en sannolikhet? Tänker på Monty Hall-exemplet och vad sannolikheten är för en viss låda sett från den tävlande, respektive från lekledaren sett (där lekledaren har 100 % på den låda som h*n själv har gjort till vinstlåda från början).
Lite sådana funderingar.

Påverkas sannolikheten för att ha haft rätt i att förkasta nollhypotesen (ifall den alternativa hypotesen ger totala resten av utfallsrumsuniversum), med mindre och mindre p-value? Det borde den göra, men inom rätt spektrum, som matsw påpekade.
Och vilken typ av sannolikhet handlar i så fall detta om? Jo, den om hur stor andel publicerade* forskningsartiklar, inom samma fält, och inom samma p-värdes-intervall, som har fel i att ha förkastat nollhypotesen.


*dvs där en kollegial grupp personer kollat upp så att alternativhypotesen argumenteras för på vettigt vis.
Användarvisningsbild
kaxiga Z
Forummoderator
 
Inlägg: 17568
Blev medlem: tor 21 jun 2007, 07:44

Re: Vad kan man göra med en nollhypotes?

Inläggav Crepitus » fre 09 jan 2015, 16:35

Här är en annan filosofisk fundering om p-värden.

Definitionen på p-värdet är denna: P-värdet är sannolikheten att få de
resultat man fått eller mer extrema, givet att nollhypotesen är sann.

(därför är Englunds senaste - sid 10: 13:55 - uttolkning av p-värdet felaktigt)


Utifrån definitionen, begrunda följande resonemang:

De resultat vi fått är de vi observerat.

De mer extrema resultaten som definitionen hänvisar till är händelser som inte är sannolika (under nollhypotesen) och som vi inte har observerat eftersom de inte har inträffat.

Nollhypotesen är ett påstående som gör anspråk på att säga något om verkligheten.

Om p-värdet uttrycker någon form av sannolikhet/säkerhet i slutsatser som rör H0 så innebär detta att osannolika händelser som inte har inträffat har bevisvärde för hur verkligheten är.

Det verkar väldigt konstigt.


Dessutom är de osannolika händelserna som inte har inträffat långt fler än de osannolika händelserna som har inträffat.
Således tycks p-värdet till största delen bero på ett osannolikt alternativt scenario som inte inträffat.


Så här sammanfattade Sir H. Jefferey denna konstighet i Theory of probability (Oxford University Press, 1998/1939).

What the use of P implies, therefore, is that a hypothesis that may be true may be rejected because it has not predicted observable results that have not occurred.
When the facts change, I change my mind. What do you do, Sir?
Användarvisningsbild
Crepitus
 
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inläggav kaxiga Z » fre 09 jan 2015, 19:53

Ifall den högt aktade tidskriften Nature skulle ändra till snävare kriterium på endast en punkt: Från och med nu behövs p-värde < 0,01 istället för p-värde < 0,05, för publicering av artikel inom samma fält. (i övrigt samma peerreview-koll på argument, teser, vettighet, avfärdar datamining osv), tror du i så fall att det bland tidskriftens artiklar blir en större eller mindre andel korrekta förkastanden av nollhypotesen, efter den ändringen?
Användarvisningsbild
kaxiga Z
Forummoderator
 
Inlägg: 17568
Blev medlem: tor 21 jun 2007, 07:44

Re: Vad kan man göra med en nollhypotes?

Inläggav Crepitus » fre 09 jan 2015, 22:12

kaxiga Z skrev:Ifall den högt aktade tidskriften Nature skulle ändra till snävare kriterium på endast en punkt: Från och med nu behövs p-värde < 0,01 istället för p-värde < 0,05, för publicering av artikel inom samma fält. (i övrigt samma peerreview-koll på argument, teser, vettighet, avfärdar datamining osv), tror du i så fall att det bland tidskriftens artiklar blir en större eller mindre andel korrekta förkastanden av nollhypotesen, efter den ändringen?

Då skulle man få en större andel korrekt förkastade nollhypoteser (färre typ 1-fel).

Hurså?
When the facts change, I change my mind. What do you do, Sir?
Användarvisningsbild
Crepitus
 
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

FöregåendeNästa

Återgå till Allmänt

Vilka är online

Användare som besöker denna kategori: Inga registrerade användare och 2 gäster
cron