Vad kan man göra med en nollhypotes?

Diskutera allmänt om vetenskap, pseudovetenskap och folkbildning, t.ex. vetenskapsteori eller forskningspolitik.
Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » fre 10 okt 2014, 21:03

Crepitus skrev:
Englund skrev:Jag tror du blandar ihop verkligheten med de slutsatser man drar.
Ja, exakt. Jag trodde det var en feature.
Nej då, den slutsats som dras är oftast beroende av verkligheten, men verkligheten är aldrig beroende av den slutsats som dras.

[dryg]Prova att 1000 gånger anta att det står minst en (1) levande tiger med formen av en kub med sidorna 10 cm i din kyl. Påverkas antalet kubminitigrar i kylen av ditt/din antagande/slutsats?[/dryg]
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » tis 11 nov 2014, 15:46

Englund skrev:
Crepitus skrev:
Englund skrev:Jag tror du blandar ihop verkligheten med de slutsatser man drar.
Ja, exakt. Jag trodde det var en feature.
Nej då, den slutsats som dras är oftast beroende av verkligheten, men verkligheten är aldrig beroende av den slutsats som dras.

[dryg]Prova att 1000 gånger anta att det står minst en (1) levande tiger med formen av en kub med sidorna 10 cm i din kyl. Påverkas antalet kubminitigrar i kylen av ditt/din antagande/slutsats?[/dryg]
Ursäkta sent svar. Nej, jag tror inte att antaganden påverkar verkligheten. Jag tror heller inte att jag påstått det.

Jag påstod att en förkastad nollhypotes ger ett indirekt och hypotetiskt stöd för (alternativ)hypotesen.
Uppfattningen att hypotesen måste gälla om nollhypotesen förkastas är en form av naiv induktivism.
Det går ju att formulera mer eller mindre sannolika nollhypoteser och även signifikanstestet pekar mot att nollhypotesen ska förkastas återstår att värdera om det då är rimligt att hålla hypotesen för riktig.

Det sättet du formulerade din hypotes är för övrigt inte vanlig.
Hypoteser gör oftast anspråk på att ha ett förklaringsvärde bortom den undersökta populationen.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 13 nov 2014, 22:57

Jag tror vi pratar förbi varandra. Det jag ställde mig frågande till från början var följande:
crepitus skrev:Stödet är även hypotetiskt eftersom det alltid finns flera möjliga alternativhypoteser.
Jag menade på att det inte finns flera möjliga alternativhypoteser, eftersom noll- och alternativhypotesen fyller hela utfallsrummet*. D.v.s. enbart, och endast enbart, noll- eller alternativhypotesen kan vara sann, ingenting annat är möjligt. Alltså finns det inte alls flera möjliga alternativhypoteser.

*Åtminstone i normalfallet, det finns säkert testsituationer där man sätter upp noll- och alternativhypoteser som inte täcker hela utfallsrummet.
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » mån 24 nov 2014, 07:41

Englund skrev:Jag tror vi pratar förbi varandra. Det jag ställde mig frågande till från början var följande:
crepitus skrev:Stödet är även hypotetiskt eftersom det alltid finns flera möjliga alternativhypoteser.
Jag menade på att det inte finns flera möjliga alternativhypoteser, eftersom noll- och alternativhypotesen fyller hela utfallsrummet*. D.v.s. enbart, och endast enbart, noll- eller alternativhypotesen kan vara sann, ingenting annat är möjligt. Alltså finns det inte alls flera möjliga alternativhypoteser.

*Åtminstone i normalfallet, det finns säkert testsituationer där man sätter upp noll- och alternativhypoteser som inte täcker hela utfallsrummet.
Ja, det gör vi, pratar förbi varandra, fast intressant ändå att förstå hur vi resonerar olika. Det är klart att om du utifrån en nollhypotes definierar att alternativhypotesen är alla andra värden än nollhypotesen så har du rätt. Men det hör nog till ovanligheterna att man definierar sin alternativhypotes så.
En mer allmängiltig definition av alternativhypotesen är att det är ett påstående som man kan härleda vissa observationer från, observationer som kan avgöras empiriskt. Dock kan det finnas flera konkurrerande alternativhypoteser som också kan vara förenliga med dessa observationer.
Den statistiska hypotesprövningen kan blott förkasta nollhypotesen, inte styrka vilken av konkurrerande hypoteser som är mest sannolik.

I strikt mening kan en nollhypotes som din undersökas med ensidiga eller tvåsidiga test vilket ger upphov till tre olika testbara alternativhypoteser, så här:
H0 X=173 cm
HA1 X<173 cm (ensidigt test)
HA2 X>173 cm (ensidigt test)
HA3 X≠173 cm (tvåsidigt test)

Man kan väl inte säga att dessa alternativhypoteser konkurrerar, men det finns uppenbarligen flera möjliga alternativhypoteser till samma nollhypotes.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tis 25 nov 2014, 22:33

Crepitus skrev:Det är klart att om du utifrån en nollhypotes definierar att alternativhypotesen är alla andra värden än nollhypotesen så har du rätt. Men det hör nog till ovanligheterna att man definierar sin alternativhypotes så.
Nja, det vill jag påstå är felaktigt. Man gör alltid så (förutom vid eventuella specialfall då, som ingen ännu ej presenterat på ett korrekt sätt). Om du trots allt har rätt så skulle jag bli halvt förstörd och missnöjd med mig själv med tanke på att jag aldrig någonsin utfört ett test på det viset trots åratal av universitetsstudier i statistik och ett jobb där jag utför hypotestest i mängder dagligen.
Crepitus skrev:I strikt mening kan en nollhypotes som din undersökas med ensidiga eller tvåsidiga test vilket ger upphov till tre olika testbara alternativhypoteser, så här:
H0 X=173 cm
HA1 X<173 cm (ensidigt test)
HA2 X>173 cm (ensidigt test)
HA3 X≠173 cm (tvåsidigt test)

Man kan väl inte säga att dessa alternativhypoteser konkurrerar, men det finns uppenbarligen flera möjliga alternativhypoteser till samma nollhypotes.
När man utför test av sorten HA1 och HA2 så sätter man faktiskt nollhypotesen till X>=173 respektive X<=173, så även här kan ingenting annat råda än noll- och alternativhypotesen. [Kuriosa/OT]Och när man testar flera hypoteser på det vis du föreslår så gör man något ohederligt om man inte samtidigt korrigerar sannolikhetsfördelningen på statistikorna (d.v.s. den fördelning statistikan följer under nollhypotesen - på svenska: vid multipla test så måste man korrigera den ursprungliga signifikansnivån). Exempel: Testar vi något på med en signifikansnivå på 0.05 så blir, givet oberoende test för enkelhetens skull, den verkliga signifikansnivån vid tre test 1-(1-0.95)^3 > 0.05. Därför måste sannolikhetsfördelningen för statistikorna korrigeras.

Ett mer allmänt exempel kan vara att ta oss till slantsinglingens värld: Ponera att man singlar slant 100 gånger om och om igen tills man till slut får 80 av 100 klave, och sedan drar man slutsatsen att sannolikheten för klave är 0.8 utan att för den skull ta med i beräkningen att man singlat slant 100 gånger om och om igen.[/Kuriosa/OT]
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 27 nov 2014, 19:59

Nu har jag hittat exempel på när alternativhypotesen inte är komplementet till nollhypotesen. Med hjälp av Neyman Pearsons lemma så kan man härleda test av simpla hypoteser mot varandra (en simpel hypotes är en hypotes där den parameter man önskar undersöka till fullo specificerar sannolikhetsfördelningen av X). Det finns säkert fall där detta är det enda alternativet, tyvärr tror jag inte det finns särskilt många sådana fall idag tack vare datorns introduktion på marknaden. För oavsett om vi inte analytiskt kan härleda fördelningen av någon teststatistika så kan man ändå utföra hypotestest med hjälp av simulering.

Dessutom anser jag att det är dumt att sätta upp en simpel alternativhypotes eftersom evidens mot nollhypotesen i det fallet inte är evidens för alternativhypotesen. Anta att vi testar

H0: E[X] = a
HA: E[X] = b,

där alternativhypotesen (well, nollhypotesen också såklart) är en simpel hypotes. Evidens för att E[X] ≠ a är inte evidens för att E[X] = b.

Såhär skriver Casella och Berger (en välkänd och välanvänd bok i statistisk teori/inferens): Den generella formen på ett hypotestest är att sätta alternativhypotesen lika med nollhypotesens komplement (vilket är samma sak som jag påstod tidigare, dvs att noll- och alternativhypotesen fyller hela utfallsrummet).

Notera det fetstilta ovan. Det anser jag ger mig rätt angående vad jag skrev tidigare. Jag skrev att man alltid gjorde på det viset och reserverade mig för att det eventuellt skulle finnas specialfall som jag då inte visste om, men vet nu. Oavsett vad, jag vågar påstå att en bra bit över 90 % av alla hypotestest som utförs idag går till på detta vis. Hur jag kan känna mig så säker på det? Ptja, förutom Casella och Bergers formulering: varken jag eller någon jag känner (såvitt jag vet i alla fall) har någonsin utfört ett hypotestest av den sort du föreslog i ett praktiskt sammanhang. I teoretiska sammanhang under universitetstiden i syfte att förstå metodik m.m, ja, men inte annars.

Se http://math.nenu.edu.cn/uploads/soft/12 ... erence.pdf på sida 832 precis under definition 8.1.2 för mer info.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 27 nov 2014, 22:32

Englund skrev:Se http://math.nenu.edu.cn/uploads/soft/12 ... erence.pdf på sida 832 precis under definition 8.1.2 för mer info.
Sidan 373 ska det vara...
Englund skrev:1-(1-0.95)^3 > 0.05.
1-(1-0.05)^3 > 0.05 ska det ju vara...
Nu är då och framtiden är för alltid!

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » fre 28 nov 2014, 08:27

Vänta lite nu. Nu måste vi backa bandet innan det här spårar ur helt.

Så här skrev jag i en lång drapa apropå vad man kan göra med en förkastad nollhypotes:
Crepitus skrev:Stödet [för hypotesen] är även hypotetiskt eftersom det alltid finns flera möjliga alternativhypoteser.
Du invände och svarade
Englund skrev:Det stämmer nog inte riktigt. När man sätter upp ett hypotestest så fyller hypoteserna alltid hela mängden av möjliga händelser (det är möjligt att det finns specialfall som jag inte vet om, såklart).
När du nu med stöd i Casell och Berger åter lyfter fram att nollhypotesen och hypotesen fyller hela utfallsrummet (vilket ingen har ifrågasatt, ja - mer än du själv då) undrar jag om du menar att det är att argument för att alternativhypoteser inte kan finnas?
För det är det inte.

Med hypotes i dess generella bemärkelse (se definition nedan) menar man en förklaring, en lösning på ett problem. Genom att förkasta nollhypotesen får man ett indirekt stöd att ens förklaring/sitt påstående stämmer.
Men det utesluter inte att det kan finnas andra förklaringar eller lösningar på problemet som kan vara riktiga när nollhypotesen förkastas.
Om det finns alternativhypoteser respektive hur sannolika de är ger den statiska hypotesprövningen inte någon vägledning om. Möjliga alternativhypoteser som också skulle kunna förklara resultat kan begränsas/uteslutats genom ett gott metodologiskt upplägg.
Du utför mängder av hypotestest dagligen, vilket förmodligen karakteriserar ditt sätt att förstå hypotesprövning. Själv kan jag ägna ett år eller två åt att besvara en hypotes, den statistiska analysen går som regel rätt snabbt, det som tar tid är att designa ett upplägg där man maximerar möjligheten att dra korrekta slutsatser.

Jesper Jerkert (gammal voffare) har skrivit en bra skrift om de vetenskapsfilosofiska aspekterna på hypotesprövning: The Basics of Statistical Hypothesis Testing, här finns den. Här är några relevanta textutdrag som stödjer det jag påstod: att det alltid finns alternativhypoteser till den hypotes man vill undersöka.
Fetningarna är mina.
Sid 11 skrev:When we say that we test a single hypothesis H0, in reality this means that we test H0 alongside a set of auxiliary hypotheses HA,1, HA,2 , . . . , HA,k . When the test tells us to reject H0, we should really interpret this as an exhortation to reject at least one of the hypotheses H0, HA,1, HA,2 , . . . , HA,k . There are always auxiliary hypotheses involved, for example concerning the proper functioning of apparatus or the comparability of groups at baseline.12 Since we have not modeled these auxiliary hypotheses mathematically, we cannot say for sure that the situation of rejecting H0 is accurately described by Fisher’s disjunction.
If we reject H0 (and hence, normally, H0,gen), the test cannot tell us which hypothesis to adopt instead of the rejected one. In other words, by rejecting H0 we have not gained support for any other, specic hypothesis. The explanation for this is that H0 could be wrong for so many dišerent reasons. But since the test was concerned only with the accepting or rejection of H0 (the only hypothesis mathematically modeled), the test says nothing about the credibility of other hypotheses.
sid 24 skrev:As pointed out in many textbooks in the philosophy of science, it seems to be impossible to test a hypothesis in isolation, for there are always some auxiliary hypotheses that we tacitly assume to be true, and that in conjunction with the explicit hypothesis (H0 or whatever it is called) form the set of hypotheses that is really put to test. This impossibility is sometimes referred to as the “Duhem–Quine thesis”.19
The concept of underdetermination is well-known from the philosophy of science. In this context, underdetermination denotes the fact that any set of data can be accounted for by several hypotheses or theories. This has its direct equivalence in statistical hypothesis testing; as we have seen, every test statistic value T(d) can be accounted for by several hypotheses. This means that every statistical hypothesis is underdetermined by the available data.

Defintion på hypotes, sid 2 :
“a hunch, speculation, or conjecture proposed as a possible solution to a problem, and requiring further investigation of its acceptability by argument or observation and experiment”
Belsey, Andrew “Hypothesis”, in Ted Honderich (ed.), The Oxford Companion to Philosophy, 1995 Oxford: Oxford University Press, p 385.)
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » fre 28 nov 2014, 08:34

Ja visst, om man vill kan man göra Bonferroni-korrektion. Men vad har multipel testning och problemen med det med vår diskussion att göra?
When the facts change, I change my mind. What do you do, Sir?

Användarvisningsbild
kaxiga Z
Forummoderator
Inlägg: 17568
Blev medlem: tor 21 jun 2007, 07:44

Re: Vad kan man göra med en nollhypotes?

Inlägg av kaxiga Z » sön 30 nov 2014, 13:22

Fast det är väl oftast helt omöjligt att få med hela utfallsrummet inom enbart två hypoteser i ett hypotestest?

Om man lägger in en tids-aspekt, menar jag.


H0: K påverkar inte X
H1: K påverkar X i samtliga fall/i de flesta fall.

H2: K påverkar X endast i en viss situation, eller viss veckodag (som vi missar att testa idag)

Användarvisningsbild
FudoMyoo
Inlägg: 8949
Blev medlem: ons 29 dec 2004, 15:24

Re: Vad kan man göra med en nollhypotes?

Inlägg av FudoMyoo » sön 30 nov 2014, 15:41

Jag undrar om Englund och Crepitus ens pratar om samma sak.

Ett hjälpantagande (auxiliary assumption/auxiliary hypotheses) till en hypotes syftar väl inte på samma sak som en alternativhypotes?

Eller har jag missuppfattat diskussionen?
Ordnung muss sein.

Användarvisningsbild
Crepitus
Inlägg: 1773
Blev medlem: lör 30 aug 2008, 16:14

Re: Vad kan man göra med en nollhypotes?

Inlägg av Crepitus » sön 30 nov 2014, 21:31

FudoMyoo skrev:Jag undrar om Englund och Crepitus ens pratar om samma sak.
Nej, det förefaller inte så.
FudoMyoo skrev:Ett hjälpantagande (auxiliary assumption/auxiliary hypotheses) till en hypotes syftar väl inte på samma sak som en alternativhypotes?
Eller har jag missuppfattat diskussionen?
Nej, en stödhypotes och en alternativhypotes är inte samma sak.
Den viktiga meningen ovan är: every test statistic value T(d) can be accounted for by several hypotheses.

Exempel: Låt oss anta att en italiensk forskargrupp har en hypotes att neutriner kan färdas snabbare än ljuset.
De sätter upp en nollhypotes att neutriner inte kan färdas snabbare än ljuset och en alternativhypotes att de faktiskt kan det.
Se där, en kombination som fyller alla möjliga utfall.

Så genomför de ett experiment där de skickar iväg neutriner från en partikelaccelerator och mäter när de kommer fram till en mottagare långt bort.
Enligt deras mätinstrument kommer neutrinerna fram 60,7 nanosekunder snabbare än ljuset skulle gjort, ett resultat som beräknas signifikant till 6 sigma (=väldigt litet p-värde).
Resultaten kan tolkas som att om nollhypotesen vore sann skulle det vara väldigt osannolik att få de resultat de fått.
Således kan nollhypotesen förkastas med hög statistisk säkerhet.

Några möjliga tolkningar (konkurrerande/alternativa hypoteser) som kan förklara observationerna:
HA1 Neutriner kan färdas snabbare än ljuset (Einstein hade fel)
HA2 Mätinstrumenten visar fel
HA3 Giuseppe har peakat i sin karriär som fysiker

Vissa anser att HA2 och HA3 är mer troliga än HA1. Poängen är den förkastade nollhypotesen inte kan avgöra vilken av alternativhypoteserna som stämmer.

Englund gav ett knivigt exempel på när en förkastad nollhypotes måste innebära att hypotesen stämmer.
Jag försökte argumentera för att det inte behöver vara så, dvs att den förkastade nollhypotesen inte automatiskt ger stöd för hypotesen.

Den förvirrade diskussionen som följde kanske beror på att vi lägger olika förståelse i begreppet hypotes/nollhypotes och jag tycker Jerkerts skrift är klargörande i det avseendet.
Jerkert skriver att en nollhypotes kan vara generell, H0gen (ett allmängiltigt påstående), respektive mer specifik: H0 (den hypotes vi modulerar och testar matematiskt mot observationer).
Ibland/ofta är H0gen och H0 identiska, men inte alltid och ibland kan inte ens H0 härledas från H0gen (se Jerkerts exempel). Han tar också upp att det kan finnas flera sätt att modellera H0 utifrån H0gen både vad som avses att mätas och vilken test funktion som bör användas.
Kontentan är att en generell hypotes kan undersökas på flera sätt och även om H0 kan förkastas så kan det råda oenighet om det verkligen stödjer den generella hypotesen.

Forskare, till skillnad från statistiker vill jag påstå, definierar inte hypoteser som att en viss test statistics är över ett visst värde. Det är den generella hypotesen man är ute efter.
When the facts change, I change my mind. What do you do, Sir?

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 04 dec 2014, 19:01

Crepitus skrev:Några möjliga tolkningar (konkurrerande/alternativa hypoteser) som kan förklara observationerna:
HA1 Neutriner kan färdas snabbare än ljuset (Einstein hade fel)
HA2 Mätinstrumenten visar fel
HA3 Giuseppe har peakat i sin karriär som fysiker

Vissa anser att HA2 och HA3 är mer troliga än HA1.
Framförallt det ovan skrivna sätter nog spiken i kistan för varför vi pratar förbi varandra. Jag har utgått från den rent matematiska definitionen av hur man generellt sett sätter upp hypotestest. Med andra ord: jag har utgått från att vi lever i en perfekt värld, och i en ofelbar värld har man kontrollerat så att HA2 inte kan ske. Detta i samband med att du har utgått från en mer allmän definition av hypotestest förklarar nog missförstånden.

Låt mig då omformulera mig:

Om hypoteserna fyller hela utfallsrummet, vilket oftast är fallet ur en rent matematisk synvinkel, och om vi lever i en ofelbar värld så finns inga andra hypoteser än att neutriner inte färdas snabbare än ljuset och dess komplement, att neutriner färdas snabbare än ljuset. När man sedan testar detta så har man kontrollerat för förkortning av rummet, felaktiga instrument och peakning av karriär, m.m.

Kort sagt: om testet är perfekt utfört så behöver man inte fundera på någon annan hypotes än noll- och alternativhypotesen, för där finns inga.
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 04 dec 2014, 19:19

kaxiga Z skrev:Fast det är väl oftast helt omöjligt att få med hela utfallsrummet inom enbart två hypoteser i ett hypotestest?

Om man lägger in en tids-aspekt, menar jag.


H0: K påverkar inte X
H1: K påverkar X i samtliga fall/i de flesta fall.

H2: K påverkar X endast i en viss situation, eller viss veckodag (som vi missar att testa idag)
Inom tidsserieanalys sätter man ofta upp liknande (nja, inte så lika nu när jag tänker efter, men låt gå) hypoteser som du föreslår (om jag nu minns rätt vill säga...relativt avancerad tidsserieanalys är inte mycket man sysslar med i yrkeslivet utan det är något som snarare används i D-uppsatser och uppåt). När man testar för hur många serier som är co-integrerade så tittar man på flera test samtidigt och avgör via ockulärbesiktning (mer eller mindre) vilken av hypoteserna som verkar mest trolig.

Men även i detta fall så är hypoteserna uppsatta som så att varje hypotespar fyller hela utfallsrummet. Men ur en vidare definition av hypotestestning så kan man absolut säga att man har flera konkurrerande hypoteser.

http://en.wikipedia.org/wiki/Cointegration
Nu är då och framtiden är för alltid!

Englund
Inlägg: 874
Blev medlem: sön 06 feb 2011, 12:14
Ort: Sundsvall

Re: Vad kan man göra med en nollhypotes?

Inlägg av Englund » tor 04 dec 2014, 19:26

Crepitus skrev:Ja visst, om man vill kan man göra Bonferroni-korrektion. Men vad har multipel testning och problemen med det med vår diskussion att göra?
Ingenting, det var därför jag satte det inom "[Kuriosa/OT]"-paranteser.
Nu är då och framtiden är för alltid!

Skriv svar