Statistisk signifikans i medicinska rapporter
Hej, jag läser en medicinsk reviewartikel, det är påståenden överallt med sjukt höga p-värden (uppemot 0,5)), varför presentera de om de är insignifikanta?
Det beror väl på sammanhanget. Kanske för att visa att de inte är signifikanta? Kan du fota ett exempel och lägga upp?
Det presenteras så för att det blir den signifikansen, men det säger tyvärr inte alltid att det är ett biologiskt viktigt sammanhang (valde med flit att inte skriva det som "signifikant", vilket i sig är en alltför vanligt term i publikationer med numeriskt hög signifikans).
Vissa publikationer och författare verkar tycka det är "bättre att presentera" ett resultat med en hög statistisk signifikans mellan t.ex. två polulationer - än att faktiskt styrka ett biologiskt starkt samband. Ett enkelt sätt att matematiskt försöka visa ett samband, som faktiskt allt för ofta förvisso är statistiskt signifikant - men inte alltid biologiskt relevant.
Om en mutation gör ett enzym inaktivt går det enkelt att påvisa med relativ aktivitet i procent, och visa ett stapeldiagram. Men att sätta en, två eller tre(!) asterisker för att visa att skillnaden mellan två grupper (vild typ och mutant) är statistiskt signifikant är bara snömos. Inte undra på att det är en signifikant skillnad i aktivitet om mutanten är helt inaktiv - men asteriskerna tillför inget (frånsett att det ser ut som om författarna kan pilla lite i STATA eller likande) - biologin är den samma, enzymet är inaktivt.
Det dyker upp för att det går helt enkelt, och "visar alla sina data med en eller två asterisker så gör vi det med". I många fall är det av intresse att skillnaden eller dylikt är signifikant, men allt för ofta i high impact publikationer strösslas det med asterisker bara för att "det går". I smalare publikationer förekommer statistiken men denna granskas hårdare (av de som verkligen jobbar med dylik data), men där skulle nog inte många av de asteriskströsslade manuskripten passera granskningen.
Saikaly, S. K., Saikaly, T. S. & Saikaly, L. E. (2018).Recurrent aphthous ulceration: a review of potential causes and novel treatments [PMID:29278022]. Journal of Dermatological Treatment, 29(6), 542–552. https://doi.org/10.1080/09546634.2017.14220791
Mag, du menar att det är skillnad mellan statistisk och biologisk signifikans? Om ett enzym är inaktivt, och vi vet att det är för att vi har förändrat dess aminosekvens är det inte intressant att vidare kommentera utifrån statisktiskt perspektiv? Ja verkligen, då är det bara att säga anledningen, eftersom vi redan vet den.
Så ja, men om vi inte på förhand vet om orsakssambandet, är inte matematiken det enda som vi har att gå på då?
Vad menar du med asterisker?
Din artikel är en review som jag antar refererar till orginalpublikationens rapporterade statistik, så du kan inte anta att de räknat på samma vis.
Mag, du menar att det är skillnad mellan statistisk och biologisk signifikans
Ja, bara för att ett samband är matematisk signifikant innebär det inte att det är viktigt eller ens riktigt i ett biologisk sammanhang. Det går att räkna på det mesta, men långt ifrån allt är relevant att räkna på. Du kan alltid få ett resultat när du räknar statistik, oftast även ett signifikant - om du väljer "rätt" data. Där "rätt" är ett som ger dig en signifikant skillnad (om det är det som du vill presentera).
För asteriskerna: Dessa anges för att indikera signifikans i bilder, vad de nu beräknat signifikansen av(?) oftast att skillnaden mellan en eller flera grupper inte skulle vara slumpmässig.
Hittade ett exempel direkt från Science förstasida, i Sci. Immunology.
Och detta är beskrivningen av den statistiska analys som gjorts.
Ser ut att vara en stor skillnadmed pIC butyrate som författarna observerade (svarta punkterna på höger sida). Att differensen mellan de svarta datapunkterna (SiCtrl) de två andra experimenten är signifikant stämmer matematiskt, men ökar det verkligen trovärdigheten i att detta resultat är (biologiskt) viktigt, riktigt eller tillför något?
Att studentens t-test visar att skillnaden är signifikant, gör det data i grafen mer trovärdig? Jag skulle påstå att det inte är fallet, skillnaden ses mellan punkterna. Skulle de underbygga detta resultat vore det bättre att reproducera det hela, istället för att göra statistiska test mellan tre dataserier med endast 3 datapunkter var. Det är nog svaret från en statistiker, men författarna/tidskriften är riktad mot biologer istället (och de är ökända för sitt användande av statistik).
Qetsiyah skrev:Hej, jag läser en medicinsk reviewartikel, det är påståenden överallt med sjukt höga p-värden (uppemot 0,5)), varför presentera de om de är insignifikanta?
Nu har jag skummat igenom din artikel och jag hittar bara påståenden om höga p-värden där författarna påstår att skillnaden inte är signifikant. Till exempel:
In contrast, another study examining salivary IgA levels in 20 RAU patients and 20 healthy controls did not find a significant difference between the groups (p = .42) (51).
Så vad är det egentligen du tycker är konstigt, jag förstår inte riktigt det?
