Statistik- distribution family
Läste i wikipedia lite om conjugate priors och i första paragrafen står det:
"In Bayesian probability theory, if the posterior distribution p(θ | x) is in the same probability distribution family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function p(x | θ)."
Källa: https://en.wikipedia.org/wiki/Conjugate_prior
Vad exakt betyder probability distribution family i detta sammanhang?
Min gissning skulle vara om exempelvist prior (conjugate prior) är ifrån en sannolikhetsfördelning A, så betyder det att posterior också kommer vara ifrån samma sannolikhetsfördelning A, där A kan vara exempelvist normalfördelning. Så enkelt tänker jag att det är. Men sen så finns det något som heter exponential family, men där så kan många olika fördelningar inkluderas enligt wikipedia:
Vilket betyder att om exempelvist conjugate prior är ifrån exponential family distribution, och att den är exempelvist normalfördelad, då kan posterior vara gamma fördelad istället och behöver inte vara just normalfördelad eftersom båda är inom exponential family distribution? Men då gäller inte min enkla tolkning iaf, att det måste vara exakt samma sannolikhetsfördelning, utan så länge det är inom en family of distribution så är det lugnt? Dock så vet jag fortfarande inte vad exakt en probability distribution family innebär.
På den här frågan kan man ge ett otroligt komplicerat svar eller ett ganska enkelt. Vi kör det enkla.
En familj av fördelningar är en delmängd av mängden av alla fördelningar. Punkt.
en familj kan alltså vara en enda fördelning, typ N(0,1) eller till exempel mängden av alla normalfördelningar, eller mängden av alla fördelningar med ändlig varians eller för den delen mängden av alla fördelningar.
Förkonjugatfördelningar betyder detta att vilja två fördelningar som är konjugat beror på vilken familj vi betraktar. Om två fördelningar är konjugat eller inte är alltså inte en egenskap hos fördelningarna utan hos familjen. Två fördelningar kan vara konjugat om vi betraktar som medlemmar av vissa familjer och samtidigt inte konjugat om vi betraktar dem som medlemmar av andra familjer. Observera särskilt att alla fördelningar är konjugat till varandra om familjen är mängden av alla fördelningar.
Mitt intryck är att vanligtvis när man pratar om konjugerade prior-fördelningar syftar man på ”mängden av alla normalfördelningar” eller ”mängden av alla betafördelningar” osv, dvs prior är normal/beta-fördelad och posteriorn är också normal/beta-fördelad. Är jag ute och cyklar?
Jag blir också lite nyfiken på det komplicerade svaret, du kan inte hinta lite?
Jamen normalt sett är det ju inte så intressant med godtycklig delmängd.
Istället tänker man sig först en specifik definitionsmängd i allmänhet R^n. Vi kan tills vidare anta att vi talar om R^1, det vill säga familjer av endimensionella fördelningar. Sedan något parameterrum theta. Från R x theta kan man definiera en funktion F till mängden av sannolihetsfördelningar. En familj av fördelningar är en sådan funktion.
För att det ska bli intressant tänker vi oss då normalt sett är F är en trevlig funktion på något sätt. Rent abstrakt mängdläredefinition som ovan är i allmänhet helt ointressant. Normalt sett antar man ytterligare struktur, alltså att F har några önskvärda egenskaper. Vilka egenskaper som är önskvärda beror i sin tur på pragmatiska hänsyn, alltså vad man behöver i sin statiska modell.
Typiskt sett antar man konvexitet i mängden av fördelningar (om X och Y är sv i familjen ska tX+(1-t)Y också tillhöra familjen) eller att fördelningarna har ett visst väntevärde eller varians eller ett visst samband mellan väntevärde och varians eller att mängden av fördelningar är sluten under vissa gruppverkningar, typ translation ( så om X är sv i familjen så är X+c sv i familjen) eller liknande.
I princip är det är ett topologiskt problem om homotopier, mängden X x theta (utfallsrummet gånger parameterrummet) ska kontinuerligt deformeras till en delmängd av mängden av sannofördelningar, på ett intressant eller nyttigt sätt. Kontinuiteten innebär här att små förändringar i parametern ska leda till i någon mening små förändringar i sannolikhetfördelning. Det är i allmänhet bara för sådana funktioner som det är intressant att tala om som familjer.
Men för frågan om konjugat finns det eg ingen anledning att avvika från "vilken delmängd som helst".
Smutsmunnen skrev:På den här frågan kan man ge ett otroligt komplicerat svar eller ett ganska enkelt. Vi kör det enkla.
En familj av fördelningar är en delmängd av mängden av alla fördelningar. Punkt.
en familj kan alltså vara en enda fördelning, typ N(0,1) eller till exempel mängden av alla normalfördelningar, eller mängden av alla fördelningar med ändlig varians eller för den delen mängden av alla fördelningar.
Förkonjugatfördelningar betyder detta att vilja två fördelningar som är konjugat beror på vilken familj vi betraktar. Om två fördelningar är konjugat eller inte är alltså inte en egenskap hos fördelningarna utan hos familjen. Två fördelningar kan vara konjugat om vi betraktar som medlemmar av vissa familjer och samtidigt inte konjugat om vi betraktar dem som medlemmar av andra familjer. Observera särskilt att alla fördelningar är konjugat till varandra om familjen är mängden av alla fördelningar.
Tack för ett bra och simplifierat svar!
Ang förklaringen med topologisk inslag fattar jag noll av, men jag antar att man behöver ta en kurs i abstrakt algebra och kanske real analys eller någon mängdlära kurs innan man kan börja tillgodogöra sig kunskaper från topologiska kurser? Och givet att jag inte tagit något av dem så kanske det inte är så konstigt.
