Generell övergångsmatris, Markovkedjor

Det var ett tag sen jag sist jobbade med Markovkedjor, men jag har för mig att övergångsmatrisen skall avslöja sannolikheten för systemet att befinna sig i ett visst tillstånd givet hur det var i föregående steg.

Ett exempel skulle vara om man spelar brädspelet monopol och befinner sig på Start så finns det efter ett tärningskast en viss sannolikhet att man befinner sig på Hornsgatan, en viss sannolikhet att man befinner sig på Folkungavägen och en viss sannolikhet att man befinner sig i Fängelse(på besök).

För att modellera detta bildar man sig en vektor där varje värde motsvarar ett läge som systemet kan vara i, i monopolexemplet skulle detta vara att första värdet motsvarar att man befinner sig på Start, andra Västerlånggatan, tredje den där nesliga inbetalningsrutan, fjärde Hornsgatan, osv. För att få reda på vad sannolikheten för ett visst läge är i nästa steg i kedjan multiplicerar man hela sin vektor med en matris som innehåller information om sannolikheten för de olika övergångarna mellan de olika lägena. I monopol-exemplet skulle det motsvara sannolikheten för övergång från Start till Västerlång är 0, från Start till inbetalningsrutan är 1/36, från Start till Hornsgatan är 2/36, osv. Vill man då simulera ett helt parti börjar man med vektorn [1, 0, 0, ..., 0], eftersom man startar på Start, och multiplicerar med sin övergångsmatris väldigt många gånger för att få ut sannolikhetsfördelningen över tid.

En generell övergångsmatris bör innehålla sannolikheten för övergång mellan läge n till läge m på rad n kolumn m, och summan av en rad i matrisen bör ges av 1, eftersom annars skulle det finnas en viss sannolikhet att man inte hamnar i ett nytt läge.

Jag hoppas det här hjälpte.

Hej!

Det kanske behövs mer information här, eller så vet jag helt enkelt bara inte vad det menas med "övergångsmatrisen P för en generell vinstsannolikhet p".

Din matris du skrivit ner ser ut som en Markovkedja där vi i varje tillstånd går ett steg "neråt" med sannolikhet $q$ och ett steg "uppåt" med sannolikhet $p$ (med $p+q=1$). Skulle kanske kunna tolka det som att vi spelar ett spel, där vi slutar om vi når toppen eller botten och annars fortsätter vi med tidigare nämnd sannolikhet att röra oss mellan tillstånd. 

Bedinsis skrev:

Det var ett tag sen jag sist jobbade med Markovkedjor, men jag har för mig att övergångsmatrisen skall avslöja sannolikheten för systemet att befinna sig i ett visst tillstånd givet hur det var i föregående steg.

Ett exempel skulle vara om man spelar brädspelet monopol och befinner sig på Start så finns det efter ett tärningskast en viss sannolikhet att man befinner sig på Hornsgatan, en viss sannolikhet att man befinner sig på Folkungavägen och en viss sannolikhet att man befinner sig i Fängelse(på besök).

För att modellera detta bildar man sig en vektor där varje värde motsvarar ett läge som systemet kan vara i, i monopolexemplet skulle detta vara att första värdet motsvarar att man befinner sig på Start, andra Västerlånggatan, tredje den där nesliga inbetalningsrutan, fjärde Hornsgatan, osv. För att få reda på vad sannolikheten för ett visst läge är i nästa steg i kedjan multiplicerar man hela sin vektor med en matris som innehåller information om sannolikheten för de olika övergångarna mellan de olika lägena. I monopol-exemplet skulle det motsvara sannolikheten för övergång från Start till Västerlång är 0, från Start till inbetalningsrutan är 1/36, från Start till Hornsgatan är 2/36, osv. Vill man då simulera ett helt parti börjar man med vektorn [1, 0, 0, ..., 0], eftersom man startar på Start, och multiplicerar med sin övergångsmatris väldigt många gånger för att få ut sannolikhetsfördelningen över tid.

En generell övergångsmatris bör innehålla sannolikheten för övergång mellan läge n till läge m på rad n kolumn m, och summan av en rad i matrisen bör ges av 1, eftersom annars skulle det finnas en viss sannolikhet att man inte hamnar i ett nytt läge.

Jag hoppas det här hjälpte.

Tusen tack! Detta hjälpte definitivt mig att förstå mer och jag kan även tolka och förstå den korrekta matrisen nu.

Det glädjer mig att höra.

Nu då jag tittar på din matris inser jag att jag inte talat sanning fullt ut:

Intuitivt skulle jag vilja ha de till att om man kallar din övergångsmatris Ö och startlägesvektorn n så bör sannolikhetsfördelningen efter m övergångar var Ö^m *n.

Om man bara tittar på fallet m=1 och n= [1,0,0,0,0,0] kommer vi få ut vektorn [1,q,0,0,0,0], vilket innebär att sannolikheten fördelats till ett läge där totala sannolikheten är större än 1.

Jag vill minnas att detta var något jag också reagerade på då jag läste kursen i Markovprocesser, och som övningsledaren höll med om att det var ointuitivt.

Hur man ska göra får du konsultera en lärobok om, men ett sätt att kunna räkna på sättet jag förespråkar är att transponera övergångsmatrisen.