Markov Chain Recurrent States

Hej,

Har lite svårt att tolka följande:

När vi mäter sannlikheten för att vi i en homogen Markovkedja ska återvända till ett läge(State) så har vi, per definition:

${f^{m}}_{i j} = P (T_{j} = m | X_{0} = i)$ , som är sannolikheten att det tar exakt m steg att nå läge j när vi startar i läge i.

Det jag inte förstår riktigt är hur vi kan skriva ihop det på formeln:

${f^{m}}_{i j} = \sum_{k \neq j} p_{i k} {f^{(m - 1)}}_{k j}$ , (blir lite fult med indexeringen här men ni fattar nog vad jag menar)

Jag försöker förstå varför man kan skriva såhär och vad det innebär. Försökt göra en liten "härledning" för m = 2 och har kommit till:

${f^{2}}_{i j} = P (T_{j} = 2 | X_{0} = i) = \sum_{k \neq j} p_{i k} {f^{(1)}}_{i j}$ ={Antar att då kedjan är homogen kan jag sätta vilket index jag vill för p_ik} = $\sum_{k \neq j} P (X_{n + 1} = k | X_{n} = i) P (T_{1} = j | X_{0} = k)$ , men här vet jag inte hur jag ska göra. Hur vet jag hur jag ska handskas med summeringen? Ska jag summera över all möjliga States som kedjan har med i sitt state space förutom j eller hur kan jag övertyga mig själv om att det här går ihop? :)

Sitter med enbart mobilen tillgänglig så en härledning kan jag inte hjälpa med även om poletten skulle trilla med för mig. En motivering kanske inte är out of reach, men ser att jag måste fråga: hur är p_ik definierad? Är det för n=1 (ett steg) eller något annat?

Sry, kanske borde skrivit det tydligare, men den är definierad som:

$p_{i k} = P (X_{n + 1} = k | X_{n} = i)$ , vilket som jag förstått det är samma för alla n då kedjan är homogen (tror man säger att det är just kedjan som är homogen)

Ok! Då tycker jag ser ser ganska rimligt ut.

p_ik-termen i summationen fångar då sannolikheten för det första steget, det första av ”m” steg. Detta första steg är från läge ”i” till läge ”k”. Eftersom k är skilt från j har vi då för alla fall som vi summerar över kvar att fundera på vad sannolikheten är att gå från läge ”k” till läge ”j” på kvarvarande antal steg - dvs ”m-1” steg. Sannolikheten för det är den vanliga sannolikhetsfunktionen du specat överst, och vips har du fått ett uttryck från start (”i”) till mål (”j”) genom att summera över alla möjliga delstopp på första steget (alla lägen ”k”).

Så det ser ut som ett sätt att bryta isär det första uttrycket till något man kan räkna ur rekursivt, även om jag inte har koll på varför man vill göra så 😄

För att utveckla Foppas resonemang:

Det är en tillämpning av lagen om total sannolikhet, alltså

Sanno( vi går från i till j i m steg) = Summa (vi går från i till j i m steg där det första steget är till k) där summan är över alla k vi kan gå till i första steget.

Uttrycket $p_{i k} {f^{m - 1}}_{k j}$ är ju då sannon att vi går till k i första steget gånger sannon att man på m-1 steg hamnar i j om man börjar i k.

Ahaa, tack för svaren båda! Nu trillade poletten ner för mig hehe :)

Hej,

Du startar vid punkten $i$ och når destinationen $j$ efter $m$ stycken steg.

Ditt första steg tar dig till punkten $k$ och du når destinationen $j$ efter $m-1$ stycken steg.

Sannolikheten att ditt första steg tar dig till punkten $k$ är $p_{ik}$ .
Sannolikheten att du från punkten $k$ når destinationen $j$ efter $m-1$ stycken steg är $f_{kj}^{m-1}$ .
Sannolikheten att du från punkten $i$ når destinationen $j$ efter $m$ stycken steg är $f_{ij}^{m}$ .

Summera över alla tillgängliga första steg för att få formeln

$\displaystyle f_{ij}^{m} = \sum_{k\neq j} p_{ik}f_{kj}^{m-1}.$

Notera att det första steget tar dig inte till din destination; därför står det $k\neq j$ .

Om man tar hänsyn till vad som händer vid efterföljande steg 2, 3, och så vidare fås formeln

$\displaystyle f_{ij}^{m}=\sum_{k_1\neq j}\sum_{k_2\neq j}\sum_{k_3\neq j} p_{i\,k_1}p_{k_1\,k_2}p_{k_2\,k_3}f_{k_3\,j}^{m-3}$

Svara

Visa senaste svar