Markovkedja stationär fördelning

Hej,

Jag skulle uppskatta hjälp med hur man beräknar en Markovkedjas stationära fördelning (jag behöver egentligen endast en formel/ekvation då jag sedan ska lösa den i R), på internet hittade jag följande information:

Men jag förstår inte riktigt varför $(L-J)\pi=b$ ger en lösning? Jag antar att J är enhetsmatrisen, b är en vektor men förstår inte varför den ska ha det utseende som den har och L är givet att det är transponatet till P. Är det någon som vet var jag kan läsa om detta och varför denna omskrivning ger den stationära fördelningen?

Om du tittar på första sambandet satt innanför måsvingar så kan man beskriva detta med hjälp av matrismultiplikation.

Bilda vektorn $π = {(\begin{matrix} π_{0} & \dots & π_{5} \end{matrix})}^{T}$ (som jag har på känn att du redan har med även om den inte står utskriven någonstans i ditt inlägg) och de översta fem raderna i vänsterledet kan skrivas som

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \end{matrix}) * π$

Motsvarande högerled är då bara $π$ , så ekvationen kan skrivas som

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \end{matrix}) * π = π$

Vill man föra över till $π$ vänsterledet är det som då man letar egenvektor/egenvärden i linjär algebra, med den skillnaden att det inte står $λ * π$ i högerledet, så man subtraherar med $1 * π$ , varför man får de översta fem raderna i J-matrisen.

Skall man även ta med att $π$ -vektorns summa skall bli 1 får man lägga till den sjätte raden, och då dyker det upp det konstanta värdet 1 i högerledet, så formeln får justeras.

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \\ 1 & 1 & \dots & 1 \end{matrix}) * (\begin{matrix} π_{0} \\ π_{1} \\ ⋮ \\ π_{5} \\ 0 \end{matrix}) = (\begin{matrix} π_{0} \\ π_{1} \\ ⋮ \\ π_{5} \\ 0 \end{matrix}) + (\begin{matrix} 0 \\ 0 \\ ⋮ \\ 0 \\ 1 \end{matrix})$

Räknar man på detta får man det de kom fram till, dvs. att $(L - J) * π = b$ ger lösningen.

Tillägg: 11 mar 2022 13:05

Jag inser nu i efterhand att då man räknar från 0 till 5 så får man 6, ej 5, som jag skrev i inlägget ovan.

Mao. skall "De fem översta raderna" ersättas med "De sex översta raderna". Annars består resonemanget.

Tillägg: 13 apr 2022 08:52

Och nu då jag tittar närmre hittar jag ytterligare en miss jag gjorde.

Jag justerade $π$ -vektorn i vänsterledet genom att lägga in en 7:e position med en nolla i. Detta gör att vi får en matris-vektor-multiplikation som ej kan utföras; nollan i vänsterledet skall således ej vara del av vektorn.

Bedinsis skrev:
Om du tittar på första sambandet satt innanför måsvingar så kan man beskriva detta med hjälp av matrismultiplikation.

Bilda vektorn $π = {(\begin{matrix} π_{0} & \dots & π_{5} \end{matrix})}^{T}$ (som jag har på känn att du redan har med även om den inte står utskriven någonstans i ditt inlägg) och de översta fem raderna i vänsterledet kan skrivas som

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \end{matrix}) * π$

Motsvarande högerled är då bara $π$ , så ekvationen kan skrivas som

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \end{matrix}) * π = π$

Vill man föra över till $π$ vänsterledet är det som då man letar egenvektor/egenvärden i linjär algebra, med den skillnaden att det inte står $λ * π$ i högerledet, så man subtraherar med $1 * π$ , varför man får de översta fem raderna i J-matrisen.

Skall man även ta med att $π$ -vektorns summa skall bli 1 får man lägga till den sjätte raden, och då dyker det upp det konstanta värdet 1 i högerledet, så formeln får justeras.

$(\begin{matrix} P_{0, 0} & P_{1, 0} & \dots & P_{5, 0} \\ P_{0, 1} & P_{1, 1} & \dots & P_{5, 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ P_{0, 5} & P_{1, 5} & \dots & P_{5, 5} \\ 1 & 1 & \dots & 1 \end{matrix}) * (\begin{matrix} π_{0} \\ π_{1} \\ ⋮ \\ π_{5} \\ 0 \end{matrix}) = (\begin{matrix} π_{0} \\ π_{1} \\ ⋮ \\ π_{5} \\ 0 \end{matrix}) + (\begin{matrix} 0 \\ 0 \\ ⋮ \\ 0 \\ 1 \end{matrix})$

Räknar man på detta får man det de kom fram till, dvs. att $(L - J) * π = b$ ger lösningen.

Tillägg: 11 mar 2022 13:05

Jag inser nu i efterhand att då man räknar från 0 till 5 så får man 6, ej 5, som jag skrev i inlägget ovan.

Mao. skall "De fem översta raderna" ersättas med "De sex översta raderna". Annars består resonemanget.

Såg att jag missat att svara på denna, men tusen tack för din hjälp! Detta hjälpte mig verkligen att förstå varför $(L-J) \cdot \pi = b$ ger lösningen.

Svara