Markovkedja, transitionsmatris, sannolikhet

Det kan hjälpa att rita ett tillståndsdiagram med en nod för varje tillstånd, och pilar mellan dem om man kan gå mellan dem. Då ser man t.ex. att från 1 kan man nå 2 och 1 och hoppa runt där, men inget annat, så P(2;1) = 1, men P(6;1) = 0 (nu förkortar jag den långa P-harangen ovan till P(j;i)).

För att räkna ut P(2;5) måste man betrakta sannolikhetsvärdena: man kan hoppa runt mellan 5 och 6 ett tag men sen landar man antingen i 1+2-gruppen eller 3+4-gruppen, med någon sannolikhet som jag inte tänker räkna ut här.

Jag vet inte om man kan lösa detta med rena matrisoperationer på matrisen P.

Du ska beräkna sannolikheten att den stokastiska processen någon gång kommer att befinna sig i tillstånd $j$ då processen startade i tillstånd $i$. 

Om markovkedjan är irreducibel så är den sökta sannolikheten 1 för varje val av tillstånd $j$. Är din kedja irreducibel?

Tack för utförliga svar! Jag förstår att P(2;1)=P(1;1)=P(1;2)=P(2;2)=1 och även P(3;4)=P(4,3)=1 och att {1,2} och {3,4} är irreducibla. Men mitt problem är {5,6} som inte är irreducibelt. Är tanken att jag ska beräkna alla P(i;j), dvs. P(1;5), P(2;5), P(3;5), P(4;5), P(5;5), P(6;5), P(1;6), P(2;6) osv. och att alla dessa är svaren på mitt problem?

Står det "för något i, j" i problemformuleringen? 

Det står "for any $i, j \in S$".

Om jag väljer ett väldigt stort n, kan jag se att elementen $p_{55}, p_{56}, p_{65}, p_{66}$ konvergerar mot 0 matrisen. Innebär detta då att $P(X_n=j|X_0=i)=1$ för alla $j\in \{1,2,3,4\}$ och $i\in \{1,2,3,4,5,6\}$ och $P(X_n=j|X_0=i)=0$ för alla $j\in \{5,6\}$ för alla $i\in \{1,2,3,4,5,6\}$?