Extra uitleg: Stelling

Definitie: Laat $\underline{x}_t$ een $n\times 1$-toestandsvector zijn en $A$ een $n\times n$-overgangsmatrix, zodat
$$\begin{equation} \underline{x}_t = A\underline{x}_{t-1}\quad \text{voor }t\geq 1. \end{equation}$$
Het rijtje $\underline{x}_0,\underline{x}_1,\underline{x}_2,\ldots$ wordt een Markovketen genoemd.

Hieruit volgt:
$$\begin{align} \underline{x}_1 &= A\underline{x}_0,\\ \underline{x}_2 &= A\underline{x}_1 = A(A\underline{x}_0) = A^2\underline{x}_0,\\ \underline{x}_3 &= A\underline{x}_2 = A(A^2\underline{x}_0) = A^3\underline{x}_0,\\ \underline{x}_4 &= A\underline{x}_3 = A(A^3\underline{x}_0) = A^4\underline{x}_0,\\ & \vdots \end{align}$$
ofwel
$$\begin{equation} \underline{x}_t = A^t\underline{x}_0. \end{equation}$$

Opmerking: Om de situatie in periode $t$ te bepalen hoeven we dus alleen maar kennis te hebben van de begintoestand van het proces en de overgangsmatrix.