Definitie: Laat $\underline{x}_t$ een $n\times 1$-toestandsvector zijn en $A$ een $n\times n$-overgangsmatrix, zodat
$$\begin{equation}
\underline{x}_t = A\underline{x}_{t-1}\quad \text{voor }t\geq 1.
\end{equation}$$
Het rijtje $\underline{x}_0,\underline{x}_1,\underline{x}_2,\ldots$ wordt een Markovketen genoemd.
Hieruit volgt:
$$\begin{align}
\underline{x}_1 &= A\underline{x}_0,\\
\underline{x}_2 &= A\underline{x}_1 = A(A\underline{x}_0) = A^2\underline{x}_0,\\
\underline{x}_3 &= A\underline{x}_2 = A(A^2\underline{x}_0) = A^3\underline{x}_0,\\
\underline{x}_4 &= A\underline{x}_3 = A(A^3\underline{x}_0) = A^4\underline{x}_0,\\
& \vdots
\end{align}$$
ofwel
$$\begin{equation}
\underline{x}_t = A^t\underline{x}_0.
\end{equation}$$
Opmerking: Om de situatie in periode $t$ te bepalen hoeven we dus alleen maar kennis te hebben van de begintoestand van het proces en de overgangsmatrix.
$$\begin{equation}
\underline{x}_t = A\underline{x}_{t-1}\quad \text{voor }t\geq 1.
\end{equation}$$
Het rijtje $\underline{x}_0,\underline{x}_1,\underline{x}_2,\ldots$ wordt een Markovketen genoemd.
Hieruit volgt:
$$\begin{align}
\underline{x}_1 &= A\underline{x}_0,\\
\underline{x}_2 &= A\underline{x}_1 = A(A\underline{x}_0) = A^2\underline{x}_0,\\
\underline{x}_3 &= A\underline{x}_2 = A(A^2\underline{x}_0) = A^3\underline{x}_0,\\
\underline{x}_4 &= A\underline{x}_3 = A(A^3\underline{x}_0) = A^4\underline{x}_0,\\
& \vdots
\end{align}$$
ofwel
$$\begin{equation}
\underline{x}_t = A^t\underline{x}_0.
\end{equation}$$
Opmerking: Om de situatie in periode $t$ te bepalen hoeven we dus alleen maar kennis te hebben van de begintoestand van het proces en de overgangsmatrix.