Introductie: De vector $\underline{x}_t$ is de toestandsvector op tijdstip t. Een toestandsvector bevat alleen niet-negatieve getallen, de getallen tellen samen op tot 1.
Definitie: Laat $\underline{x}_t$ een $n\times 1$-toestandsvector zijn en $A$ een $n\times n$-overgangsmatrix, zodat
$$\begin{equation}
\underline{x}_t = A\underline{x}_{t-1}\quad \text{voor }t\geq 1.
\end{equation}$$
Het rijtje $\underline{x}_0,\underline{x}_1,\underline{x}_2,\ldots$ wordt een Markovketen genoemd.
Definitie: Laat $\underline{x}_t$ een $n\times 1$-toestandsvector zijn en $A$ een $n\times n$-overgangsmatrix, zodat
$$\begin{equation}
\underline{x}_t = A\underline{x}_{t-1}\quad \text{voor }t\geq 1.
\end{equation}$$
Het rijtje $\underline{x}_0,\underline{x}_1,\underline{x}_2,\ldots$ wordt een Markovketen genoemd.