Introductie: De vector x_t is de toestandsvector op tijdstip t. Een toestandsvector bevat alleen niet-negatieve getallen, de getallen tellen samen op tot 1.

Definitie: Laat x_t een n×1-toestandsvector zijn en A een n×n-overgangsmatrix, zodat
x_t=Ax_t1voor t1.
Het rijtje x_0,x_1,x_2, wordt een Markovketen genoemd.