Introductie: Niet iedere Markovketen heeft een evenwicht.
Definitie: Een matrix $A$ is primitief als er een $k$ te vinden is zodanig dat $A^k$ geen enkele nul bevat.
Stelling: Als de overgangsmatrix van een Markovketen primitief is, dan bestaat er een evenwicht.