Марковские процессы

вероятность переходов не зависит от времени
Стационарное состояние – устойчивое, не

меняющееся во времени состояние системы
Стохастическая (марковская) матрица: все элементы неотрицательны, сумма элементов каждой строки равна единице
Предельное состояние – то, к которому стремится марковская цепь с течением времени; всегда является стационарным (обратное не всегда верно: могут быть стационарные состояния, к которым система не стремится)

матрица всегда имеет предел, а марковская цепь с регулярной матрицей

переходов имеет предельное состояние
Эргодическая марковская цепь – имеющая предельное состояние, не зависящее от начального состояния
Поглощающее состояние: попав в него, система не может его покинуть
Поглощающая марковская цепь: за конечное число шагов можно попасть в поглощающее состояние из любого начального состояния
Обобщенное поглощающее состояние – поглощающий блок состояний; попав в этот блок, система не может из него выбраться