Processus de Markov à temps continu

Un article de Wikipédia, l'encyclopédie libre.

En théorie des probabilités, un processus de Markov à temps continu, ou chaîne de Markov à temps continu est une variante à temps continu du processus de Markov. Plus précisément, c'est un modèle mathématique à valeur dans un ensemble dénombrable, les états, dans lequel le temps passé dans chacun des états est une variable aléatoire réelle positive, suivant une loi exponentielle.

Cet objet est utilisé pour modéliser l'évolution de certains systèmes, comme les files d'attente.

Générateur infinitésimal et définitions[modifier | modifier le code]

Une chaîne de Markov à temps continu (Xt)t≥0 est caractérisée par

  • un ensemble S fini ou dénombrable d'états;
  • une distribution initiale sur l'ensemble des états;
  • une matrice Q de taux de transition, aussi appelée générateur infinitésimal (de dimension |S|²).

Pour i ≠ j, les éléments qij de la matrice Q sont des réels positifs qui quantifient la vitesse de transition de l'état i vers l'état j. Les éléments qii sont choisis pour que les colonnes de chaque ligne somment à zéro, i.e.

Il existe plusieurs façons équivalentes de définir le processus (Xt)t≥0[1].

Définition infinitésimale[modifier | modifier le code]

Soit Xt la variable aléatoire décrivant l'état du processus au temps t. Pour tous t et h positifs, conditionnellement à {Xt = i}, Xt + h est indépendant de (Xs : s≤ t) et, pour h tendant vers 0, on a pour tout j

δij désigne le delta de Kronecker.

Définition par les sauts[modifier | modifier le code]

Soit Yn l'état du processus après son n-ième saut et Sn le temps passé dans l'état Yn. Alors (Yn)n≥0 est une chaîne de Markov à temps discret et, conditionnellement à (Y0, ..., Yn), les temps d'attente (S0, ..., Sn) sont des variables exponentielles indépendantes de paramètres respectifs .

Définition par les probabilités de transitions[modifier | modifier le code]

Pour tous les instant t0, t1, ... et pour tous les états i0, i1, ... correspondants, on a

pij est la solution de l'équation de Kolmogorov (en) :

avec pour condition initiale P(0) = I, la matrice identité. La résolution de cette équation conduit alors à

Propriétés[modifier | modifier le code]

Irréductibilité[modifier | modifier le code]

Un état j est dit accessible à partir d'un autre état i (écrit i → j) s'il est possible d'obtenir j à partir de i. C'est-à-dire, si :

On dit d'un état i qu'il communique avec un état j (écrit i ↔ j) si i → j et j → i. Un ensemble d'états C est une classe communicante si chaque paire d'états dans C communiquent entre eux, et si aucun état dans C ne communique avec un état non-présent dans C. Puisque la communication est une relation d'équivalence, l'espace d'états S peut être partitionné en un ensemble de classes communicantes. Un processus de Markov à temps continu est irréductible si l'espace S entier est une classe communicante unique.

Pour tout et dans une même classe communicante C, on peut montrer (en utilisant des propriétés de sous-additivité) que la limite

existe et ne dépend ni de ni de  ; on la note .

Par exemple, dans une chaîne où l'état 0 est absorbant, où les états {1,2,...} forment une classe communicante et où le système est absorbé par l'état 0 presque sûrement, la limite donne le taux d'absorption de la chaîne, parfois appelé paramètre de Kingman.

Autre exemple. Considérons la marche aléatoire sur l'ensemble des entiers relatifs dont le générateur est donné par , , et pour les autres indices. La matrice est une matrice de Toeplitz tridiagonale. Alors

On remarque que la limite est strictement négative si et nulle si .

Applications[modifier | modifier le code]

Théorie des files d'attente[modifier | modifier le code]

M/M/1 queue diagram
Une file M/M/1

Un domaine d'application des processus de Markov à temps continu est la théorie des files d'attente. Par exemple une file M/M/1 (selon la notation de Kendall) est un modèle où un processeur doit traiter des requêtes, qui s'accumulent (dans l'ordre) dans une file d'attente. Les requêtes arrivent suivant une loi exponentielle de taux et le processeur les traite avec une loi exponentielle de taux . La chaîne sous-jacente est la suivante : MM1 queue state space.svg

Et la matrice (générateur infinitésimal) de taux est :

Notes et références[modifier | modifier le code]

  1. (Norris 1997, Théorème 2.8.2)

Bibliographie[modifier | modifier le code]

  • P. Désesquelles : Les processus de Markov en biologie, sociologie, géologie, chimie, physique et applications industrielles. Ellipses, 2016.
  • E. Pardoux : Processus de Markov et applications. Dunod, 2007.
  • B. Sericola : Chaînes de Markov - Théorie, algorithmes et applications. Lavoisier, 2013.
  • (en) J. R. Norris, Markov Chains, Cambridge University Press,
  • J.F.C. Kingman : The exponential decay of Markov transition probabilities. Proc. London Math. Soc. (1963) 337-358.

Lien externe[modifier | modifier le code]

Chapitre « Processus de Poisson » du cours de maîtrise « Modèles stochastiques » (2002) de Dominique Bakry sur le sujet, plus orienté vers la théorie de la mesure.