Processus de Markov à temps continu

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

En théorie des probabilités, un processus de Markov à temps continu, ou chaîne de Markov à temps continu est une variante à temps continu du processus de Markov. Plus précisément, c'est un modèle mathématique à valeur dans un ensemble dénombrable, les états, dans lequel le temps passé dans chacun des états est une variable aléatoire réelle positive, suivant une loi exponentielle.

Cet objet est utilisé pour modéliser l'évolution de certains systèmes, comme les files d'attente.

Générateur infinitésimal et définitions[modifier | modifier le code]

Une chaine de Markov à temps continue (Xt)t ≥ 0 est définie par un ensemble d'états, fini ou dénombrable S, par une matrice de taux de transition, aussi appelée générateur infinitésimal Q (de dimension |S|²), et par une distribution initiale sur l'ensemble des états. Pour i ≠ j, les éléments qij de la matrice Q, sont des réels positifs qui correspondent aux taux des processus de transition de l'état i à l'état j. Les éléments qii sont choisis pour que les colonnes somment à zéro.

On donne trois définitions équivalentes du processus[1].

Définition infinitésimale[modifier | modifier le code]

Soit Xt la variable aléatoire décrivant l'état du processus au temps t, et supposons que Xt=i. Alors Xt + h est indépendant des valeurs précédentes (Xs : s≤ t) et pour h tendant vers 0, on a pour tout j :

\Pr(X(t+h) = j | X(t) = i) = \delta_{ij} + q_{ij}h + o(h)

Le taux qij peut être vu comme la rapidité de la transition de i à j.

Définition par saut[modifier | modifier le code]

On définit une chaîne de Markov classique, c'est-à-dire à temps discret Yn pour décrire le nième saut du processus et des variables S1, S2, S3, ... pour décrire le temps d'attente dans chancun de ces état. La distribution de Si est donnée par −qYiYi.

Définition par équation de transition[modifier | modifier le code]

Pour n = 0, 1, 2, 3, ..., pour tout instant indexé par une tel n: t0, t1, t2, ... et pour tous les états correspondant à ces instants i0, i1, i2, i3, ... on a

\Pr(X_{t_{n+1}} = i_{n+1} | X_{t_0} = i_0 , X_{t_1} = i_1 , \ldots, X_{t_n} = i_n ) = p_{i_n i_{n+1}}( t_{n+1} - t_n)

pij est la solution de la forward equation (en) (une équation différentielle du premier ordre) :

P'(t) = P(t) Q

avec la condition initiale : P(0) est la matrice identité.

Propriétés[modifier | modifier le code]

Applications[modifier | modifier le code]

Théorie des files d'attente[modifier | modifier le code]

M/M/1 queue diagram
Une file M/M/1

Un domaine d'application des processus de Markov à temps continu est la théorie des files d'attente. Par exemple une file M/M/1 (en) (selon la notation de Kendall) est un modèle où un processeur doit traiter des requêtes, qui s'accumulent (dans l'ordre) dans une file d'attente. Les requêtes arrivent suivant une loi exponentielle de taux \lambda et le processeur les traitent avec une loi exponentielle de taux \mu. La chaîne sous-jacente est la suivante : MM1 queue state space.svg

Et la matrice de taux est :

Q=\begin{pmatrix}
-\lambda & \lambda \\
\mu & -(\mu+\lambda) & \lambda \\
&\mu & -(\mu+\lambda) & \lambda \\
&&\mu & -(\mu+\lambda) & \lambda &\\
&&&&\ddots
\end{pmatrix}

Notes et références[modifier | modifier le code]

  1. (Norris 1997)

Bibliographie[modifier | modifier le code]

Liens externes[modifier | modifier le code]