ARMA

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir Arma.

En statistique, les modèles ARMA (modèles autorégressifs et moyenne mobile), ou aussi modèle de Box-Jenkins, sont les principaux modèles de séries temporelles.

Étant donné une série temporelle Xt, le modèle ARMA est un outil pour comprendre et prédire, éventuellement, les valeurs futures de cette série. Le modèle est composé de deux parties : une part autorégressive (AR) et une part moyenne-mobile (MA). Le modèle est généralement noté ARMA(p,q), où p est l'ordre de la partie AR et q l'ordre de la partie MA.

définition — un modèle autorégressif et moyenne-mobile d'ordres (p,q) (abrégé en ARMA(p,q)) est un processus temporel discret (Xt, t ∈ ℕ) vérifiant :  X_t = \varepsilon_t +  \sum_{i=1}^p \varphi_i X_{t-i} + \sum_{i=1}^q \theta_i \varepsilon_{t-i} où les paramètres φi et θi sont constants, et les termes d'erreurs εi sont indépendants du processus.

Un modèle autorégressif AR(p) est un ARMA(p,0)

Un modèle moyenne mobile MA(q) est un ARMA(0,q)

Modèle autorégressif[modifier | modifier le code]

Article détaillé : Processus autorégressif.

Un modèle autorégressif d'ordre p, en abrégé AR(p), s'écrit :  X_t = c + \sum_{i=1}^p \varphi_i X_{t-i}+ \varepsilon_t \,\varphi_1, \ldots, \varphi_p sont les paramètres du modèle, c est une constante et \varepsilon_t un bruit blanc. La constante est bien souvent omise dans la littérature, le processus étant alors dit centré.

Des contraintes supplémentaires sur les paramètres sont nécessaires pour garantir la stationnarité. Par exemple, pour le modèle AR(1), les processus tels que |φ1| ≥ 1 ne sont pas stationnaires.

Exemple : un processus AR(1)[modifier | modifier le code]

Un modèle AR(1) est donné par : X_t = c + \varphi X_{t-1}+\varepsilon_t\,\varepsilon_t est un bruit blanc, de moyenne nulle et de variance \sigma^2.

\mathrm{E}\left[X_t\right]=\frac{c}{1-\varphi} \mathrm{Var}\left[X_t\right]=\frac{\sigma^2}{1-\varphi^2} B_n=\mathrm{Cov}\left[X_t,X_{t-n}\right]=\frac{\sigma^2}{1-\varphi^2}\varphi^{|n|} Prendre c = 0 revient à avoir une moyenne nulle. On introduit un taux de décroissance de la fonction d'autocovariance \tau=-1/\ln(\varphi)

La densité spectrale de puissance est la transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit :

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\sum_{n=-\infty}^\infty B_n e^{-i\omega n}
=\frac{1}{\sqrt{2\pi}}\,\left(\frac{\sigma^2}{1+\varphi^2-2\varphi\cos(\omega)}\right).

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage (\Delta t=1) est plus petit que le taux de décroissance (\tau), alors on peut utiliser une approximation continue de B_n :

B(t)\approx \frac{\sigma^2}{1-\varphi^2}\,\,\varphi^{|t|}

qui présente une forme lorentzienne pour la densité spectrale :

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\frac{\sigma^2}{1-\varphi^2}\,\frac{\gamma}{\pi(\gamma^2+\omega^2)}

\gamma=1/\tau est la fréquence angulaire associée à \tau.

Une expression alternative pour X_t peut être dérivée en substituant X_{t-1} par c+\varphi X_{t-2}+\varepsilon_{t-1} dans l'équation définissante. En continuant cette manipulation N fois fournit

X_t=c\sum_{k=0}^{N-1}\varphi^k+\varphi^NX_{t-N}+\sum_{k=0}^{N-1}\varphi^k\varepsilon_{t-k}.

Pour N devenant très grand, \varphi^N s'approche de 0 et :

X_t=\frac{c}{1-\varphi}+\sum_{k=0}^\infty\varphi^k\varepsilon_{t-k}.

On peut voir que X_t est le bruit blanc convolé avec le noyau \varphi^k plus une moyenne constante. Si le bruit blanc est gaussien, alors X_t est aussi un processus normal. Dans les autres cas, le théorème central limite indique que X_t sera approximativement normal lorsque \varphi est proche de l'unité.

Estimation des paramètres AR[modifier | modifier le code]

Le modèle AR(p) est donné par

 X_t = \sum_{i=1}^p \varphi_i X_{t-i}+ \varepsilon_t.\,

Les paramètres à estimer sont \varphi_ii = 1, …, p. Il y a une correspondance directe entre ces paramètres et la fonction de covariance (et donc d'autocorrélation) et on peut tirer les paramètres en inversant ces relations. Ce sont les équations de Yule-Walker :


\gamma_m = \sum_{k=1}^p \varphi_k \gamma_{m-k} + \sigma_\varepsilon^2\delta_m

m = 0, … , p, ce qui donne en tout p + 1 équations. Les coefficients \gamma_m est la fonction d'autocorrélation de X, \sigma_\varepsilon est la déviation (écart-type) du bruit blanc et δm le symbole de Kronecker.

La dernière partie de l'équation est non-nulle si m = 0 ; en prenant m > 0, l'équation précédente s'écrit comme un système matriciel

\begin{bmatrix}
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots \\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots \\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots \\
\vdots      & \vdots         & \vdots       & \ddots \\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\end{bmatrix}

Pour m = 0, nous avons


\gamma_0 = \sum_{k=1}^p \varphi_k \gamma_{-k} + \sigma_\varepsilon^2

qui permet de trouver \sigma_\varepsilon^2.

Les équations de Yule-Walker procurent un moyen d'estimer les paramètres du modèle AR(p), en remplaçant les covariances théoriques par des valeurs estimées. Une manière d'obtenir ces valeurs est de considérer la régression linéaire de Xt sur ses p premiers retards.

Obtention des équations de Yule-Walker[modifier | modifier le code]

L'équation définissante du processus AR est

 X_t = \sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t.\,

En multipliant les deux membres par Xtm et en prenant l'espérance, on obtient

E[X_t X_{t-m}] = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right]+ E[\varepsilon_t X_{t-m}].

Or, il se trouve que E[XtXtm] = γm par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, Xtm est indépendant de εtm est plus grand que zéro. Pour m > 0, E[εtXtm] = 0. Pour m = 0,

E[\varepsilon_t X_{t}] 
= E\left[\varepsilon_t \left(\sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t\right)\right]
= \sum_{i=1}^p \varphi_i\, E[\varepsilon_t\,X_{t-i}] + E[\varepsilon_t^2]
= 0 + \sigma_\varepsilon^2,

Maintenant, on a pour m ≥ 0,

\gamma_m = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right] + \sigma_\varepsilon^2 \delta_m.

Par ailleurs,

E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right]
= \sum_{i=1}^p \varphi_i\,E[X_{t} X_{t-m+i}]
= \sum_{i=1}^p \varphi_i\,\gamma_{m-i},

qui donne les équations de Yule-Walker :

\gamma_m = \sum_{i=1}^p \varphi_i \gamma_{m-i} + \sigma_\varepsilon^2 \delta_m.

pour m ≥ 0. Pour m < 0,

\gamma_m = \gamma_{-m} = \sum_{i=1}^p \varphi_i \gamma_{|m|-i} + \sigma_\varepsilon^2 \delta_m.

Modèle moyenne mobile[modifier | modifier le code]

La notation MA(q) réfère au modèle moyenne-mobile d'ordre q :

 X_t = \varepsilon_t + \sum_{i=1}^q \theta_i \varepsilon_{t-i}\,

où les θ1, …, θq sont les paramètres du modèle et εt, εt-1, … sont encore une fois des termes d'erreur.

Une note sur les termes d'erreur[modifier | modifier le code]

Les termes d'erreur εt sont généralement supposés indépendants et identiquement distribués (i.i.d.) selon une loi normale de moyenne nulle : εt ~ N(0,σ2) où σ2 est la variance. Ces hypothèses peuvent être assouplies mais ceci changerait les propriétés du modèle, comme supposer le simple caractère i.i.d.

Spécification en termes de l'opérateur de retard[modifier | modifier le code]

Les modèles ARMA peuvent s'écrire en termes de L, qui est l'opérateur retard. Le modèle autorégressif AR(p) s'écrit

 \varepsilon_t = \left(1 - \sum_{i=1}^p \varphi_i L^i\right) X_t =  \varphi X_t\,

où φ représente le polynôme

 \varphi = 1 - \sum_{i=1}^p \varphi_i L^i.\,

Pour le modèle moyenne mobile MA(q), on a

 X_t = \left(1 + \sum_{i=1}^q \theta_i L^i\right) \varepsilon_t = \theta \varepsilon_t\,

où θ représente le polynôme

 \theta= 1 + \sum_{i=1}^q \theta_i L^i.\,

Finalement, en combinant les deux aspects, on en tire l'écriture du modèle ARMA(p, q) :

 \left(1 - \sum_{i=1}^p \varphi_i L^i\right) X_t = \left(1 + \sum_{i=1}^q \theta_i L^i\right) \varepsilon_t\,

où plus court :

 \varphi X_t = \theta \varepsilon_t.\,


Modèle d'ajustement[modifier | modifier le code]

Les modèles ARMA, une fois choisi les ordres p et q, peuvent être ajustés sur des données par la méthode des moindres carrés : on recherche les paramètres qui minimisent la somme des carrés des résidus. Prendre des valeurs de p et q les plus petites est généralement vu comme une bonne pratique (principe de parcimonie). Pour un modèle AR pur, les équations de Yule-Walker permettent de réaliser l'ajustement.


Notes et références[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

  • (fr) Jean-Jacques Droesbeke, Bernard Fichet, Philippe Tassi, Séries chronologiques - Théorie et pratique des modèles ARIMA, Economica, 1989 (ISBN 2-7178-1549-X)
  • (en) George E. P. Box, Gwilym Jenkins et Gregory C. Reinsel, Time Series Analysis: Forecasting and Control, third edition. Prentice-Hall, 1994.
  • (en) Terence C. Mills, Time Series Techniques for Economists, Cambridge University Press, 1990.
  • (en) Donald B. Percival et Andrew T. Walden, Spectral Analysis for Physical Applications. Cambridge University Press, 1993.
  • (en) Sudhakar M. Pandit et Shien-Ming Wu,Time Series and System Analysis with Applications. John Wiley & Sons, 1983.
  • (en) James D. Hamilton, Time Series Analysis, Princeton University Press, 1994