Processus autorégressif

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

Un processus autorégressif est un modèle de régression pour séries temporelles dans lequel la série est expliquée par ses valeurs passées plutôt que par d'autres variables.

Définition[modifier | modifier le code]

Un processus autorégressif d'ordre p, noté AR(p) est donné par:

Définition — AR(p):

sont les paramètres du modèle, est une constante et un bruit blanc.

En utilisant l'opérateur des retards, on peut l'écrire:

Processus AR(1)[modifier | modifier le code]

Un processus autorégressif d'ordre 1 s'écrit:


Représentation en moyenne mobile[modifier | modifier le code]

On peut formuler le processus AR(1) de manière récursive par rapport aux conditions précédentes:

En remontant aux valeurs initiales, on aboutit à:

Propriété — 

Il est à noter que les sommes vont ici jusqu'à l'infini. Cela est dû au fait que les séries temporelles sont souvent supposées commencer depuis et non pas . Certains auteurs considèrent cependant que la série commence en et ajoutent alors la valeur initiale dans la formule.

On peut voir que est le bruit blanc convolué avec le noyau plus une moyenne constante. Si le bruit blanc est gaussien, alors est aussi un processus normal.

Représentation dans le domaine de la fréquence[modifier | modifier le code]

La Densité spectrale de puissance est la Transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit:

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage () est plus petit que le decay time (), alors on peut utiliser une approximation continue de :

qui présente une forme lorentzienne pour la densité spectrale:

est la fréquence angulaire associée à .

Moments d'un processus AR(1)[modifier | modifier le code]

Pour calculer les différents moments d'un processus AR(1), soit son espérance, sa variance, son autocovariance et son autocorrélation, on va supposer que les bruits blancs sont indépendamment et identiquement distribués, d'espérance nulle et de variance (que l'on note ).

Espérance[modifier | modifier le code]

Démonstration par raisonnement par récurrence

  • P(0) (initialisation): , parce que X0 est déterministe. L'expression est:
  • P(t+1) (hérédité ):

Comme E est un opérateur linéaire:

Avec l'hypothèse d'induction:

Par un changement de variables dans la somme, i → i-1:

Et, avec :

Variance[modifier | modifier le code]

Autocovariance[modifier | modifier le code]


Autocorrélation[modifier | modifier le code]

Conditions de stationnarité[modifier | modifier le code]

Le paramètre détermine si le processus AR(1) est stationnaire ou non :

ϕ<1[modifier | modifier le code]

Sous la condition , les résultats suivants viennent du fait que si alors la série géométrique .

On peut voir que la fonction d'autocovariance décroît avec un taux de . On voit ici que l'espérance et la variance sont constantes et que l'autocovariance ne dépend pas du temps : le processus est donc stationnaire.

ϕ=1[modifier | modifier le code]

Lorsque , le processus s'écrit : et donc, en considérant contrairement à avant que ,

Processus AR(p)[modifier | modifier le code]

Un processus AR(p) s'écrit:

Moments[modifier | modifier le code]

Les différents moments d'un processus stationnaire (voir section suivante) sont[1]:

Les formules de la variance et de la covariance correspondent aux équations dites de Yule et walker (voir plus bas).

Condition de stationarité[modifier | modifier le code]

Théorème — Un processus AR(p) est stationnaire si le module des solutions (les racines) de son équation caractéristique est à chaque fois strictement supérieur à 1 en valeur absolue.

La condition est souvent formulée différemment, selon laquelle les racines doivent être en dehors du cercle complexe unitaire.

Exemple: AR(1)[modifier | modifier le code]

Le polynôme des retards d'un processus AR(1) s'écrit: . Sa résolution (en remplaçant l'opérateur retard L par la simple valeur x) donne . La condition que la solution soit plus grande que 1 revient à

Exemple: AR(2)[modifier | modifier le code]

Le polynôme des retards d'un processus AR(2) s'écrit: . La résolution de l'équation du second degré amène aux conditions suivantes[2]:

Équations de Yule-Walker[modifier | modifier le code]

Les équations de Yule-Walker établissent une correspondance directe entre les paramètres du modèle (les et ) et ses autocovariances. Elles sont utiles pour déterminer la fonction d'autocorrélation ou estimer les paramètres. Elles établissent que:

équation YW — 

Les coefficients représentent la fonction d'autocovariance de X d'ordre j.

Lorsque l'on inclut également l'autocovariance d'ordre 0 (en fait la variance), il faut également rajouter la variance des résidus pour la première équation. Ce terme supplémentaire ne se retrouve que dans la première équation car on a fait l'hypothèse d'indépendance des résidus (et donc ).

équation YW — 

est la déviation (écart-type) du bruit blanc et δj le Symbole de Kronecker, qui vaut 1 si j=0 et 0 autrement.

Il est aussi possible d'exprimer ces équations en fonctions de l'autocorrélation:

équation YW — 

Exemples[modifier | modifier le code]

AR(1)[modifier | modifier le code]

Pour un processus AR(1), on a :

On remarque que l'on retrouve rapidement, avec j=1, le résultat obtenu plus haut :

en prenant l'équation supplémentaire pour , qui devient alors
AR(p)[modifier | modifier le code]

Que l'on peut écrire sous forme matricielle:

Preuve[modifier | modifier le code]

L'équation définissante du processus AR est

En multipliant les deux membres par Xt − j et en prenant l'espérance, on obtient

Or, il se trouve que E[XtXt − j] = γj par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, Xt − j est indépendant de εtj est plus grand que zéro. Pour j > 0, E[εtXt − j] = 0. Pour j = 0,

Maintenant, on a pour j ≥ 0,

Par ailleurs,

qui donne les équations de Yule-Walker:

pour j ≥ 0. Pour j < 0,

Estimation[modifier | modifier le code]

En partant du modèle AR(p) sans constante donné par:

Les paramètres à estimer sont les et .

Méthode de Yule-Walker[modifier | modifier le code]

La méthode consiste à reprendre les équations de Yule-Walker en inversant les relations: on exprime les coefficients en fonction des autocovariances. On applique alors le raisonnement de la Méthode des moments: on trouve les paramètres estimés d'après les autocovariances estimées.

En prenant l'équation sous sa forme matricielle:

Le vecteur des paramètres peut alors être obtenu.

La matrice du système est une matrice de Toeplitz. Un algorithme que l'on peut employer pour l'inversion du système est l'algorithme de Levinson-Durbin.

Maximum de vraisemblance inconditionnel[modifier | modifier le code]

L'estimation d'un modèle AR(P) par la méthode du maximum de vraisemblance est délicate car la fonction de vraisemblance est très complexe et n'a pas de dérivée analytique. Cette difficutlé provient de l'interdépendance des valeurs, ainsi que du fait que les observations antérieures ne sont pas toutes disponibles pour les p premières valeurs.

Maximum de vraisemblance conditionnel[modifier | modifier le code]

Une manière de simplifier la complexité de la fonction de vraisemblance est de conditionner cette fonction aux p premières observations. La fonction de log-vraisemblance devient:

La maximisation de cette fonction par rapport aux paramètres correspond à la minimisation des erreurs du modèle. L'estimateur du maximum de vraisembance conditionnel correspond ainsi à celui des moindres carrés.

L'estimateur obtenu sera équivalent à l'estimateur inconditionnel dans de grands échantillons et tous deux ont la même distribution asymptotique (Hamilton 1994, p. 126). Il peut être biaisé[3]

Propriétés des estimateurs[modifier | modifier le code]

Davidson et McKinnon (1993) rapportent que l'estimateur des moindres carrés conditionnel est biaisé, mais néanmoins convergent. Cryer et Chan (2008) proposent une simulation Monte-Carlo pour tester les différents estimateurs.

Annexes[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

Notes et références[modifier | modifier le code]

  1. selon Hamilton (1994, p. 59)
  2. voir Cryer (2008, p. 84)
  3. voir Greene (2005, p. 256)

Articles connexes[modifier | modifier le code]