Algorithme de Strassen

L’algorithme de Strassen est un algorithme calculant le produit de deux matrices carrées de taille n, proposé par Volker Strassen en 1969. La complexité de l'algorithme est en $O(n^{2,807})$, avec pour la première fois un exposant inférieur à celui de la multiplication naïve (en $O(n^{3})$).

L'avantage algorithmique sur le nombre de multiplications a néanmoins un inconvénient : l'algorithme n'est pas très stable numériquement^{[réf. nécessaire]}.

Importance du résultat

Historiquement, l'algorithme de Strassen est le premier algorithme de multiplication de matrices $n\times n$ demandant asymptotiquement un nombre d'opérations arithmétiques (additions et multiplications) $o(n^{3})$. On ignorait auparavant s'il était possible de multiplier des matrices en complexité sous-cubique. (Ce n'est cependant pas le premier algorithme « plus rapide » que l'algorithme naïf : Shmuel Winograd avait donné en 1967 un algorithme demandant environ $n^{3}/2$ multiplications dans le cas de matrices à coefficients dans un anneau commutatif, contre $n^{3}$ environ pour l'algorithme naïf.)

De surcroît, l'article de Strassen montre comment utiliser l'algorithme rapide de multiplication pour calculer l'inverse d'une matrice avec la même borne de complexité. Il prouve ainsi que l'algorithme usuel du pivot de Gauss n'est pas optimal.

Le travail de Strassen a ouvert un champ de recherche important en informatique théorique. La question centrale dans ce domaine est de savoir s'il est possible de multiplier deux matrices $n\times n$ en $O(n^{\omega })$ opérations pour $\omega$ arbitrairement proche de $2$. Parmi les résultats importants qui suivront, on peut citer notamment l'algorithme de Coppersmith-Winograd (1987), dont la complexité $O(n^{2,376})$ est longtemps resté la meilleure connue.

Description de l'algorithme

Soit R un anneau unitaire et soient A et B des matrices carrées de taille n dont les coefficients sont éléments de l'ensemble sous-jacent à R. Pour des raisons de simplicité on traite le cas où n est une puissance de 2. On peut toujours se ramener à ce cas en rajoutant éventuellement des colonnes et des lignes de zéros. L'algorithme de Strassen permet de calculer la matrice produit C.

Les trois matrices A, B et C sont divisées en matrices par blocs de taille égale :

$\mathbf {A} ={\begin{bmatrix}\mathbf {A} _{1,1}&\mathbf {A} _{1,2}\\\mathbf {A} _{2,1}&\mathbf {A} _{2,2}\end{bmatrix}}{\mbox{ , }}\mathbf {B} ={\begin{bmatrix}\mathbf {B} _{1,1}&\mathbf {B} _{1,2}\\\mathbf {B} _{2,1}&\mathbf {B} _{2,2}\end{bmatrix}}{\mbox{ , }}\mathbf {C} ={\begin{bmatrix}\mathbf {C} _{1,1}&\mathbf {C} _{1,2}\\\mathbf {C} _{2,1}&\mathbf {C} _{2,2}\end{bmatrix}}$

où

$\mathbf {A} _{i,j},\mathbf {B} _{i,j},\mathbf {C} _{i,j}\in F^{n/2}\times F^{n/2}.$

On a alors

$\mathbf {C} _{1,1}=\mathbf {A} _{1,1}\mathbf {B} _{1,1}+\mathbf {A} _{1,2}\mathbf {B} _{2,1}$

$\mathbf {C} _{1,2}=\mathbf {A} _{1,1}\mathbf {B} _{1,2}+\mathbf {A} _{1,2}\mathbf {B} _{2,2}$

$\mathbf {C} _{2,1}=\mathbf {A} _{2,1}\mathbf {B} _{1,1}+\mathbf {A} _{2,2}\mathbf {B} _{2,1}$

$\mathbf {C} _{2,2}=\mathbf {A} _{2,1}\mathbf {B} _{1,2}+\mathbf {A} _{2,2}\mathbf {B} _{2,2}$

Cette méthode nécessite 8 multiplications de matrices pour calculer les C_i,j, comme dans le produit classique.

La force de l'algorithme de Strassen réside dans un ensemble de sept nouvelles matrices M_i qui vont servir à exprimer les C_i,j avec seulement 7 multiplications au lieu de 8 :

$\mathbf {M} _{1}:=(\mathbf {A} _{1,1}+\mathbf {A} _{2,2})(\mathbf {B} _{1,1}+\mathbf {B} _{2,2})$

$\mathbf {M} _{2}:=(\mathbf {A} _{2,1}+\mathbf {A} _{2,2})\mathbf {B} _{1,1}$

$\mathbf {M} _{3}:=\mathbf {A} _{1,1}(\mathbf {B} _{1,2}-\mathbf {B} _{2,2})$

$\mathbf {M} _{4}:=\mathbf {A} _{2,2}(\mathbf {B} _{2,1}-\mathbf {B} _{1,1})$

$\mathbf {M} _{5}:=(\mathbf {A} _{1,1}+\mathbf {A} _{1,2})\mathbf {B} _{2,2}$

$\mathbf {M} _{6}:=(\mathbf {A} _{2,1}-\mathbf {A} _{1,1})(\mathbf {B} _{1,1}+\mathbf {B} _{1,2})$

$\mathbf {M} _{7}:=(\mathbf {A} _{1,2}-\mathbf {A} _{2,2})(\mathbf {B} _{2,1}+\mathbf {B} _{2,2})$

Les C_i,j sont alors exprimées comme

$\mathbf {C} _{1,1}=\mathbf {M} _{1}+\mathbf {M} _{4}-\mathbf {M} _{5}+\mathbf {M} _{7}$

$\mathbf {C} _{1,2}=\mathbf {M} _{3}+\mathbf {M} _{5}$

$\mathbf {C} _{2,1}=\mathbf {M} _{2}+\mathbf {M} _{4}$

$\mathbf {C} _{2,2}=\mathbf {M} _{1}-\mathbf {M} _{2}+\mathbf {M} _{3}+\mathbf {M} _{6}$

Le procédé est répété jusqu'à ce que les matrices A et B soient « de petite taille ».

Il n'est pas nécessaire d'itérer le procédé jusqu'à une taille 1. En pratique, l'algorithme de Strassen est utilisé pour les matrices de grande taille. Il divise la taille jusqu'aux dizaines ou centaines et un autre algorithme de multiplication prend ensuite le relais pour calculer le produit des « petites matrices » obtenues.

Dans l'algorithme original de Strassen, chaque niveau de récursion effectue 18 additions et soustractions de blocs en plus des 7 multiplications. En 1980, Shmuel Winograd propose des formules alternatives qui nécessitent le même nombre de multiplications mais seulement 15 additions. En 2010, Marco Bodrato donne une nouvelle variante qui égale les 7 multiplications et 15 additions de l'algorithme de Winograd pour un produit quelconque tout en demandant moins d'opérations dans le cas particulier du calcul du carré d'une matrice.

Complexité

La multiplication matricielle « naïve » utilise

$n^{3}=n^{\log _{2}8}$

multiplications des éléments de l'anneau R. Les additions sont généralement ignorées dans le calcul de la complexité car elles sont beaucoup plus rapides que la multiplication, en particulier si la taille des entrées est supérieure à la taille du mot machine.

Avec l'algorithme de Strassen, le nombre de multiplications T(n) est réduit à

$n^{\log _{2}7}\approx n^{2,807}.$

Cet exposant est obtenu comme la solution de l'équation par récurrence

$T(n)=7T(n/2)+\Theta (n^{2}).$

La constante dans la complexité est de l'ordre de 50, ce qui fait que l'algorithme de Strassen n'est efficace que pour des matrices de grandes tailles. L'algorithme de Strassen est aussi peu efficace algorithmiquement sur les matrices avec peu de coefficients non-nuls (matrices creuses).

Bibliographie

• Thomas Cormen, Charles Leiserson, and Ronald Rivest. Introduction to Algorithms, Second Edition. MIT Press and McGraw-Hill, 1990. ISBN 0-07-013143-0. Chapter 31: Section 31.2: Strassen's algorithm for matrix multiplication, pp.739–745.

Liens externes

• (en) MathWorld : formules de Strassen
• (en) Analyse de l'algorithme de Strassen à l'aide de Maple
• (fr) Gérard Sookahet, Algorithme de V. Strassen pour la multiplication rapide de matrices