GNU parallel
| GNU parallel | |
 Logo |
|
|
|
|
| Développeur | Projet GNU |
|---|---|
| Dernière version | 20111122 (22 novembre 2011) [+/-] |
| Écrit en | Perl |
| Environnement | GNU/Linux, FreeBSD, NetBSD, OpenBSD, Mac OS X, GNU, UNIX |
| Type | Interface en ligne de commande |
| Licence | GNU GPL |
| Site web | (en) Site officiel |
modifier  |
|
GNU parallel est un utilitaire en ligne de commande développé et maintenu pour le projet GNU par Ole Tange. C'est un logiciel libre permettant l'exécution de routines shell en parallèle sous différents systèmes compatibles UNIX comme GNU/Linux.
Sommaire |
Caractéristiques techniques [modifier]
- Remplacement d'une boucle en shell, par exemple
(for x in `cat list` ; do
foo $x
done) | processus_de_sortie
sous la forme simplifiée suivante:
cat list | parallel foo | processus_de_sortie
où la liste des fichiers contient des arguments pour foo et où le processus de sortie peut être vide.
Les scripts utilisant GNU parallel est souvent plus facile à lire que les scripts utilisant pexec.
GNU parallel comporte également les fonctionnalités suivantes:
- regroupement de la sortie standard stdout et de la erreur standard stderr afin de traiter séparément la sortie des processus traités en parallèle;
- ordre des sorties identiques celui des entrées;
- support des noms de fichiers contenant des caractères spéciaux comme l'espace, les guillemets simples ou doubles, l'esperluette, et des caractères en UTF-8;
GNU parallel peut faire tourner 9 processus en parallèle, mais en utilisant -j+0 il peut être configuré pour détecter le nombre de processeurs et les utiliser tous.
Exemples [modifier]
find . -name "*.foo" | parallel grep bar
équivaut à:
grep bar $(find . -name "*.foo")
Recherche de toutes les occurrences de la chaîne bar dans les fichiers du répertoire courant et ses sous-répertoires finissant par l'extension .foo. La commande parallèle va fonctionner comme prévu à moins que le nom de fichier ne contienne une fin de ligne. Pour contourner cette limitation:
find . -name "*.foo" -print0 | parallel -0 grep bar
L'exemple ci-dessus rajoute des spécificités GNU à la commande find pour séparer les noms de fichiers en utilisant le caractère nul;
find . -name "*.foo" | parallel -X mv {} /tmp/trash
La commande ci-dessus utilise {} pour dire à parallel de remplacer {} par la liste des arguments.
find . -maxdepth 1 -type f -name "*.ogg" | parallel -X -r cp -v -p {} /home/media
L'exemple ci-dessus fait la même chose que:
cp -v -p *.ogg /home/media
cependant, le 1er utilisant find/parallel/cp consomme moins de ressource et ne va pas s'arrêter avec une erreur si les arguments à *.ogg sont trop nombreux.
Scénarios d'utilisation [modifier]
GNU parallel est officiellement intégré dans Fedora 16 depuis le 3 octobre 2011[1]. On peut l'utiliser pour la compression de données audio FLAC[2], pour la compression de données au format zip[3], dans des situations de tests plus complexes[4] ou avec des logiciels de simulation de Monte-Carlo comme MCX[5]. Il est intégré au toolkit PPBS[6] depuis décembre 2011.
Historique [modifier]
L'origine du projet remonte à 2001 de la propre « expérience utilisateur » de l'auteur[7].
Notes et références [modifier]
- (en) « Fedora 16 Update », fedora-package-announce, 3 octobre 2011.
- (en) « Décompression audio FLAC», Blog, 30 août 2011.
- (en) « GNU Parallel », Blog, 11 mai 2011.
- (en) « GNU parallel for parameter sweeps », Blog, 8 septembre 2011.
- (en) « How do I run MMC simulations across a cluster ? », mcx.sourceforge.net, 4 décembre 2011.
- (en) « PPBS », physiology.med.cornell.edu, 4 décembre 2011.
- (en) « GNU Parallel: A Design For Life », fsf.org, 18 octobre 2011.
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « GNU parallel » (voir la liste des auteurs)
Lien externe [modifier]
- (en) GNU parallel sur la plateforme GNU Savannah.
