Utilisateur:ThomasThibaultGuillaume/Brouillon

Introduction

Dans un monde de plus en plus informatisé et automatisé, l’analyse des images est de plus en plus utilisée et cruciale, dans des domaines aussi variés que la reconnaissance faciale, la segmentation ou encore la détection d’objets. La différenciation des images se fait aussi en fonction des textures et des couleurs, deux points pour lesquels il est nécessaire de définir des descripteurs.

De nombreux descripteurs et méthodes existent et ont chacun une efficacité éprouvée dans des configurations précises. La difficulté est de trouver des descripteurs pouvant être utilisés systématiquement, quelles que soient les conditions d’éclairage. Voilà tout l’intérêt de réaliser du multi espace couleurs. Le traitement des images par des outils utilisant une association de différents descripteurs permet de se libérer des contraintes liées à l’environnement des images et donc d’automatiser leur traitement.

Ce document présente l’état de l’art des approches d’espace multicolore qui ont été utilisés dans les travaux de recherche récents. Dans un premier temps nous détaillerons les trois approches multi espace couleurs étudiées, puis nous comparerons les différents descripteurs correspondants et enfin nous conclurons quant à l’efficacité de ces outils.

Les espaces couleurs

Un espace couleurs est une représentation des couleurs dans un système de synthèse des couleurs. La vision humaine étant composée de capteurs sensibles à trois couleurs, ces espaces couleurs sont souvent représenté sous forme de triplets. Chaque couleur de lumière peut donc être caractérisée par un point dans un espace à trois dimensions. L'utilisation d'espaces couleurs est un avantage certain par rapport à l'utilisation d'espaces en noir et blanc. En effet, les détails sont plus nets, les images sont plus parlantes, le traitement peut être plus poussé car étudié de manière différentes, grâce à la multitude d'espaces applicables aux images en couleurs.

Pourquoi utiliser les espaces couleurs ?

Un espace couleurs est un modèle mathématique tridimensionnel représentant l'ensemble des couleurs perceptibles, utilisables ou reproductibles par un être humain ou un appareil. Chaque couleur qu'il contient est associée à des coordonnées déterminant un point précis et correspondant, par exemple, à des valeurs telles que la luminance, la saturation et la teinte.

Les différents espaces couleurs

Décomposition d'une photographie couleur RGB en c'est trois composantes de couleur.

Les espaces couleurs primaires (RGB et XYZ)

Les espaces couleurs primaires sont basés sur la théorie trichromatique, qui suppose qu'il est possible de faire correspondre n'importe quelle couleur en mélangeant des quantités appropriées de trois couleurs primaires.

Les espaces couleurs primaires, pour lesquelles les couleurs peuvent être physiquement représentées. L'espace RGB, pour Red, Green, Blue (Rouge, vert, bleu en français), est un espace représentant les couleurs par synthèse additive dues couleurs primaires : rouge, vert et bleu. Il est notamment utilisé dans l'informatique pour sa facilité de mise en place. Pour chacune des couleurs primaires, la valeur s'exprime par un triplet de valeurs dans un intervalle entre 0 et 255. Le blanc s'écrit para exemple : RGB(255, 255, 255).

Il existe aussi les espaces couleurs imaginaires, dont les couleurs primaires n'existent pas physiquement, comme l'espace XYZ. Ce dernier est un espace de couleur défini par la CIE en 1931. Cet espace a été créé pour améliorer l'espace RGB afin de mieux correspondre à la vision humaine.

Les espaces Luminance Chrominance

Représentation tri-dimensionnel de l'espace couleur YCbCr.

Les espaces de couleur luminance-chrominance sont composés d’un composant qui représente une information achromatique (appelée «luminance») et deux composants, qui quantifient une information chromatique (appelée «chrominance»). La luminance représente l'intensité lumineuse subjective et indépendante de la couleur. Elle est représentée par la lettre 'Y' des triplets.

Parmi ces derniers, certains espaces sont utilisés comme espaces couleurs de télévisions. Il séparent le signal achromatique et les signaux chromatiques pour la transmission du signal télévisuel. Les trois espaces suivants en font partie :

- YCbCr est un espace chrominance représentant l'espace couleurs en vidéo. L'avantage de ce standard est la compatibilité entre les récepteurs de télévision noir et blanc et les récepteurs couleurs.

- le modèle YIQ est le modèle utilisé dans un standard de la télévision numérique.

- le modèle YUV est le modèle utilisé dans le système de diffusion télévisuelle PAL.

Il y a aussi des espaces colorimétriques perceptuellement uniformes, qui permettent d'établir une correspondance entre une différence de couleur perçue par un observateur humain et une distance mesurée dans l'espace colorimétrique. Parmi celles-ci, notons deux espaces créés en 1976 pour la caractérisation des surfaces : l'espace L ∗ a ∗ b* et l'espace L ∗ u ∗ v. Ces méthodes ne sont plus linéaires afin de mieux rendre compte des écarts entre les couleurs perçues par la vision humaine et cela permet de mesurer de fins écarts entres les couleurs.

Comparaison des deux espaces couleur HSL et HSV qui dont représenté dans un système de coordonnée polaire.

Enfin, citons un dernier espace couleurs de luminance-chrominance : l’espace colorimétrique LCh1Ch2 de Carron[29].

Les espaces colorimétriques perceptuels

Les espaces colorimétriques perceptuels tentent de quantifier la perception subjective de la couleur chez l'homme en utilisant les composantes d'intensité, de teinte et de saturation. Citons notamment les espaces de coordonnées perceptuelles directement évalués à partir d'espaces de couleurs primaires comme le modèle HSV hexcone,le modèle HLS double hexcone ou encore le modèle triangle HSI.

Espace Teinte Saturation Lumière (TSL)

Représentation de l'espace couleur PCA pour une image de poisson.

Les différents systèmes de base sont TSL (HSL en anglais) ou TSV (HSV en anglais). Dans ces modèles, les trois paramètres de description d'une couleur sont la teinte, la saturation et la luminosité. Ces deux système, rendus public en 1978, sont encore largement utilisés dans le traitement des images en informatique.

Les espaces couleurs d'axes indépendants

Ces espaces ont été créés grâce à différentes méthodes statistiques (comme le KLT ou le PCA), qui fournissent les composantes les moins corrélés possible comme l'espace colorimétrique I1I2I3. Ce dernier est considéré comme un espace couleurs indépendant. Certaines recherches portent à croire que l'utilisation de cet espace couleurs peut améliorer la segmentation des objets [30].

Présentation des approches multi espaces couleurs étudiées

La recherche du meilleur espace couleur pour le traitement des images ne donne pas toujours les meilleurs résultats et n’est pas simple à automatiser. Une possibilité est la combinaison de d’espaces colorimétriques afin d’améliorer les performances atteintes par la classification classique. Les trois catégories que nous allons présenter sont : la fusion d’espaces couleurs, la sélection d’espaces couleurs et la sélection des caractéristiques de texture de couleur.

Méthode des 3 plus proches voisins.

a. Méthode de fusion des espaces couleurs

La fusion d’espaces couleurs est une stratégie qui implique de fusionner les résultats de plusieurs classifieurs, chacun opérant dans un espace couleur différent. Ainsi, avec une règle de fusion des décisions il est possible d'étiqueter correctement l'image étudiée grâce aux différents résultats obtenus (chacun provenant de décision des classifieurs étudiés).

Plusieurs approchent utilisent ce type d'espace couleurs (voir le tableau ci-dessous). Les objectifs visés sont principalement la classification de textures ou la segmentation d'images couleurs. Les outils souvent utilisés dans ces approches sont la méthode des k plus proches voisins, les machines à vecteurs de support pour classer les pixels grâce à des classifieurs spécifiques ou encore des techniques de fusion.

b. Méthode de sélection des espaces couleurs

La sélection des espaces couleurs est une technique qui consiste à sélectionner automatiquement l'espace couleur le plus adapté parmi un ensemble d’espaces disponibles en fonction d’un critère spécifique. l'objectif étant de sélectionner de manière automatisé l'espace couleur permettant le mieux de discrétiser les classes d'images.

Plusieurs approches existent (voir le tableau ci-dessous); en effet, il est très compliqué de choisir le bon espace couleurs car en fonction des conditions d'éclairement et des textures étudiées, les résultats peuvent variées fortement : l'automatisation est donc réellement complexe. Les objectifs sont la classification des pixels d'une image en couleurs et leur segmentation automatique.

Les outils actuellement employés sont des programmes informatiques développés par les chercheurs. Ces derniers réalisent souvent des commutations d'espace couleurs dont le but est qu'ils s'adaptent automatiquement à l'image considérée. Ainsi, des algorithmes employant l'apprentissage automatique et des méthodes itératives sont couramment employés.

c. Méthode de sélection d'attributs supervisée pour les textures

Cette troisième méthode diffère des deux précédentes : au lieu de sélectionner des espaces de couleurs, elle consiste à sélectionner automatiquement les caractéristiques de texture de couleur calculées dans plusieurs espaces de couleur. Cette stratégie implique l'évaluation des caractéristiques de texture sur différents espaces couleurs et sélectionne les caractéristiques offrant la meilleure discrimination entre les différentes textures classées en utilisant une approche de sélection de caractéristiques supervisée.

Les approches utilisant cette méthode fonctionnent ainsi : la couleur de chaque pixel de l'image est transformée dans différents espaces couleurs et les caractéristiques de texture sont calculées à partir des images ainsi transformées. Ensuite, le processus de sélection choisi permet de choisir les caractéristiques de texture de couleur les plus discriminantes afin de réaliser le classement des textures étudiées. Les objectifs restent cependant les mêmes : classification de pixels pour l'analyse de texture.

Les outils principalement utilisés sont les vecteurs de caractéristiques et la méthode des k plus proches voisins.

Analyse et comparaison des différentes approches

Dans la suite de cet article, nous allons exposer les résultats de nombreux articles de recherche, afin de conclure sur la (ou les) méthode la plus optimisée pour traiter de manière optimale et automatique une grande majorité d'image à analyser, quelque soient les conditions d'éclairement, le sujet de l'image, les textures étudiées ou le but visé.

Multi color space approach	Descriptors	Color space Used	Base d'images utilisée	Source base d'images	Résultats obtenus	Références biblio. des méthodes comparées	Source	Référence bibliographique dans notre rapport
Color space fusion	Denoeux’s model	RGB, XYZ, HSL, YUV, HSI, L* a* b*, YCbCr	Image database containing 50 microscopic cell images.	?	recognition rate of 92.45% "	x	Lien	1
Color space fusion	Histograms of oriented gradients	RGB, oRGB, HSV, YCbCr	Caltech 256 Dataset UIUC Sports Event Dataset MIT Scene Dataset	Lien |--| Lien |--| Lien	Voir dernière page du pdf dont l'url est dans la colonne ci-contre.	x	Lien	2
Color space fusion	Color LBP Fusion	RGB, rgb, oRGB, HSV, YCbCr	MIT scene database, the KTH - TIPS2-b and the KTH-TIPS materials databases	Lien Lien	"Method Performance CGLF 99.6 CLF 99.6 oRGB-LBP 99.1 Croisier and Griffin 98.5 Kondra and torre 97.7 Zhang et al. 95.5"		Lien	3
Color space fusion	Markov random field (Markovian Bayesian fusion procedure)	RGB, XYZ, HSI, YIQ, TSL, L∗a∗b∗, L∗u∗v∗, I1I2I3, H1H2H3, YCbCr	Berkeley image database	Lien	This easily parallelizable Bayesian fusion model appears as an interesting alternative to complex, computationally demanding, segmentation models existing in the literature for the difficult image segmentation problem	x	Lien	4
Color space fusion	Markov random field				The proposed segmentation procedure performs competitively among the recently reported state-of-the-art segmentation methods.	x	Lien	5
Color space fusion	Color Gabor-LBP	"RGB, oRGB, HSV, YIQ, DCS, YCbCr	Caltech 256 dataset, MIT Scene dataset & UIUC Sports Event dataset	Lien	Average of 90% success on MIT scene dataset, 84.3% for UIUC Sports Event dataset and 35.3% of perf. for the caltech 256 dataset	x	Lien	6
Color space fusion	H-descriptor	"RGB, oRGB, HSV, YIQ, DCS, YCbCr, I1I2I3	Caltech 256 dataset, MIT Scene dataset & UIUC Sports Event dataset	--| Lien	"Average classification performance (Grayscale-H / RGB-H / H-fusion): > For caltech256 : 24.2 / 28.9 / 33.6 > For UIUC Sports : 77.4 / 82.3 / 86.2 > For MIT Scene : 83.7 / 88.1 / 90.8"	x	Lien	7
Color Space selection	Switching color space models	RGB, rgb, HSI, YIQ, XYZs, YCbCr, L*a*b*, L*u*v*, I1I2I3	Pas d'autorisation de l'auteur pour le moment	Lien	"Pas d'autorisation de l'auteur pour le moment	x	Lien	8
Color Space selection	Markov random field	"RGB, HSI, rg, L*a*b*, L*u*v*	Black and white videos	?	good	x	Lien	9
Color Space selection	Histogram multi thresholding	RGB, rgb, XYZ, xyz, YIQ, YUV, wbrgby, YC1C2, L∗a∗b∗, L∗u∗v∗, I1I2I3	The "hand" image	Lien	Relevant segmentation results ( based on the analysis of 1D-histograms)	x	Lien	10
Color Space selection	Switching model	RGB, HSV, YCbCr	Face dataset, database of human hands	?	Therefore based on experiments it can be firmly said that the neural network technique outperformed the Max Connected matrix to accomplish the task of adaptive color space switching for skin segmentation.	x	Lien	11
Color Space selection	Multi Color Space Segmentation	All	Berkeley image database	Lien	Hopeful but could be improved. Clustering schemes as spectral ones could be used to reduce this limitation	x	Lien	12
Color Space selection	Shadow eliminating operator	RGB, HSV, rgb XYZ, YCbCr, L∗a∗b∗,c1c2c3, l1l2l3						13
Color Space selection	Gaussian low-pass filter	RGB, HSV, HSI, L∗a∗b∗, YCbCr						14
Color Space selection	Color space models based on Mean-Shift	RGB, rgb, XYZ; HSI, YUV, YCbCr, L*a*b*, I1I2I3	?	Lien	good performance	x	Lien	15
Color texture	Reduced Size Chromatic Co-occurence Matrices	All	OuTex & VisTex	Lien Lien	Classification rates reached by (for OuTex // for VisTex): > MCSFS : 1-NN : 96.6% - rank sum : 90.3% // 1-NN : 99.8% - sum rank : 95.1% > SCSS : 1-NN : 92.5% - rank sum : 82.5% // 1-NN : 99.3% - sum rank : 90.5%M		Lien	16
Color texture	Gabor Filters	RGB, YUV, HSV, XYZ, LCH, L*a*b*, L*u*v*, YCbCr, YPbPr, YDbDr, JPEG-YCbCR	Dataset of 464 ears acquired at the University of Notre Dame in Fall 2002	Lien	The new approach in terms of area under the ROC curve(∼98.5%) are much better than those obtained by other 2D local(∼98%) and global (96.3%) ear matchers. In the same way the identification results obtained in terms of rank-1(∼84%) are much better than those of 2D local matchers(∼76%) and global matchers(70%).	x	Lien	17
Color texture	Color pixels classification	RGB, rgb, ISH, XYZ, xyz, YIQ, YUV, AC1C2, I1I2I3, L∗a∗b∗, L∗u∗v∗, L∗abC∗abhoab, L∗uvC∗uvhouv,L∗uvS∗uvhouv					Lien	18
Color texture	Haralick features	All	BarkTex benchmark database	Lien	"The rate of well-classified images obtained by considering the 10-dimensional feature space above determined reaches 85.6% by classifying test images with a k = 7 nearest neighbor classifier. The best classification result obtained with this benchmark database is 87%, with a 15-dimensional. The best classification result obtained with the Haralick features extracted from co-occurrences matrices computedfrom LBP images coded in the single(R, G, B)space reaches72.7% (for k=7)."	x	Lien	19
Color texture	Morphological information	RGB, rgb, HSL, L∗a∗b∗, I1I2I3, L∗IV1	Images prises dans un champs en côte d'or	-	Provides satisfying results but need to be validated on more images	x	Lien	20

Analyse des approches

Le manque d'autorisations données par les auteurs de certains articles peuvent entraîner des incertitudes sur certains éléments de cette analyse.

Pour l'approche de fusion d'espaces couleurs, la fusion par LBP des couleurs ( Color LBP fusion) est l'approche qui donnent les meilleurs résultats pour ce type d'approche (plus de 95% d'exactitude). On peut cependant noter que celle-ci n'utilise pas tous les types d'espaces couleurs.

Pour l'approche de sélection d'espaces couleurs, il est difficile d'après les données obtenues de désigner quelle méthode est la meilleure. Il semble cependant que la sélection basée sur des modèles basées sur l'algorithme Mean-Shift offre de bonnes performances.

Pour l'approche de textures couleurs, une méthode se dégage clairement, celle-ci s'appliquant à tous les espaces couleurs et ayant plus de 90% de bons résultats, celle ci n'est autre que la "Reduced Size Chromatic Co-occurence Matrices".

Autres classifieurs prometteurs

Certains classifieurs, récemment utilisés dans des cas concrets, sont prometteurs.

Les classifieurs à base de réseaux de neurones artificiels (Artificial Neural Networks(ANN)) ont déjà beaucoup évolués. Des réseaux de neurones à convolution directement appliqués sur les images de la base étudiée(au lieu de se servir d’un ANN qui prend en entrée des descripteurs extraits manuellement) ont donné de très bons résultats. Ainsi, on voit que des descripteurs nouveaux, liés à des concepts mathématiques novateurs, permettent de surpasser certains des classifieurs étudiés ci-avant.

Rappelons qu'en vision par ordinateur, il n’existe pas une définition unanimement acceptée de la texture. Les définitions mathématiques fondées sur des propriétés statistiques sont soit trop générales (donc imprécises), soit trop restrictives pour s’adapter aux différents types de texture existantes.

Il y a de nombreuses techniques permettant de vérifier la fiabilité des descripteurs utilisés et la pertinence de l’approche de classifications. Cela ajouté à la diversité des bases d'images et des conditions de captures amènent à imaginer que les approches considérées sont bonnes pour une application et que chaque nouvelle approche est créée soit pour palier un manque, soit pour trouver une certaine forme d'automatisation.

Références

[1] C. Charrier, G. Lebrun, and O. Lezoray. Evidential segmentation of microscopic color images with pixel classification posterior probabilities. Journal of Multimedia, 2(3), 2007.

[2] S. Banerji, A. Sinha, and C. Liu. Haarhog: Improving the hog descriptor for image classification. In Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, pages 4276–4281, 2013.

[3] S. Banerji, A. Verma, and C. Liu. Novel color LBP descriptors for scene and image texture classification. In Proceedings of the 15th International Conference on Image Processing, Computer Vision, and Pattern Recognition, pages 537–543, 2011.

[4] M. Mignotte. A label field fusion bayesian model and its penalized maximum rand estimator for image segmentation. IEEE Transactions on Image Processing, 19(6):1610– 1624, June 2010.

[5] M. Mignotte. A de-texturing and spatially constrained K-means approach for image segmentation. Pattern Recognition Letters, 32(2):359–367, January 2011.

[6] A. Sinha, S. Banerji, and C. Liu. Novel color Gabor-LBP-PHOG (GLP) descriptors for object and scene image classification. In Proceedings of the Eighth Indian Conference on Computer Vision, Graphics and Image Processing, page 58. ACM, 2012.

[7] S. Banerji, A. Sinha, and C. Liu. New image descriptors based on color, texture, shape, and wavelets for object and scene image classification. Neurocomputing, 117:173–185, October 2013.

[8] H. Stern and B. Efros. Adaptive color space switching for tracking under varying illumination. Image and Vision Computing, 23(3):353–364, March 2005.

[9] C. Benedek and T. Szirányi. Study on color space selection for detecting cast shadows in video surveillance. International Journal of Imaging Systems and Technology, 17(3):190–201, 2007.

[10] L. Busin, N. Vandenbroucke, L. Macaire, and J. G. Postaire. Color space selection for unsupervised color image segmentation by histogram multi-thresholding. In Proceedings of the IEEE International Conference on Image Processing, volume 1, pages 203–206, 2004.

[11] A. Gupta and A. Chaudhary. Robust skin segmentation using color space switching. Pattern Recognition and Image Analysis, 26(1):61–68, January 2016.

[12] N. Vandenbroucke, L. Busin, and L. Macaire. Unsupervised color-image segmentation by multicolor space iterative pixel classification. Journal of Electronic Imaging,24(2):023032–023032, 2015.

[13] Y. Shan, F. Yang, and R. Wang. Color space selection for moving shadow elimination. In Proceedings of the Fourth IEEE International Conference on Image and Graph, pages 496–501, August 2007.

[14] N. Razmjooy, B. S. Mousavi, M. Khalilpour, and H. Hosseini. Automatic selection and fusion of color spaces for image thresholding. Signal, Image and Video Processing, 8(4):603–614, May 2014.

[15] F. Laguzet, M. Gouiffès, L. Lacassagne, and D. Etiemble. Automatic color space switching for robust tracking. In Proceedings of the IEEE International Conference on Signal and Image Processing Applications, pages 295–300, 2011.

[16] A. Porebski, N. Vandenbroucke, and L. Macaire. Supervised texture classification: color space or texture feature selection? Pattern Analysis and Applications, 16(1):1–18, 2013.

[17] L. Nanni and A. Lumini. Fusion of color spaces for ear authentication. Pattern Recognition, 42(9):1906–1913, September 2009.

[18] N. Vandenbroucke, L. Macaire, and J.-G. Postaire. Color pixels classification in an hybrid color space. In Proceedings of the IEEE International Conference on Image Processing, volume 1, pages 176–180, 1998.

[19] A. Porebski, N. Vandenbroucke, and L. Macaire. Haralick feature extraction from LBP images for color texture classification. In Proceedings of IEEE International Conference on Image Processing Theory, Tools and Applications, pages 1–8, 2008.

[20] F. Cointault, D. Guerin, J. P. Guillemin, and B. Chopinet. In field Triticum aestivum ear counting using color texture image analysis. New Zealand Journal of Crop and Horticultural Science, 36(2):117–130, 2008.

[21] C. Charrier, G. Lebrun, and O. Lezoray. Evidential segmentation of microscopic color images with pixel classification posterior probabilities. Journal of Multimedia, 2(3), 2007.

[22] L. Busin, N. Vandenbroucke, and L. Macaire. Color spaces and image segmentation. In Advances in Imaging and Electron Physics, volume 151, pages 65–168. Elsevier, 2009.

[23] N. Vandenbroucke, L. Busin, and L. Macaire. Unsupervised color-image segmentation by multicolor space iterative pixel classification. Journal of Electronic Imaging, 24(2):023032–023032, 2015.

[24] N. Vandenbroucke, L. Macaire, and J. G. Postaire. Color image segmentation by pixel classification in an adapted hybrid color space. Application to soccer image analysis. Computer Vision and Image Understanding, 90(2):190–216, May 2003.

[25] M. Mignotte. A label field fusion bayesian model and its penalized maximum rand estimator for image segmentation. IEEE Transactions on Image Processing, 19(6):1610– 1624, June 2010.

[26] S. Chindaro, K. Sirlantzis, and F. Deravi. Texture classification system using colour space fusion. Electronics Letters, 41(10):589–590, 2005.

[27] S. Chindaro, K. Sirlantzis, and M. C. Fairhurst. ICA-based multi-colour space texture classification system. Electronics Letters, 42(21):1208–1209, 2006.

[28] R. Khan, A. Hanbury, J. Stöttinger, F. A. Khan, A. U. Khattak, and Amjad Ali. Multiple color space channel fusion for skin detection. Multimedia Tools and Applications, 72(2):1709–1730, September 2014.

[29] P. Lambert and T. Carron. Symbolic fusion of luminance-hue-chroma features for region segmentation. Pattern recognition, 32(11):1857–1872, 1999.

[30] Y.-I. Ohta, T. Kanade, and T. Sakai, “Color information for region segmentation, ”Computer graphics and image process-ing, vol. 13, no. 3, pp. 222–241, 1980.