En traitement d'image, le recalage est une technique qui consiste en la « mise en correspondance d'images »Zhengyou Zhang, Le problème de la mise en correspondance : L'état de l'art, Institut national de recherche en informatique et en automatique (INRIA), rapport de recherche , décembre 1993, , (lire en ligne ), ., dans le but de comparer ou combiner leurs informations respectives. Cette méthode repose sur les mêmes principes physique et le même type de modélisation mathématique que la corrélation d'images.
Cette mise en correspondance se fait par la recherche d'une transformation géométrique permettant de passer d'une image à une autre. Cette technique comprend de nombreuses applications, allant de l'imagerie médicale, afin par exemple de fusionner plusieurs modalités d'imagerie, au traitement de vidéos, comme le suivi de mouvement et la compression, ou à la création de mosaïques d'images (panoramas).
Les images à recaler peuvent provenir d'une même source ( scanner, caméra) ou être « multi-sources » ( images satellitales, aériennes et carte d'un même territoireMichel Roux, Recalage d'images multi-sources: application au recalage d'une image SPOT et d'une carte, thèse de doctorat en traitement de l'image, École nationale supérieure des télécommunications, Paris, 1993, 192 pages (résumé, sur cat.inist.fr, Institut de l'information scientifique et technique).).
Principe de l'algorithme Soient deux images donnéesMedical Image Registration; Joseph V. Hajnal, Derek L.G. Hill, David J. Hawkes; 2001,
l'image fixe
et l'image déformable
où est une position dans le domaine de l'image et .
L'objectif est de trouver la transformation
qui permet de minimiser l'écart entre deux images après la transformation:
.
La métrique s'appelle le critère de similarité dans le paragraphe suivant.
Ce critère peut être par exemple la distance au carré des deux images: .
Et la minimisation se fait par un algorithme d'optimisation.
Classification des méthodes
Les méthodes de recalage peuvent être classifiées selon quatre critères principauxCorrection d'images en provenance d'appareillage de type PET/CT, Marc Honoré, F.U.N.D.P, 2008 : les attributs : sur quel type d'information se fonde le recalage ? le critère de similarité : comment estimer l'appariement entre les points des images ? le modèle de transformation : comment sont alignés les points d'une image à l'autre ? la stratégie d'optimisation : comment converger vers une solution rapidement ?
Les attributs de l'image
Pour estimer la transformation, on peut utiliser l'intensité ou des primitives géométriques.
Approche géométrique
Ces méthodes furent parmi les premières à être proposées de par leur similitude avec la méthode utilisée par un être humain pour mettre en correspondance deux images. Elles se fondent en effet sur l'extraction à partir de chacune des images de primitives géométriques (points saillants, coins, contours...). Par la suite, ces primitives sont appariées afin de déterminer la transformation entre les deux images. Cette approche est intéressante car ces primitives sont faciles à manipuler et elles permettent d'être indépendante des modalités. Cependant, extraire ces attributs n'est pas toujours aisé.
Approche iconique
Cette classe de méthodes se fonde essentiellement sur l'utilisation des intensités des deux images via l'utilisation d'une mesure de similarité, sans prendre en compte l'information géométrique. Cette approche peut également s'appuyer sur une information dérivée des caractéristiques différentielles de l'image ou sur une transformée de Fourier. Cependant, dans le cas du recalage multimodal ou monomodal inter-patients, la relation entre l'intensité des images n'est pas toujours triviale à calculer. De plus, on n'extrait pas un sous-ensemble d'attributs, et par conséquent le nombre de données à traiter est élevé (l'entièreté de l'image).
Approche hybride
Cette approche tente de tirer parti des deux approches sus-citées.
Critère de similarité
La mesure de similarité entre les images dépend des attributs considérés.
Information fondée sur les attributs géométriques
C'est une information, comme des points (landmarks, coordonnées), des lignes ou des surfaces, qu'il faut mettre en correspondance. L'opération consiste à minimiser les distances entre les attributs homologues.
Information fondée sur l'intensité
De nombreuses mesures de similarité ont été développées à ce jour, supposant chacune une relation différente entre les intensités lorsque les images sont recalées. Parmi elles, les plus utilisées sont notamment : la SSD (, somme des différences au carré) qui suppose que les intensités des deux images sont les mêmes ; des mesures issues de la théorie de l'information comme le coefficient de corrélation qui suppose une relation affine entre les intensités ; l'information mutuelle fondé sur des relations statistiques. Cette mesure est idéale pour le recalage non rigide car l'appariement entre attributs homologues est indépendant de leur position géométrique.
Modèles de transformation
Transformation linéaire
La transformation géométrique recherchée peut tout d'abord être linéaire, c'est-à-dire pouvant s'écrire sous la forme d'un polynôme de degré 1. Cette classe comprend notamment les transformations: Rigide : translation + rotation (similitudes). Similitude : rigide + mise à l’échelle isotrope. Affine : inclut cisaillement et anisotropie d’échelle (transformations affines). Projective : homographie en 2D (transformations projectives).
Pour des raisons pratiques, ce type de transformation est par ailleurs souvent représenté sous une forme matricielle. On parle alors de représentation en coordonnées homogènes.
Par exemple, les transformations linéaires ne comportant que des translations ou des rotations sur les axes sont des recalage dit rigide. Ils sont notamment utilisés en imagerie médicale pour le recalage d'image intra-sujet et intra-modalité mais ayant été acquis à des dates différentes.
Transformation non linéaire
La transformation peut également être non linéaire. Elle est alors d'ordre supérieur par exemple les thin-plate splines, les combinaisons de B-Splines, etc. Dans la littérature de traitement d'images, ces transformations peuvent également être nommées élastiques, déformables ou encore non rigides.
Il existe deux approches pour modéliser la transformation non rigide : l'approche paramétrique et l'approche non paramétrique.
Approches paramétriques Méthode polynomiale : déformation globale modélisée par un polynôme de degré élevé. Fonctions de base (Basis functions) : combinaison linéaire de fonctions de base prédéfinies (ex. B-splines). Fonctions de base radiale (RBF-Radial Basis Functions) : interpolation à partir de points de contrôle à l’aide de noyaux radiaux (dont les thin-plate splines). FFD (Free Form Deformations) : déformation contrôlée par une grille de B-splines, globale ou locale selon la résolution de la grille. FEM (Finite Element Method) : modélisation mécanique sur un maillage d’éléments finis avec propriétés physiques.
Approches non paramétriques
Méthodes différentielles : Modèles fluides ou élastiques du recalage Flux optique Algorithme Demons (versions 0, 1 et 2 de Thirion) Algorithme Demons difféomorphique Algorithme de calculs rapides des mises à jour du champ de correspondances Algorithme efficient Demons difféomorphique
Méthodes statistiques : Approche bayésienne (ou markovienne)
Stratégie d'optimisation
Les méthodes d'optimisation constituent le lien entre le critère de ressemblance et la transformation optimisée, utilisant les informations issues du ou des critères choisies afin de déduire la transformation entre les images. De ce fait, ces algorithmes dépendent de la transformation optimisée et du critère.
Les méthodes géométriques produisent souvent un ensemble d'appariements entre divers points des images. Dans ce cas, et si la transformation recherchée le permet, un algorithme dit des moindres carrés, ainsi que ses variantes robustes, peut être utilisé afin d'obtenir la transformation optimale.
Les critères iconiques sont quant à eux souvent optimisés via des méthodes de descente de gradient en fonction des paramètres de la transformation ou, lorsque le gradient ne peut être calculé, la méthode de Powell peut être utilisée afin d'optimiser la transformation.
On distingue quatre grandes stratégies d'optimisation: Méthodes directes : résolution explicite (ex. moindres carrés sur appariements de primitives géométriques, souvent pour transformations linéaires). Méthodes exhaustives : recherche par balayage complet (utiles en multi-échelle ou pour faible dimension ; coûteuses). Méthodes numériques itératives d’ordre supérieur : Descente de gradient, Gauss-Newton, Levenberg-Marquardt (très courantes pour critères iconiques). Quasi-Newton, Powell (quand le gradient n’est pas disponible). Approches multi-résolution / pyramidales pour accélérer et éviter les minima locaux. Méthodes non déterministes : algorithmes génétiques, optimisation par colonies de particules, recuit simulé (robustes aux minima locaux mais plus lentes).
Applications
Le recalage est utilisé en imagerie médicale où ses applications sont nombreuses. Il permet notamment de fusionner plusieurs images d'un même patient, ceci par exemple afin de pouvoir exploiter les informations fournies dans différentes modalités comme l' imagerie scanner, l'imagerie par résonance magnétique, l'échographie ou l'échographie doppler, l'imagerie Tomographie à émission de positron (TEP), la scintigraphie, l'imagerie infrarouge... Mais il peut également être utilisé pour l'étude de l'évolution au cours du temps d'un patient. Le recalage est dit monomodal lorsque deux images de la même modalité sont recalées. Lorsque deux images de modalités différentes sont recalées, on parle alors de recalage multimodal.
En traitement d'imagerie médicale, il y a beaucoup d'applications cliniques et de recherches au recalage d'images. Les quatre grands domaines de recherches sont:
Le recalage inter-patients : pour mettre en correspondance les informations entre plusieurs patients. Cela permet de créer des modèles anatomiques ou fonctionnels de référence, ou même des atlas (sur base de la segmentation) ; Le recalage intra-patient monomodal : pour suivre l'évolution d'une lésion et compenser les changements de sa position chez un patient par un seul mode exploratoire ; Le recalage intra-patient multimodal : pour mettre en correspondance les informations anatomiques et fonctionnelles (plutôt par recalage rigide ou affine) chez un patient par plusieurs modes exploratoires ; Le recalage atlas-données : pour mettre en correspondance des données cliniques avec un atlas de référence.
Le recalage est également très utilisé dans le domaine du traitement de vidéos. Il peut par exemple être utilisé pour la détection de mouvement, le suivi automatique de formes ou d'objets.
D'autres applications dans le domaine du traitement d'images sont notamment reliées au morphing permettant de générer une transition entre deux images. Mais il est également très important en imagerie satellitaire, pour la création de panoramas d'images, etc. Enfin, une application étonnante est la souris optique. La plupart des technologies existantes utilisent en effet un recalage entre les images acquises par la souris afin d'estimer le mouvement de celle-ci.
Dans le domaine de mécanique, il existe aussi la technique du recalage avec le nom corrélation d'images numériques qui permet de mesurer les champs de déplacements entre deux images. Le principe de la méthode reste pareil à celui du recalage mais la corrélation d'images se focalise particulièrement sur la transformation et les déplacements entre images afin d'identifier des propriétés mécaniques des matériaux.