La chimiométrie est l'application d'outils mathématiques, en particulier statistiques, pour obtenir le maximum d'informations à partir de données chimiques...
La chimiométrie est une discipline très appliquée. Son objectif est d'améliorer le contrôle et l'optimisation des procédés ainsi que la qualité des produits fabriqués. Son développement a été fortement accéléré par celui de la spectrométrie proche infrarouge dans les laboratoires de chimie analytique..
La chimiométrie se distingue des statistiques par le fait que : les statistiques requièrent que des hypothèses soient vérifiées a priori. Par exemple on vérifie l’indépendance et la distribution des variables avant de réaliser une régression linéaire ; la chimiométrie néglige ces précautions, car elles sont irréalisables sur les données qu’elle traite, mais procède à des vérifications a posteriori, sur la qualité des structures construites ou sur les performances des modèles.
La chimiométrie regroupe notamment. : les méthodes multivariées d'analyse de données ; les méthodes de régression multivariée ; Les méthodes de discrimination et de classification ; les méthodes de prétraitement du signal ; la validation des méthodes de mesure ; les plans d'expérience.
Les plans d'expériences ont pour objectif d'organiser mathématiquement les conditions expérimentales pour choisir les plus informatives, ce qui permet de minimiser le nombre d'expériences tout en maximisant l'information obtenue.
Données étudiées
L'une des grandes aires d'application de la chimiométrie est la spectroscopie infrarouge : proche et moyen infra-rouge (PIR/MIR)http://math.agrocampus-ouest.fr/infoglueDeliverLive/digitalAssets/41740_Poly_Bertrand_2008.pdf sous différentes approches (multi/hyperspectral, spatial ou non). Mais d'autres données peuvent également être étudiées : spectroscopie RMNhttps://tel.archives-ouvertes.fr/tel-01341959/document, spectroscopie de massehttps://tel.archives-ouvertes.fr/tel-00685887/document, spectroscopie Ramanhttps://serval.unil.ch/resource/serval:BIB_DD70B27E1A48.P003/REF.pdf.
Les signaux traités par la chimiométrie ont généralement en commun que chaque variable (chaque intensité à une longueur d'onde données d'un spectre) est peu sensible vis à vis du phénomène étudié, mais l'ensemble des variables peut l'être. La chimiométrie, via des opérations d'algèbre linéaire, consiste alors à combiner les variables du signal, peu sensibles, pour créer de nouvelles variables appelées variables latentes, plus sensibleshttps://agritrop.cirad.fr/567909/1/document_567909.pdf.
Méthodologie générale et bonnes pratiques
Notations Les matrices seront représentées par des majuscules grasses, comme X. Les vecteurs, par des minuscules grasses, comme xj qui représente la j ième colonne de X, et les scalaires, par des minuscules italiques, comme n indiquant le nombre d'individus ou p indiquant le nombre de variables. Les données contenant les signaux décrits par p variables mesurées sur n individus seront rangées dans une matrice X de n lignes par p colonnes..
Apprentissage Un grand nombre de méthodes chimiométriques ont pour but de réaliser un étalonnage (), entre un signal x (par exemple un spectre) et des grandeurs à prédire y (par exemple une concentration et une densité), au moyen d'un apprentissage. En apprentissage, on cherche à construire un modèle mathématique à partir d'un ensemble d'échantillons sur lesquels on aura mesuré x et y, regroupés dans deux matrices, X et Y. Pour ce faire, les données sont classiquement séparées en trois groupes : le jeu d'apprentissage (Xc, Yc), le jeu de validation (Xv, Yv) et le jeu de test (Xt, Yt)..
Il y a deux phases dans la construction d'un modèle : Une phase d'optimisation des (hyper-)paramètres du modèle (le prétraitement du signal, le nombre de plus proches voisins pour le kNN, le nombre de variables latentes dans une PLS). Un modèle est calculé sur Xc, Yc avec des valeurs de paramètres données et le modèle est ensuite testé sur Xv, Yv. Le résultat de ces tests permet de régler les paramètres du modèle ; Une phase d'évaluation du modèle. Un modèle utilisant les paramètres déterminés à la phase d'optimisation est calculé sur (Xc+Xv, Yc+Yv) et testé sur Xt, Yt.
La phase 1 emprunte généralement une validation croisée, dans laquelle l'ensemble d'étalonnage et l'ensemble de validation sont tirés de manière répétée. Plusieurs types de validation croisée existent : random blocs, jack-knife, venitian blind, leave-one-out, répétée... Le leave-one-out n'est pas recommandé car il favorise le sur-apprentissage. La validation croisée répétée est préférable. vignette|Résumé des bonnes pratiques lors de la construction d'un étalonnage en chimiométrie. Pendant la construction du modèle, on doit attacher une grande importance à ne pas biaiser artificiellement ses critères de performances. Par exemple, tous les réplicats de mesures d'un même échantillon ne doivent jamais être séparés entre le jeu d'étalonnage et le jeu de validation, et le jeu test doit être le plus indépendant possible et représentatif de l'utilisation future du modèle.
Le schéma représente le logigramme typique de la construction d'un modèle d'étalonnage en chimiométrie.
Critères de performance et d'évaluation des modèles Les critères employés pour l'évaluation de la performance : RMSEP, le R2 (et/ou le RPD qui est relié au R2).
Les critères employés pour l'évaluation de la qualité : coefficient de Durbin-Watson, le T2 d'Hoteling, le coefficient Q.
Techniques et méthodes employées
Prétraitement des données Avant d'être traitées par les méthodes d'exploration ou d'étalonnage, les données ont parfois besoin d'être prétraitées, afin d'éliminer des signaux de fond indésirables, comme les effets des réflexions spéculaires en spectroscopie. De nombreuses méthodes de prétraitement ont été imaginées et développées, tant pour gommer des altérations génériques, comme les effets multiplicatifs ou additifs., que pour résoudre des problèmes spécifiques à chaque technique analytique, comme la fluorescence en spectrométrie Raman..
Les prétraitements se classent en deux grandes catégories : les prétraitements basés sur des statistiques calculées sur les individus de la base de données (c’est-à-dire sur les colonnes de la matrice) et les prétraitements basés sur le traitement du signal de chaque individu (c’est-à-dire sur les lignes de la matrice).
Prétraitements basés sur les statistiques des colonnes La chimiométrie repose essentiellement sur des calculs statistiques tels que la moyenne, la variance et la covariance. Ces quantités caractérisent l'ensemble des individus sur lesquels le modèle sera construit. Par exemple, une PLS cherche à maximiser la covariance. Toutefois, les unités utilisées pour mesurer les variables peuvent avoir des échelles non comparables. De même, la distribution de certaines variables peut être très asymétrique, ce qui entraîne des biais dans les estimations des moments statistiques. Un certain nombre de prétraitements sont consacrés à la correction de ces distorsions. Les prétraitements basés sur les statistiques des colonnes sont calculés dans l'espace des individus et sont ensuite appliqués sur chaque individu testé par le modèle. Par conséquent ils ne doivent pas être effectués avant le fractionnement de l'ensemble étalonnage / test. Une attention particulière doit également être portée lors de la validation croisée. En effet, le prétraitement doit être "intégré" dans la boucle de validation croisée afin de le calculer et de l'appliquer à chaque itération de la validation croisée.
Les méthodes les plus courantes pour corriger la distribution des variables consistent à soustraire et/ou diviser chaque colonne par une statistique calculée sur cette colonne.
Centrage par colonne Le centrage par colonne a pour but de définir l'origine par laquelle passe le modèle. Une description détaillée des différents modes de centrage se trouve dans Bro et Smilde.. Dans le plus courant, la moyenne de chaque colonne de données est soustraite de toutes les valeurs de cette colonne pour donner une matrice de données où la moyenne de chaque variable prétraitée est nulle. Lorsque le modèle, calculé sur ces données prétraitées, est appliqué à un nouvel individu, il faut appliquer à cet individu le même centrage que celui utilisé par le prétraitement, c'est-à-dire soustraire à cet individu la moyenne du jeu d'étalonnage.
Normalisation par colonne La normalisation des colonnes a pour but d'équilibrer les poids statistiques de toutes les colonnes. Cela revient à rendre les colonnes a-dimensionnelles. Il existe différentes méthodes pour cela. La plus courante consiste à donner la même variance à toutes les colonnes, en les divisant par leur écart-type, après les avoir centrées. Cela signifie que la seule information qui reste est liée aux corrélations entre les variables. Cette opération est appelée également « réduction » ou « ». D'autres statistiques que l'écart-type peuvent être utilisées, comme la racine carrée de l'écart-type, dans le Pareto Scaling.
Très rarement utilisé en spectrométrie proche infrarouge, lautoscaling est très utile lorsque les signaux porteurs d'information sont faibles et non corrélés à d'autres signaux plus forts. Ces cas peuvent se produire par exemple avec des signaux de spectrométrie de masse.
Prétraitements basés sur le traitement du signal Les méthodes de traitement du signal sont largement utilisées pour des applications spectroscopiques, afin de corriger les données spectrales des effets de taille et de se concentrer sur la forme du signal. Contrairement aux méthodes basées sur les statistiques des colonnes, les prétraitements basés sur le signal s'appliquent à chaque individu, indépendamment des autres. Ils peuvent donc en général être effectués avant le fractionnement des ensembles d'étalonnage et de test et ne nécessitent aucune précaution en ce qui concerne la validation croisée.
Correction des lignes de base Les spectres peuvent contenir des signaux d'arrière-plan structurés qui sont généralement appelés lignes de base. Les lignes de base sont censées être des signaux continus et à basse fréquence qui s’ajoutent au signal mesuré. Il existe différents modèles de ligne de base : constante, linéaire, polynomiale, qui ont donné lieu à différentes méthodes de correction. De plus, certains filtres de traitement du signal ont été adaptés au prétraitement des spectres chimiométriques. Il y a donc de nombreuses méthodes, le choix de la meilleure dépend fortement de l'application..
Les méthodes de correction de ligne de base les plus courantes sont : la soustraction d'une valeur à tout le spectre. Par exemple en soustrayant le minimum, le spectre prétraité aura un minimum égal à 0. Cette méthode n'est pas conseillée, car elle utilise la valeur d'un seul point et a donc tendance à augmenter le bruit du spectre. De plus, cette méthode ne corrige que des lignes de base horizontales ; la soustraction de la moyenne du spectre à tout le spectre. De la sorte, le spectre résultant a une moyenne nulle. Cette méthode est préférable à la précédente parce qu'elle propage moins de bruit, utilisant une valeur calculée à partir de tous les points. Par contre elle ne corrige que des lignes de base horizontales et produit des spectres avec des valeurs négatives, ce qui peut être gênant pour l'application de certaines méthodes ; la soustraction d'une ligne calculée sur une partie du spectre. Si, par expertise, on sait qu'une zone du spectre devrait être nulle, ou qu'en deux points distants, le signal devrait être nul, alors il suffit de calculer l'équation de la droite passant par cette zone ou par les deux points et de la soustraire du spectre ;