Towards Spectral Mathematical Morphology

Abstract

Providing not only spatial information but also spectral measures as a function of wavelength, hyperspectral imaging boasts a much greater accuracy than traditional grayscale and color imaging. For this capability, hyperspectral imaging has been employed increasingly for various applications such as quality control and inspection of materials. However, to fully exploit its potential, it is important to be able to validly process the spectral image data as a measure. This induces the need of metrology where accuracy, uncertainty, and bias are addressed and managed at every level of the image processing. Aiming at developing a metrological image processing framework for spectral data, in this work we selected a nonlinear approach using the established mathematical morphology framework. We have extended this framework to the spectral domain by means of a distance-based ordering relation. Novel spectral distance function and spectral ordering relations are proposed, as well as new spectral image analysis tools using histograms of spectral differences. To ensure the validity of the new spectral mathematical morphology framework, rigorous theoretical validation and metrological assessment are carried out at each stage of the development. Thus, new protocols for quality assessment of spectral image processing tools are also developed. These protocols consist of artificial datasets to validate the theoretical and metrological requirements, image datasets of known characteristics to assess the robustness and stability, and datasets from real cases to prove the usefulness of the framework in an applicative context. The chosen application tasks are within the cultural heritage domain, where the analyzed images include pigments and paintings.

Sammendrag

Hyperspektral avbildning muliggjør mye mer nøyaktige målinger enn tradisjonelle gråskala og fargebilder, gjennom både høy romlig og spektral oppløsning (funksjon av bølgelengde). På grunn av dette har hyperspektral avbildning blitt anvendt i økende grad ulike applikasjoner som kvalitetskontroll og inspeksjon av materialer. Men for å fullt ut utnytte sitt potensiale, er det viktig å være i stand til å behandle spektrale bildedata som målinger på en gyldig måte. Dette induserer behovet for metrologi, der nøyaktighet, usikkerhet og skjevhet blir adressert og kontrollert på alle nivå av bildebehandlingen. Med sikte på å utvikle et metrologisk rammeverk for spektral bildebehandling valgte vi en ikke-lineær metodikk basert på det etablerte matematisk morfologi-rammeverket. Vi har utvidet dette rammeverket til det spektrale domenet ved hjelp av en avstandsbasert sorteringsrelasjon. En ny spektral avstandsfunksjon og nye spektrale sorteringsrelasjoner ble foreslått, samt nye verktøy for spektral bildeanalyse basert på histogrammer av spektrale forskjeller. For å sikre gyldigheten av det nye spektrale rammeverket for matematisk morfologi, har vi utført en grundig teoretisk validering og metrologisk vurdering på hvert trinn i utviklingen. Dermed er og-så nye protokoller for kvalitetsvurdering av spektrale bildebehandlingsverktøy utviklet. Disse protokollene består av kunstige datasett for å validere de teoretiske måletekniske kravene, bildedatasett med kjente egenskaper for å vurdere robustheten og stabiliteten, og datasett fra reelle anvendelser for å bevise nytten av rammeverket i en anvendt sammenheng. De valgte anvendelsene er innenfor kulturminnefeltet, hvor de analyserte bildene er av pigmenter og malerier

Résumé En fournissant en plus de l’information spatiale une mesure spectrale en fonction des longueurs d’ondes, l’imagerie hyperspectrale s’enorgueillit d’atteindre une précision bien plus importante que l’imagerie en niveaux de gris et couleur. Grace à cela, elle a été utilisée en contrôle qualité, inspection de matériaux, etc. Cependant, pour exploiter pleinement ce potentiel, il est important de traiter la donnée spectrale comme une mesure, d’où la nécessité de la métrologie, pour laquelle exactitude, incertitude et biais doivent être maitrisés à tous les niveaux de traitement. Face à cet objectif, nous avons choisi de développer une approche non-linéaire, basée sur la morphologie mathématique et de l’étendre au domaine spectral par une relation d’ordre spectral basée sur les fonctions de distance. Une nouvelle fonction de distance spectrale et une nouvelle relation d’ordonnancement sont ainsi proposées. Un nouvel outil d’analyse des données spectrales a été proposé à partir d’histogrames de différences. Afin d’assurer la validité des opérateurs, une approche théorique rigoureuse et une évaluation métrologique ont été mises en oeuvre à chaque étage de développement. Des protocoles d’évaluation de la qualité des traitements morphologiques sont proposés, exploitant des jeux de données artificielles pour la validation théorique, des ensembles de données dont certaines caractéristiques sont connues pour évaluer la robustesse et la stabilité et des jeux de données de cas réels pour prouver l’intérêt des approches en contexte applicatif. Les applications sont développées dans le contexte du patrimoine culturel pour l’analyse de peintures et pigments.