Multispectral and Hyperspectral Imaging of Art: Quality, Calibration and Visualization

Abstract

Multispectral and hyperspectral imaging can be powerful tools for analyzing and documenting works of art due to their ability to simultaneously capture both accurate spectral and spatial information. The data can be used for a wide range of diagnostic and analytical purposes, including materials identification, pigment mapping, the detection of hidden features or areas of lost material, for colorimetric analysis or for precise quantitative documentation. However, a number of technical challenges exist which have prevented multispectral and hyperspectral imaging from realizing their full potential and which have prevented the technologies from becoming more widely used and routine analytical tools. Both multispectral and hyperspectral imaging systems require careful and precise acquisition workflows in order to produce useful data. In addition, processing and calibration of the acquired data can be a challenge for many cultural heritage users. Hyperspectral imaging, in particular, can produce vast quantities of raw data that require complex processing and the ability to manage the large resulting volumes of data. Moreover, the final high resolution and multidimensional data that is produced can be difficult to use or to visualize. This thesis, therefore, seeks to address some of these issues and seeks to analyze and quantify potential problems and then propose tools, workflows and methodologies to resolve and mitigate them. The research presented here focuses on two main areas. The first research area concerns the quality of spectral data and how to measure, quantify and improve it. To do so, it is necessary to first establish exactly what spectral quality is and what methods can be used to quantify it. These methods are then applied to ascertain the levels of quality seen in data acquired under routine operating conditions with an evaluation of data from an extensive round-robin test of hyperspectral imaging systems. In order to improve the quality of spectral data, the various elements that contribute to and affect spectral quality within a system are then analyzed. Ac quisition and calibration pipelines are then defined for both multispectral and hyperspectral equipment with practical guidelines and workflows provided that aim to help users produce the best quality data possible. The second research area concerns the visualization of such data and examines ways to facilitate and make large and complex image data accessible online. For this, an architecture, visualization techniques and a full software platform are presented for the efficient distribution and visualization of high resolution multi-modal and multispectral or hyperspectral image data. This work is then extended in order to push the technology to the limits and to apply the techniques to the field of astronomy where image sizes are at their most extreme.

Multispektral og hyperspektral avbildning kan være kraftige verktøy for å analysere og dokumentere kunstverk, på grunn av dets evne til samtidig å fange både nøyaktig spektral og romlig informasjon. Dataene kan brukes til et bredt spekter av diagnostiske og analytiske formål, inkludert materialidentifikasjon, pigmentkartlegging, påvisning av skjulte egenskaper eller områder med tapt materiale, for kolorimetrisk analyse eller for presis kvantitativ dokumentasjon. Imidlertid eksisterer det en rekke tekniske utfordringer som har forhindret multispektral og hyperspektral avbildning fra å utnytte sitt fulle potensiale, og som har forhindret teknologiene fra å bli mer brukt og fra å bli standard analytiske verktøy. Både multispektrale og hyperspektrale bildesystemer krever nøye og presise avbildningsarbeidsflyter for å produsere nyttige data. I tillegg kan behandling og kalibrering av innhentede data være en utfordring for mange brukere i kulturarvsektoren. Spesielt hyperspektral avbildning kan produsere store mengder rådata som krever kompleks behandling og muligheten til å håndtere de store resulterende datamengdene. Videre kan det endelige høyoppløselige og flerdimensjonale datasettet som produseres være vanskelig å bruke eller å visualisere. Denne avhandlingen søker derfor å adressere noen av disse problemene og søker å analysere og kvantifisere potensielle problemer, og deretter foreslå verktøy, arbeidsflyter og metoder for å redusere og løse dem. Forskningen som presenteres her fokuserer på to hovedområder. Det første forskningsområdet gjelder selve kvaliteten på spektraldataene og hvordan man måler, kvantifiserer og forbedrer denne kvaliteten. For å gjøre dette er det nødvendig å først fastslå nøyaktig hva spektral kvalitet er og hvilke metoder som kan brukes til å kvantifisere den. Disse metodene blir deretter brukt for å fastslå kvalitetsnivåene til i datasett innhentet under rutinemessige driftsforhold, gjennom en evaluering av data fra en omfattende «round-robin test» av hyperspektrale bildesystemer. For å forbedre kvaliteten på spektraldata analyseres de forskjellige elementene som bidrar til og påvirker spektralkvaliteten i et system. Avbildnings- og kalibreringssarbeidsflyter defineres deretter for både multispektralt og hyperspektralt utstyr, med foreslåtte praktiske retningslinjer og arbeidsflyterfor at brukerne skal produsere data med best mulig kvalitet. Det andre forskningsområdet gjelder visualisering av slike data og undersøker måter å legge til rette for og gjøre store og komplekse bildedata tilgjengelige online. For dette presenteres en arkitektur, visualiseringsteknikker og en full programvareplattform for effektiv distribusjon og visualisering av høyoppløselige multimodale og multispektrale eller hyperspektrale bildedata. Dette arbeidet er også utvidet for å presse teknologien til det ytterste og til å anvende teknikkene på astronomi-feltet der bildestørrelsene er på sitt mest ekstreme.