Appearance Characterization of Textiles

Abstract

The appearance of an object is the combination of the physical attributes that influence the human visual perception of the object itself. The most prominent of these attributes are colour, gloss, translucency and texture. Texture, which is defined as the aspect of appearance that gives rise to a perceivable local variability, plays a complex, yet fundamental, role in human recognition of material characteristics and in pattern discrimination. As a result, its study has gained considerable relevance during the last decades, though it is the most understudied among the visual appearance characteristics. The objective of this Ph.D. thesis is to contribute to the identification of a general texture metric, with particular focus on fabrics. We first focused on the physical requirements of a texture measurement device. In particular, we initially derived the characteristics required by a multi-spectral system to optimally classify the texture of fabrics. We then showed that the minimum texture classification error can be reached with less than ten spectral channels. Subsequently, we quantified the effect of the radiometric calibration and other standard steps of a camera imaging pipeline on the classification accuracy of trichromatic images. According to the results of the study, the process that most affects the accuracy appeared to be colour rendering. Afterwards, we analysed the limits and capabilities of the mathematical approaches used to study texture. Specifically, we examined the concept of ‘texture stationarity’, which, in the context of appearance, is ambiguously defined. We hence proposed and tested a scale-dependent stationarity test for images based on the locally stationary two-dimensional wavelet model. This method was then applied to regular and irregular textures, thus demonstrating that stationarity data can be useful to improve the accuracy of image classification, especially when classes have been chosen by humans. We also evaluated the relevance of stationarity by correlating it with texture similarity data obtained from a psychophysical experiment. To conclude, we gathered data on the semantic terms used by fabric experts to describe the visual appearance of textile samples. From these descriptors we then derived a vocabulary of appearance attributes and a fabric ontology. The corresponding descriptors were analysed and linked to a set of texture features, among which CNN ones appeared to perform the best. Finally, we developed a series of simple models based on these results with which it is possible to infer the semantic terms associated with an image.

Utseendet til et objekt er en kombinasjonen av dets fysiske egenskaper, disse påvirker den menneskelige visuelle oppfatningen av selve objektet. De mest fremtredende av disse egenskapene er farge, glans, gjennomsiktighet og tekstur. Tekstur, som er definert som en måte å betrakte overflate på, gir opphav til en lokal variabilitet. Dette spiller en kompleks, men grunnleggende rolle i menneskelig gjenkjennelse av egenskaper i materialer og i det å skille mønster fra hverandre. Som et resultat har undersøkelsen fått betydelig relevans i løpet av de siste tiårene, selv om den er den mest undervurderte blant de visuelle utseendeegenskapene. Målet med denne Ph.D. avhandlingen er at den skal gi et bidrag til identifisering av en generell teksturmetrikk, med særlig fokus på tekstiler. Vi fokuserte først på de fysiske kravene til en teksturmåleenhet. Spesielt avledet vi i utgangspunktet egenskapene som kreves av et multispektralt system for å optimalt kunne klassifisere tekstur av tekstiler. Vi viste da, at den minste teksturklassifiseringsfeilen kan nås med mindre enn ti spektrale kanaler. Deretter kvantifiserte vi effekten av den radiometriske kalibreringen og andre standardtrinn i et kamera-avbildningsprosess på klassifiseringsnøyaktigheten til et trikromatisk kamera. Ifølge resultatene av studien syntes den prosessen som mest påvirker nøyaktigheten å være fargegjengivelse. Etterpå analyserte vi muligheter og begrensninger til de matematiske tilnærmingene som ble brukt for å studere tekstur. Spesielt undersøkte vi konseptet ’teksturstasjonaritet’, som i teksturkontekst er tvetydig definert. Vi har derfor foreslått og testet en skala-avhengig stasjonaritetstest for bilder basert på den lokalt stasjonære todimensjonale wavelet-modellen. Denne metoden ble deretter brukt på vanlig og uregelmessig tekstur, og demonstrerte dermed at stasjonæritetsdata kan være nyttige for å forbedre nøyaktigheten av bildeklassifisering, spesielt når klasser er valgt av oss mennesker. Vi evaluerte også relevansen av stasjonæritet ved å korrelere den med teksturlikhetsdata oppnådd med et psykofysisk eksperiment. For å avslutte, samlet vi data om de semantiske begrepene som brukes av stoffeksperter for å beskrive det visuelle utseendet til tekstilprøver. Fra disse deskriptorene hentet vi deretter et ordforråd med utseendeattributter og stofftekstologi. De korresponderende deskriptorene ble analysert og knyttet til et sett med teksturfunksjoner, blant dem syntes CNN å fungere best. Til slutt har vi basert på disse en serie enkle modeller som det er mulig å utlede de semantiske begrepene knyttet til et bilde.