Reconstructing the Original: Machine Learning Puzzle Assembly for Matching Archaeological Textile Fragments

Abstract

Denne masteroppgaven utforsker den unike utfordringen med å bruke datavitenskap til å bevare og rekonstruere svært fragmenterte arkeologiske tekstiler, som representerer en særegen kategori av kulturarv. Tekstilene som er brukt i denne oppgaven er fra Oseberg-graven som ble oppdaget i 1903, og på grunn av tekstilenes kompleksitet minne restaureringen av dem om å løse et ekstremt komplisert puslespill. Dette kompliseres av faktorer som mangel på ground truth, mange fragmenter mangler, og de fragmentene som har overlevd er svært ødelagte og inneholder mye støy.

En av de største utfordringene er at vi ikke vet hvor mange originale eksemplarer disse fragmentene kommer fra, noe som gjør det svært vanskelig å løse puslespillet. Det første steget mot å løse problemet er derfor å identifisere hvilke fragmenter som tilhører samme originalgjenstand og hvilke som ikke gjør det. Denne avhandlingens bidrag er å kaste mer lys over dette problemet. For å løse disse utfordringene foreslår denne studien å bruke maskinlæringsmetoder for å gruppere tekstilfragmenter basert på RGB-bilder, med det formålet å utvikle et effektivt system for å identifisere og gruppere disse fragmentene basert på deres utseende og visuelle egenskaper.

I tillegg til dette foreslår jeg også en skrivebordsapplikasjon kalt Artifact Assembly. Denne applikasjonen er ment å tilby et trygt digitalt miljø for sluttbrukeren som skal jobbe med å løse dette arkeologiske puslespillet. Ettersom fragmentene i seg selv er ekstremt skjøre og vil bare bli enda mer skadet hvis de flyttes fysisk. Applikasjonen ble utviklet basert på tilbakemeldinger fra sluttbrukerne, dvs. arkeologene, og inneholder funksjoner som å laste inn bilder i et 2D-lerret, fritt kunne flytte, rotere og endre størrelse på fragmentene, eksportere lerretet som et bilde for lagring, samt å bruke et fargefilter på fragmentene for å se visuelle trekk som kanskje ikke ville vært synlige uten filteret.

Denne tverrfaglige forskningen har som mål å bidra til fagområdene rekonstruksjon av kulturarv og anvendt datavitenskap, samtidig som den anerkjenner at menneskelig ekspertise er en viktig komponent i denne prosessen. Ved å tilby et pålitelig spesialisert verktøy sammen med forskning på det svært spesifikke området: gruppering av arkeologiske tekstiler, håper jeg med denne oppgaven på sikt øke forståelsen av historiske kulturer, fremme bevaring av arkeologiske gjenstander, og forbedre dagens praksis når det gjelder å kombinere datavitenskap og restaurering av kulturarv.

This thesis explores the unique challenge of using computer science for conserving and reconstructing highly fragmented archaeological textiles, which represent a distinctive category of cultural heritage artifacts. The textiles used in this thesis are from the Oseberg burial discovered in 1903, and given the complexity of these textiles, their restoration resembles solving an extremely complex jigsaw puzzle, complicated by factors such as the absence of ground truth, numerous missing pieces, and the remaining fragments that are not only severely damaged, but also saturated with noise.

One of the most significant challenges is the fact that we don't know how many original items these fragments come from that substantially complicates solving the puzzle. Therefore, the first step toward solving the puzzle is to identify which fragments belong to the same original item and which ones do not. The contribution of this thesis is to shed more light on this question.

To mitigate these challenges, this study proposes the utilization of machine learning feature extraction and clustering methods for grouping textile fragments based on RGB images, intending to develop an efficient system to identify and group these fragments based on their visual features.

A desktop application called Artifact Assembly is also proposed. This application is intended to offer a safe digital environment for the end user to work on solving this archaeological puzzle because the fragments themselves are extremely fragile and will be even more damaged should they be physically moved around. The application was developed based on intended end users, i.e. archaeologists' feedback, and includes features such as loading images into a canvas 2D environment, freely being able to move, rotate and resize these fragments, exporting the canvas as an image for saving, and also to apply a color filter to the fragments in order to view visual features that may have been invisble to see without the filter.

This interdisciplinary research aims to contribute to the fields of cultural heritage reconstruction and applied computer science, while also recognizing that human expertise is a vital component in this process. By providing a reliable specialized tool together with research into the highly specific area of clustering archaeological textiles, this thesis attempts to inspire down the line to enhance the understanding of historical cultures, promote the preservation of cultural heritage and improve upon the current practices in combining computer science and cultural heritage restoration.