Image Content and Hand Writing Analysis of the Dead Sea Scrolls

Abstract

Institutt for informasjonssikkerhet og kommunikasjonsteknologi (IIK) ved Norges teknisk-naturvitenskapelige universitet (NTNU) i Gjøvik ønsket en måte å automatisk ta ut informasjon, for eksempel bokstaver, fra Dødehavsrullene, for så senere å bruke denne informasjonen for å identifisere forfatteren og perioden til Dødehavsrullen. Dette prosjektet undersøker mulig metodikk og design for å implementere en løsning som finner og tar ut bokstavene fra Dødehavsrullene. Bilder av Dødehavsrullene blir først bildebehandlet ved hjelp av ulike maskinsyn metoder som kontrastforbedring og støyfjerning. Dette gjøres for å øke nøyaktigheten av henholdsvis segmenteringen og klassifiseringen av bokstavene. Etter forbedring blir bokstavene i disse bildene segmentert med Pytesseract. Vår løsning inneholder en metode for å dele segmenter, som for eksempel ord eller sammenhengende bokstaver inne i et ord. Et datasett med de 22 gamle hebraiske bokstavene er generert for å trene og teste et konvolusjonelt nevralt nettverk. Denne modellen klassifiserer deretter de segmenterte bokstavene. I denne oppgaven har vi vist at den overordnede metodikken vi har designet og brukt på datasettet vi har generert, gjør det bedre enn resultatene fra andres tidligere verk. Et brukergrensesnitt har også blitt laget for å implementere bildeforbedringen, bildesegmenteringen og den dype nettverksklassifiseringen i denne rekkefølgen. Den tillater også andre funksjoner som åpning, lukking, beskjæring og lagring av bilder.

The Department of Information Security and Communication Technology (IIK) at the Norwegian University of Science and Technology (NTNU) in Gjøvik wanted a methodology that can help automatically extract and classify information, such as letters, from the Dead Sea Scrolls (DSS), later for them to use this information to identify authorship and date of the scrolls. This project investigates possible methodologies and designs and implements a solution for letter extraction from the DSS. Images of the DSS are first enhanced using various computer vision enhancement methods such as contrast improvement and noise removal. This is done to increase the accuracy of the segmentation and classification of the letters respectively. After enhancement, the letters in those images are segmented with Pytesseract. Our solution contains a method for splitting segments, such as words or a few connected letters in a word. A dataset of the 22 ancient Hebrew letters has been generated to train and test a Convolutional Neural Network (CNN). This model then classifies the segmented letters. In this thesis work we have shown that the overall methodology we have designed and used on the dataset we have generated performs better than the results from literature. A user interface has also been made to implement the image enhancement, the image segmentation, and the deep network classification in sequence and allows other functionalities such as opening, closing, cropping and saving of images.