Improving classification of scanned documents using page stream segmentation and deep learning

Abstract

Denne rapporten sammenligner diverse metoder for å forbedre nøyaktigheten på klassifisering av norske kommunale dokumenter. Vi grupperer sammen sider ved hjelp av ulike modeller som ser etter relasjoner mellom sider, før vi kombinerer denne grupperingen med en eksisterende modell for klassifisering. Vi bruker også de eksisterende metodene ULMFiT og ResNet for tekst- og bildeklassifisering ved hjelp av dyp læring.

Resultatene viser at tekstklassifiseringen fra ULMFiT gir de beste resultatene på alle testede datasett, med en gjennomsnittlig forbedring på 30% i forhold til den nåværende løsningen. Den beste nøyaktigheten oppnådd var 91.1%. Vi ser likevel potensiale for fremtidig arbeid innenfor både ResNet og sidegruppering.

This report compares a selection of methods for improving classification accuracy on Norwegian administrative documents. We group pages together by using multiple models that looks for continuities between pages, before combining this grouping with an existing classification model. We also use the existing deep learning methods ULMFiT and ResNet for text and image classification respectively.

We find that our ULMFiT text classification provides the best accuracy on all tested datasets, giving an average improvement of 30% to the current solution. The best accuracy achieved was 91.1%. However we see potential for future work involving both ResNet and page stream segmentation.