Learning from failure - Applying machine learning to accident reports A methods development project using machine learning to analyse unstructured text

Abstract

Flere maskinlæringsmetoder er brukt på et svært ustrukturert og rotete datamateriale fra sjøfarts-ulykker. En klassifiseringsmodell av ulykkestyper i det teoretiske rammeverket Menneske, Teknologi og Organisasjon (MTO), en regresjonsmodell av antall skadede og andre algoritmer testes. Gjennom et dypdykk i metodene og metodologien, beskrives arbeidet på bakrommet av data science og maskinlæring blir beskrevet gjennom et omfattende prosjekt og undersøkelse av maskinlæringsmetoder. Arbeidet med å forberede data gjennom naturlig språk prosessering (NLP) og arbeidet med rotete tekst data fra fritekst rapporter blir dokumentert for å bidra med å skape et metodisk fundament for lignende prosjektet innenfor samfunnsvitenskapen.

Klassifiseringsalgoritmen viser svært lovende resultater, ved å korrekt predikere ulykketype i MTO-rammeverket i 94 % av tilfellene etter omfattende trening og evaluering. Med modeller med den presisjonen, kan man vurdere å se på de resterende 6 % av rapportene, med antydning om organisatoriske endringer eller ytterligere organisasjonslæring ved videre analyse. Dette kan imidlertid ikke konkluderes uten å undersøkes nærmere. Metodene benyttet i dette prosjektet ble valgt grunnet de lave «black-boxing» effektene for å sikre transparens og metodiske bidrag.

Several machine learning (ML) methods are applied on messy data of unstructured accident reports from maritime accidents. A classification model of accident types in the theoretical framework Man, Technology and Organisation (MTO), a regression model of number of injured and other promising algorithms are tested. Through a deep-dive into the methods and the methodology, the work in the backrooms of data science and machine learning is detailed through an extensive project and research into actual ML methods. The work that goes into preparing the data using natural language processing (NLP) and working with messy text data from free-text reports is documented to help build a methodological foundation for similar projects in the social sciences.

The classification algorithm showed very promising results, correctly predicting an accident type in 94 % of the cases after rigorous training and evaluation. With models of that accuracy, suggestions can be made to look into the remaining 6 % of the reports, suggesting the presence of organisational changes or learning. However, this can not be concluded without doing more detailed analysis. The methods used in this project were chosen because of the low black-boxing effect in order to promote transparency and a methodological contribution.