Combining System Dynamics and Machine Learning for Predicting Safety Performance in Construction Projects

Abstract

Denne oppgaven utforsket kombinasjonen av systemdynamikk og maskinlæring for å kunne gi en tidlig advarsel for byggeprosjekter som er spesielt utsatt for ulykker. Byggebransjen er preget av mye ulykker og det forskes på hvordan man kan forbedre sikkerhetsprestasjonen innen bransjen. Tidligere forskning har tatt for seg temaer som sikkerhetsfaktorer, systemdynamikk og prediksjon av sikkerhetsnivå. I denne oppgaven er det utviklet en systemdynamikk-modell for å simulere byggeprosjekter. Simulasjonen genererer datasett som benyttes for maskinlæring til å predikere sikkerhetsnivå.

Systemdynamikk-modellen ble utviklet basert på faglitteratur. Den ble utviklet i to deler; én for planleggingsfasen og én for byggefasen. Denne masteroppgaven tar for seg planleggingsfasen, mens byggefasen er implementert og beskrevet i System Dynamics Modelling and Machine Learning to Improve Safety in Construction Projects (Aamlid, 2023). Planleggingsmodellen inkluderte 53 indikatorer som påvirker hverandre og videre utvikling i byggefasen. Modellen ble validert gjennom ekstreme forhold- og sensitivitetstesting, og resultatene viste rimelige trender i forhold til antall ulykker. For hvert simulerte prosjekt ble indikatordataen lagret til et datasett. To forskjellige ulykkesrater ble brukt, en for alvorlige ulykker og en for fatale ulykker. Dette resulterte i to separate datasett; et for alvorlige ulykker og et for fatale ulykker. Datasettet for alvorlige ulykker var nokså balansert, mens datasettet for fatale ulykker var svært ubalansert. Maskinlæring ble anvendt på begge datasettene for å predikere sikkerhetsnivå. Datasettene ble forbehandlet slik at attributtene kun inneholdt data fra planleggingsfasen. Attributten som ble predikert var binær og beskrev om det hadde skjedd en ulykke eller ikke. Fem ulike maskinlæringsmodeller ble benyttet i studien.

Oppgaven avdekket to hovedfunn. For det første oppnådde oppgaven en vellykket integrering av systemdynamikk og maskinlæring for å predikere sikkerhetsnivå. For det andre viser resultatene potensial for å identifisere prosjekter med høy risiko for ulykker og dermed gi tidlig advarsel om lavt sikkerhetsnivå. Resultatene viste lav nøyaktighet, men høyere evne til å predikere de positive instansene korrekt for alvorlige ulykker. Maskinlæringsmodellene hadde imidlertid dårlig evne til å identifisere fatale ulykker. På grunn av de lave verdiene for å forutsi fatale ulykker ble det også diskutert hvordan alternative sikkerhetsmålinger kan være mer passende. Kombinasjonen av systemdynamikk og maskinlæring har potensial til å bidra som beslutningsstøtte og spre viktig kunnskap om sikkerhet i byggeprosjekter.

This thesis aimed to combine system dynamics and machine learning to give an early warning of construction projects with a high accident risk. The construction industry is highly accident prone and there is ongoing research on it’s safety performance. Previous studies have focused on safety factors, system dynamics models as well as various machine learning predictions. For this thesis, a system dynamics model was developed in order to simulate construction projects. The simulation generated datasets which were utilized by machine learning models in order to predict safety performance.

The system dynamics model was developed based on theoretical findings. This thesis has an emphasis on the planning phase, as the model was developed in contribution with another master thesis Integrating System Dynamics Modelling and Machine Learning to Improve Safety in Construction Projects (Aamlid, 2023). The planning phase part of the model incorporated 53 indicators which influence each other and the construction phase. The system dynamics model was validated using extreme condition- and sensitivity tests, which showed reasonable trends towards the number of accidents. For each simulated project, all indicator data was saved into a dataset. This was done using two different accident rates; one for serious and one for fatal accidents. Consequently, two separate datasets were generated — one for serious accidents, which was balanced, and another for fatal accidents, which was highly imbalanced. Machine learning was applied to both datasets in order to predict safety performance. The datasets were preprocessed such that the features would only consist of planning phase data, with the target feature being if there had happened an accident or not. Five different machine learning models were utilized for this research.

The thesis revealed two primary findings. Firstly, the thesis successfully demonstrated the possibility of combining system dynamics and machine learning for safety predictions in cases where real project data is unavailable. Secondly, the results showed potential for separating the projects with higher risk of serious accidents and therefore give an early warning of poor safety performance. The serious accidents dataset yielded lower accuracies, yet higher recall values. However, the models struggled to identify fatal accidents. Due to the low values for the fatal accidents dataset, it was discussed how other safety measurements could be more applicable. Ultimately, the combination of system dynamics and machine learning has the potential to aid as decision support throughout construction projects and spread knowledge regarding safety performance.