AI in projects- an investigation of use of project-based data for prediction of changes

Abstract

Denne oppgaven analyserer prosjektdata fra leverandører i energibransjen. Ved å analysere prosjektplaner vurderes muligheten til å utforske maskinlæring (ML) og artifisiell intelligens (AI) metoder. Datakvalitet og brukervennlighet i ML-applikasjoner studeres ved generering av tre forskjellige datasett for dette enkeltprosjektet. Datautforskning, rensing og forbehandlingsbehov for dataene identifiseres også inkludert diskusjon om begrensninger og datamangel i prosjektstyringsprogramvare. Datagenereringstrinnene som brukes, valideres ved prediksjon av en tidligere undersøkt mengde i ML-applikasjoner av prosjektdata. Valideringstrinnet gir også innsikt i datakvaliteten og dataomformingens innvirkning på ønsket prediksjon. Studiets hovedmål er å finne et ML- og dataformat som er i stand til forutsi antall endringsordre i et prosjekt og dermed redusere usikkerhet og omfangskryp i prosjekter. Studien identifiserer også begrensninger ved metodene som brukes og gir tolkbar innsikt fra dyplæringsmodeller som ga mer enn 80 % nøyaktighet i prediksjon av variasjonsordre. Den største innvirkningen fra prosjektdataene på antall endringsordre er identifisert som totalt omfang, nåværende omfang, dager som gjenstår i nåværende sen finish, dager som gjenstår til revidert plan tidlig start, gjenværende timer og opptjente timer. Modellen tolkes ved å dele prosjektet inn i fire deler og tolke funksjoner, tidsstempler av betydning og aktiviteter som påvirker utstedelsen av variasjonsordrer mest. Disse fire deler av datainndelingen gjøres for å produsere nyttig innsikt fra modellen og se enhver atferdsendring av modellen etter hvert som prosjektet skrider frem. En nøkkelinnsikt fra analysen er at modellen under slutten av prosjektet legger vekt på brukt kvantitet og ytelsesfaktor som modellen ser ut til å neglisjere i tidlige faser av et prosjekt. Fra tidsavhengighetsanalyse ser man at under oppstarten av et prosjekter bare forrige uke er viktig for utstedelse av variasjonsordre, men i midtfasen av et prosjekt er de tre foregående ukene gitt nesten like stor betydning og denne atferden endres igjen ved slutten av prosjekt hvor kun forrige uke ser ut til være viktig for modellen. Aktivitetspåvirkningen er også dynamisk og endres etter hvert som prosjektet skrider frem, i starten av et prosjekt gis aktivitetene som nærmer seg ferdigstillelse større betydning, mens viktigheten flyttes fra mest fullførte til minst fullførte aktiviteter etter hvert som prosjektet skrider frem mot slutten. Denne innsikten er imidlertid ikke lineær, og modellutviklede er derfor ikke direkte tolkbare lineært. Denne innsikten har imidlertid stor betydning for pålitelighetssjekk av modeller og oppbygging av tillit til modellen. Ved vellykket implementering av disse ML-modellene og utvikling av andre modeller på prosjektdata kan systemer for styring av endirnger i prosjekt forbedres vesentlig, noe som har viktige implikasjoner for planlegging.

This thesis analyzes a single project data from energy construction contractor stored in a project management software for machine learning (ML) applicability. By provision of extensive data availibility of project plan the opportunity to explore ML and AI methods is assesed. Data quality and ease of use in ML applications is studied by geenration of three different datasets for this single project. Data exploration, cleaning and pre-processing needs for the data are also identified with discussion of limitations and data inadequacies in project management software. The data generation steps used are validated by prediction of a previously researched quantity in ML applications of project data. The validation step also provides insight into the data quality and data reshaping impact on the desired prediction. The study main objective is to find a ML and data format that is able to predict number of variation orders in a project and thus reduce uncertainity and scope creep of projects. The study also identifies limitations of the methods employed and provides interpretable insights fro deep learning models that provided more than 80% accuracy in prediction of variation orders. The most impact from the project data on number of variation orders are identified as total scope, current scope, days remaining in current late finish, days remaining till revised plan early start, remaining hours and earned hours. The model is interpreted by dividing project into four parts and interpreting features, timestamps of importance, and activities that influence the most on issuance of variation orders. These four parts division of data is done to produce actionable insights from model and see any bahaviour change of model as project progresses. A key insight from analyzing impact of features is that during the end of project the model emphasises expended quanity and performance factor which the model seems to be neglecting in early phases of a project. From time dependencies impact analysis it is seen that during the start of a project only last week is important for variation order issuance however, during the middle phase of a project previous three weeks are given importance almost equally and this behaviour changes again at the end of project where only last week seems to be important for the model. The activities impact is also dynamic and changes as project progresses, in the start of a project the activities that are near completion are given more importance while shifting the importance from most completed to least completed activities as project progresses toward the end. These insights however are not linear and thus model developed are not directly interpretable linearly. These insights however have high importance for reliability check of models and building of trust in the model. By sucessful implementation of these ML models and development of other models on project data the project change management systems can be improved substantially with equally important implications for planning.