Analyse av datadrevet kostnadsestimering i byggeprosjekter
Abstract
Studier viser at kun 5 av 1000 megaprosjekter oppnår suksess når det gjelder tid, kostnad og nytte (Flyvbjerg og Gardner, 2023, s. 8). Dette fenomenet er kjent som «The iron law of megaproject management» (Flyvbjerg, 2017b). Statens prosjektmodell med ekstern kvalitetssikring av store offentlige prosjekter har vist gode resultater, men det er fortsatt en betydelig kostnadsutvikling fra de tidlige kostnadsoverslagene. Forskning peker på at omfangsendringer og uforutsette hendelser under gjennomføring som vanlige årsaker, men rotårsaken antas av flere å være kognitive bias og underestimering av prosjektene i tidlig fase. En løsning på dette er å bruke datadrevet estimering der man tar et utenfra-og-inn blikk og eliminerer kognitive bias i planleggingen.
Formålet med denne oppgaven er å undersøkeårsakene til overskridelsene og utforske potensialet for en større bruk av datadrevet estimering i tidlig fase. Dette har ledet til forskningsspørsmålene.
1. Hva er årsakene til kostnadsoverskridelser i store byggeprosjekter? 2. Hvordan kan datadrevet kostnadsestimering gi mer presise kostnadsestimater og forbedre dagens praksis? For å svare på disse spørsmålene er det gjort en litteraturstudie, intervjuer, spørreundersøkelse og en test av datadrevet estimeringsmetodikk (reference class forecasting, RCF) med data fra forskningsprogrammet Concept ved NTNU.
I litteraturstudien blir det først presentert relevant forskning på årsaker til overskridelser. Deretter ses det på bakgrunnen for datadrevet estimeringsmetodikk, samt resultater ved bruk av datadrevet metodikk. I intervjuene har fagpersoner fra bransjen delt sine erfaringer om disse temaene og hvordan deres egen bedrift oppfatter som utfordringene og mulighetene med datadrevet estimering. Spørreundersøkelsen ga et større utvalg av respondenter til å svare på temaene rundt forskningsspørsmålene. Til slutt ga testingen av datadrevet estimering (RCF) et førstehåndsinntrykk av metodikkens styrker og svakheter.
Intervjuene og spørreundersøkelsen viser at det er interesse og motivasjon for å bruke mer datadrevet estimering. De fleste peker på at optimisme og planlegging etter beste scenario er aktuelt i deres bedrift og at dette kan være en grunn til at prosjekter opplever kostnadsoverskridelser. Samtidig virker det å være ulik praksis for bruk av i data og systematisk innsamling av data som muliggjør datadrevet metodikk. I likhet med dette er også praksisen for bruk av tall og data forskjellig fra bedrift til bedrift. årsaken til dette virker å være mangelen på gode erfaringstall, eller lite insentiv for innsamling av disse. Dette kan i noen grad skyldes i at prosjektene er unike, men også at grunnlag for tall og data som lagres er forskjellige. En annen viktig årsak er at grunnlaget det estimeres for i tidlig fase ikke alltid samsvarer med det endelige resultatet. Testingen av RCF-metodikken bekrefter mye av det bransjen oppfatter. I databasen fra Concept det kun 63 av 254 prosjekter som har P50-estimat ved KS2 og sluttkostnad. Dette gir et dårlig utgangspunkt for å gjøre presise datadrevne estimater. I testingen av metodikken på tre «testprosjekter» med dokumentert P50-estimat og sluttkostnad, indikerer at man i alle prosjektene kunne argumentert for en høyere estimat enn KS2-estimatet. Selv om tallene er noe usikre, kom modellen frem til P85-estimat som var nærmere sluttkostnaden enn det de eksterne kvalitetssikrerne fant i 2 av 3 tilfeller. Dette indikerer at datadrevet estimeringsmetodikk har et stort potensial. Vi finner også at resultatene har stor usikkerhet og krever enda større datamengder for at man skal kunne bruke datadrevne estimater alene.
Studien indikerer at det er interesse og motivasjon i bransjen for å ta i bruk mer datadrevet estimeringsmetodikk. Imidlertid er det stor variasjon i bruk av data og systematisk innsamling av data, noe som resulterer i mangelfulle erfaringsdata. Dette begrenser effektiviteten av datadrevne tilnærminger.
Testingen av RCF-metodikken viste at den kunne gi mer nøyaktige estimater sammenlignet med KS2-estimatene. Samtidig understreket resultatene behovet for større datasett og den iboende usikkerheten knyttet til datadrevne estimater. For å håndtere utfordringene med kostnadsoverskridelser i byggeprosjekter kreves en kombinasjon av å håndtere kognitive bias, forbedre praksis for datainnsamling og utnytte datadrevne estimeringsmetoder. I tillegg til dette vil forbedret omfangsstyring i tidlig fase gi bedre utgangspunkt for å komme til realistiske estimater. Med en datadrevet tilnærming til kostnadsestimering vil beslutningstakere ha et pålitelig beslutningsgrunnlag, som gir mulighet for å velge de rette prosjektene oftere. Denne kontinuerlige forbedringen av prosjektvalg basert på nøyaktige estimater bidrar til en bærekraftig fremtid og sikrer at ressurser brukes effektivt og ansvarlig. Studies show that only 5 out of 1000 megaprojects achieve success in terms of time, cost, and benefits (Flyvbjerg, 2023, p. 8). This phenomenon is known as "The iron law of megaproject management" (Flyvbjerg, 2017). The State project model (Statens Prosjektmodell), with external quality assurance of large public projects, has shown good results. However, there is still significant cost escalation from the early cost estimates. Research suggests that scope changes and unforeseen events during implementation are common causes, but several experts believe that the root cause is cognitive bias and underestimation in the early phases. One solution to this is to use data-driven estimation that takes an outside-in approach and eliminates cognitive bias in the planning process.
This thesis aims to investigate the causes of cost overruns in large construction projects and explore the potential for increased use of data-driven estimation in the early phases. This has led to the following research questions:\begin{center}1. What are the causes of cost overruns in large construction projects?\par2. How can data-driven cost estimation provide more accurate cost estimates and improve current practices?\end{center}
To answer these questions, a literature review, interviews, a survey, and testing of data-driven estimation methodology (reference class forecasting, RCF) using data from the Concept research program at NTNU were conducted.
The literature review first presents relevant research on the causes of cost overruns. It then examines the background of data-driven estimation methodology and the results achieved through its use. The interviews involved industry professionals sharing their experiences and their perspectives on the challenges and opportunities of data-driven estimation. The survey gathered responses from a larger sample to gather diverse views on the research topics. Lastly, the testing of RCF methodology provided insights into its strengths and weaknesses.
The interviews and survey revealed a significant interest and motivation to adopt more data-driven estimation approaches. Most respondents pointed out that optimism and planning based on best-case scenarios are prevalent in their organizations, which may contribute to cost overruns. However, there seemed to be variations in the use of data and systematic data collection practices among different companies. This could be attributed to the lack of reliable experience data or limited incentives for data collection. Additionally, variations in the practices of using numbers and data were observed. The underlying reasons for these variations could be the uniqueness of projects and differences in data sources. Another significant factor is that the basis for estimation in the early phases does not always align with the final outcome.
The testing of RCF methodology confirmed many perceptions within the industry. In the Concept database, only 63 out of 254 projects had both P50 estimates at ''Quality Assurance 2'' and final costs available, which provides a weak foundation for precise data-driven estimates. The testing of the methodology on three ''test projects'' with documented P50 estimates and final costs indicated that higher estimates than KS2 estimates could be argued for in all cases. Although the results had some uncertainty, the model produced P85 estimates that were closer to the final costs than what external quality assurance found in 2 out of 3 cases. This suggests significant potential for data-driven estimation methodology. However, it should be noted that the results have a high degree of uncertainty and require larger datasets to rely solely on data-driven estimates.
The study indicates that there is interest and motivation within the industry to adopt more data-driven estimation methods. However, there is significant variation in the use of data and systematic data collection practices, resulting in incomplete experience data. This limits the effectiveness of data-driven approaches. The testing of RCF methodology demonstrated that it could provide more accurate estimates compared to KS2 estimates. However, the results also highlighted the need for larger datasets and the inherent uncertainty associated with data-driven estimates. Addressing the challenges of cost overruns in construction projects requires a combination of addressing cognitive biases, improving data collection practices, and leveraging data-driven estimation methods. Additionally, improved scope management in the early phases will provide a better foundation for realistic estimates. With a data-driven approach to cost estimation, decision-makers will have a reliable basis for decision-making, enabling them to choose the right projects more frequently. This continuous improvement of project selection based on accurate estimates contributes to a sustainable future and ensures the efficient and responsible use of resources.