"It's a leadership program, leaders should benefit" A qualitative study using benefit realization management to execute an ex-ante evaluation of an ongoing leadership development program intervention

Abstract

Denne studien har som mål å undersøke hvordan grunnleggende kartleggingsprinsipper fra gevinstrealisering (BRM) legger til rette for en ex-ante evaluering av neste fase i en pågående intervensjon for lederutvikling i Stjørdal kommune. Ledelse i offentlige organisasjoner forventes å være mer relasjonell og transformasjonsrettet enn tidligere, noe som fører til økt fokus på lederutvikling. Samtidig fører mangelen på tilstrekkelige evalueringsmetoder til mangelfulle evalueringer (Nielsen, 2013), som hindrer optimal lederutvikling. På bakgrunn av dette undersøker studien hvordan Bradley sin (2016) gevinstrealisering legger til rette for en tidlig (ex-ante) evaluering (Samset & Christensen, 2015). Åtte semi-strukturerte intervjuer ble gjennomført med kommunale ledere som var deltakere i et lederutviklingsprogram i Stjørdal kommune. Gjennom bruk av rammeverks analyse, ble tre temaer identifisert innen utfordringer og forventede fordeler: "strategi", "organisasjonsstruktur" og "ledelse, team-samhold og motivasjon". Informantene forventet at intervensjonen vil gagne hovedsakelig ledere, men også ansatte og brukere av kommunale tjenester. De identifiserte fordelene er sterkt avhengige av hverandre, som antyder at alle fordeler er nødvendige for å oppnå programmets målsetninger. En identifisert hindring for å oppnå programmet mål, er mangelen på tid for refleksjon over ledelse og kontinuerlig opplæring. I tillegg valideres BRM som en evalueringsmetode gjennom OECD sine fem evalueringskriterier (relevans, effektivitet, effekt, påvirkning og bærekraftighet). BRM gir en tilfredsstillende evaluering innen alle kriterier unntatt effektivitet. Studien indikerer at gevinstrealisering er et godt verktøy for tidlige evalueringer, men mer forskning er nødvendig for å konkludere.

This study aims to investigate how fundamental mapping principles from benefit realization facilitate (BRM) an ex-ante evaluation of the next phase in an ongoing leadership development intervention in Stjørdal municipality. Leadership in public organizations is predicted to be more relational and transformational than before, leading to increased focus on leadership development. However, lack of adequate evaluation methods results in poor evaluations (Nielsen, 2013), hindering optimal leadership development. Based on this, the study examine how Bradley’s (2016) BRM facilitates an early (ex-ante) evaluation (Samset & Christensen, 2015). Eight semi-structured interviews were conducted with municipal leaders who participated in a leader development program in Stjørdal municipality. Using framework analysis, three themes within challenges and predicted benefits were found: “strategy”, “organizational structure” and “leadership, team cohesion and motivation”. Furthermore, the intervention was predicted to mainly benefit leaders, but also employees and users of the municipal services. The identified benefits are highly interdependent, suggesting that all benefits are necessary to be realized to achieve the program's objectives. An identified hinder for achieving the programs objective, is the lack of time for leadership reflection and continuous training. BRM is also validated as an evaluation method using the five evaluation criteria from OECD (2021) (relevancy, efficiency, effectiveness, impact and sustainability). BRM provides satisfactory evaluation in all criteria except effectiveness. The study indicates that benefit realization is a good tool for ex-ante evaluations, but more research is needed to conclude.