MLOps på Google Cloud Platform

Abstract

Statens vegvesen samler inn store mengder data fra norske veier. En satsning for å ta i bruk mer moderne teknologi har naturligvis medført et ønske om å ta i bruk maskinlæringsmodeller i sine prosjekter. Utvikling av maskinlæringsmodeller er en prosess der modellene går gjennom flere iterasjoner med trening på data. Uten gode kontrollmekanismer på dataen og versjonering, kan det oppstå komplikasjoner. Derfor er det et viktig hjelpemiddel å innføre MLOps; standardiserte prosesser for maskinlæring ende til ende. Prinsippene i MLOps kan implementeres ved hjelp av produksjonspipeliner. Hensikten med denne oppgaven er å foreslå konkret hvordan en produksjonspipeline kan innføres og tas i bruk hos Statens vegvesen. Bachelorgruppen har utviklet en slik pipeline som innfører MLOps på Google Cloud Platform. Denne rapporten viser hvordan bachelorgruppen kom frem til, designet rundt og innførte bruken av teknologier som Kubeflow Pipelines, TensorFlow Extended og Google Cloud AI Platform. Resultatet er en generisk pipeline som kan tilpasses en hvilken som helst TensorFlow-modell, som skalerer godt, og som integreres med Google Cloud-tjenester i hvert ledd.

The Norwegian Public Roads Administration is collecting vast amounts of data from Norwegian public roads. An interest in utilising more modern technology has brought with it a desire to apply machine learning models to their projects. The development of machine learning models is a process that brings the models through several iterations of testing and training on big amounts of data. Complications quickly arise without good mechanisms for tracking data and versions. Therefore, implementing the principles of MLOps is of great help to anyone dealing with this. The purpose of this paper is to deliver a concrete proposal as to how machine learning production pipelines can be applied by the Norwegian Public Roads Administration in their projects. The bachelor's thesis group has developed such a pipeline that applies the principles of MLOps on Google Cloud Platform. This paper will showcase how the authors researches, designed around, and applied technologies such as Kubeflow Pipelines, TensorFlow Extended and Google Cloud AI Platform. The result is a generic pipeline that can be customised to fit any TensorFlow machine learning model, that scales well, and that integrates Google Cloud functions in every step.