Combining Supervised Learning and Digital Twin for Path-planning with Dynamic Obstacle-avoidance

Abstract

I denne masteroppgaven undersøkes en veiledet læringsmetode for å generere kubiske Bézier kurver. Målet er å utvikle en kurve som unngår kollisjon, følger COLREG og forsøker å velge den korteste banen, når mulig. For å oppnå dette utvikles et poengsystem som brukes for å finne den optimale kombinasjonen av kontrollpunkter for å generere kurven. For å samle treningsdata brukes en digital tvilling i Simulink basert på forskningsskipet R\textbackslash V Gunnerus, som ble konvertert til FMU-format for å produsere en simulator i Python. Den digitale tvillingen er en forenklet modell av kontroll plantemodellen slik den er definert i kontroll teori. Videre brukes simulatoren for å generere treningsdata for maskinlæringsmodellen. Maskinlæringsmodellen ble valgt basert på sammenlikning blant tilgengelige modeller, hvor valget falt på gradient boosting regresjon. For å følge banen utvikles en tradisjonell manøvringsmodell basert på Roger Skjetnes the Maneuvering problem.

Motivasjonen bak denne løsningen er hovedsakelig å adressere noen av problemstillingene knyttet til dyplæring-baserte løsninger som for eksempel uforutsigbarhet og mangel på åpenhet av modellen. Derfor er modellen basert på en retningslinje for autonomone løsninger presentert av DNV GL. Målet er å utvikle fremtidens løsninger samtidig som man innretter seg til myndighetenes forventninger. For å verifisere modellen ble simuleringer med statisk hindring og dynamisk skip simulert ved å bruke en sannferdig modell av Gunnerus. Målet var å simulere front mot front situasjon for å se om baneplanleggeren kunne generere kurver som fulgte COLREG regel 14a). I tillegg ble uventende handlinger av motkommende skip tatt i betraktning, ved å anvende den digitale tvillingen på det ekte skipet. Målet var å predikere mulig kollisjon ved å simulere den digitale tvillingen med nyeste tilstandsvariablene til det ekte skipet. Hvis en kollisjon ble predikert, ville en ny oppdatert bane bli generert for det ekte skipet. Fra resultatene ble det konkludert med at baneplanleggeren generelt gjorde det bra, både ved kollisjonsunngåelse og re-planlegging. Imidlertid innehar modellen enkelte svakheter som å ikke ta i betraktning variabler fra omgivelsen, samt begrenset område. Det er påpekt at for å ta omgivelse i betraktning kreves det nøyaktig målinger, noe som ikke alltid er mulig. Derfor ble en alternativ løsning presentert, hvor problemet delegeres til kontrolleren, for eksempel en hybrid kontroller. På samme måte, for å løse det begrensede området foreslås det å utvikle en løsning basert på veipunkt-følging. Slik at punkter på veien er plassert innenfor en tilsvarende område, og området forflyttes når et veipunkt er nådd.

In this master thesis a supervised model is developed to generate a cubic Bézier curve. The aim is to develop a curve that avoid collision, comply to COLREG and attempt to take the shortest path whenever possible. To achieve this a score paradigm was developed, which is used to collect the optimal pair of control points used to generate the path. To sample data, a digital twin is developed in Simulink of the research vessel R\textbackslash V Gunnerus and converted to FMU-format to generate a simulator in Python. The digital twin is a simplified model based on control plant model as defined in control theory. Further, the simulator was used to sample training date for the machine learning model. The machine learning model was chosen based on benchmarking of available models, which resulted in Gradient Boosting regressor. To follow the path a traditional maneuvering model based on Roger Skjetne's the Maneuvering problem was developed.

The motivation behind the proposed solution is mainly addressing the weaknesses of a deep learning-based solution such as unpredictability of the actions, and lack of transparency. Therefore, the developed solution is based on a guideline for autonomous solutions presented by DNV GL. The aim was to comply to the expectation of the authorities, while still working on state of the art solutions. To verify the model, simulations with static obstacle and dynamic vessel was simulated using an accurate model of Gunnerus. The aim was to simulate head-on situation to evaluate if the path-planner could generate paths that complies with COLREG rule 14a). In addition, to consider unexpected actions from the head-on vessel, the digital twin was applied on the research vessel. The objective was to forecast possible collision by running simulations on the digital twin based on the real states of the vessel during mission. If a collision was forecast a new path was generated for the real vessel. From the results, it was concluded that the path-planning model performed generally well, showcasing satisfying behaviour both during obstacle-avoidance, as well as re-planning. However, the model do have some limitations such as no environmental variables considered and limited state-space. It is noted that to consider environmental variables, accurate measurements are necessary, which is not always possible. Hence, an alternative solution was proposed where the problem can be delegated to the controller by introducing i.e. hybrid controller. Likewise, to solve the limited state-space an approach similar to way-point tracking is suggested. Such that the way-points are placed within the trained environment, and the environment is moved and reset as a way-point is reached.