Autonomous inspection and maintenance missions with AI planning and the ROSPlan framework

Abstract

Etterspørselen etter automatiserte løsninger er stadig økende i nesten alle aspekter av den moderne verden. Industrisektoren har alltid vært i tidlig ute med automatisering, og med dagens avansert databehandling og kunstig intelligens (AI), presser den på for å automatisere flere oppgaver som tradisjonelt har blitt håndtert av mennesker. Fremskritt innen guiding, navigasjon og bevegelsesstyring (GNC), perception og sensorfusjon har gjort autonom robotikk til en gjennomførbar realitet for automatisering av industrielle oppgaver. Viktige egenskaper som høynivå oppdragsplanlegging og resonering er imidlertid fagfelt som ikke har fått nok oppmerksomhet til å kunne implementeres i større skala.

Automated planning and acting (AI-planning) representerer en metodikk innenfor AI-feltet som muliggjør høynivå oppdragsplanlegging. AI-planlegging har vært et fagfelt i flere tiår, men på grunn av begrensninger med hensyn til roboters egenskaper, datamaskiners regnekraft, situasjonsforståelse og robusthet, har det i stor grad vært av akademisk interesse og for helt spesielle bruksområder. Gjennom forskningsprosjektet ROBPLAN, som denne oppgaven er en del av, har SINTEF som mål å utvikle metoder for AI-planlegging, ved bruk av mobile manipulatorer og ubemannede luftfartøyer (UAV) for inspeksjon og vedlikeholdsoppdrag (I&M). Målet med denne oppgaven er å bidra til ROBPLAN-prosjektet ved å svare på forskningsspørsmålet: "How can AI Planning aid in autonomous robotic inspection and maintenance missions in industrial environments?"

Ved å bruke ROSPlan-rammeverket, og utvide dets funksjonalit med støttefunksjoner, har denne oppgaven implementert og testet et robotsystem som er i stand til å utføre I&M-oppdrag i et industrielt miljø. Oppgaven har foreslått løsninger på vanlige problemer knyttet til gjennomføring av planer generert ved hjelp av AI-planning, for eksempel håndtering av uplanlagte hendelser på grunn av et dynamisk miljø, re-planlegging og operatør-in-the-loop-systemer. Et Planning Domain Definition Language (PDDL)-domene og problemdesign for å løse autonome I&M-oppdrag har også blitt foreslått.

Alle systemer og design foreslått i denne oppgaven har blitt implementert og testet, både i simulering og småskala laboratorieeksperimenter. Resultatene av testen viste at systemene som ble implementert bidro til å øke robustheten til et AI-planleggingsassistert robotoppdrag ved å gjøre det i stand til å håndtere uplanlagte hendelser i et dynamisk miljø bedre enn uten slike systemer. Men, for at systemet skal kunne implementeres på et større skala, er det nødvendig med videre utvikling av systemet for å sikre robusthet og sikkerhet. Resultatene av denne oppgaven viser at AI-planlegging kan hjelpe autonome inspeksjons- og vedlikeholdsoppdrag ved å legge til høynivåplanleggingsevner til systemet. Imidlertid er AI-planleggeren i seg selv ikke nok til å løse denne oppgaven, og omfattende støttende infrastruktur, som de foreslåtte løsningene i denne oppgaven, er nødvendig for å bidra til robusthet under gjennomføting av oppdrag.

The demand for automated solutions is ever-growing in almost all aspects of the modern world. The industrial sector has always been at the forefront of automation and in the days of advanced computation and Artificial Intelligence (AI), it is pushing to automate even more tasks that have traditionally been handled by humans. Advancements in Guidance, Navigation, and Control (GNC), perception, and sensor fusion has made autonomous robotics a feasible reality for automating industrial tasks. However, important capabilities of higher level planning and reasoning are fields of study that has not received enough attention in order to be deployable on a larger scale.

Automated planning and acting (AI planning) represents a methodology within the field of AI that enables higher level mission planning. AI-planning has been a field of study for decades, but due to constraints with regard to robotic capabilities, computational power, situational awareness, and robustness, it has to a large degree been of academic interest and for very special use-cases. Through the research project ROBPLAN, that this thesis is a part of, SINTEF aims to develop methods for AI planning, using mobile manipulators and unmanned aerial vehicles (UAVs) for Inspection and Maintenance (I&M) missions. The aim of this thesis is to contribute to the ROBPLAN project by answering the research question: "How can AI Planning aid in autonomous robotic inspection and maintenance missions in industrial environments?"

Using the ROSPlan framework, and extending its functionality with additional supporting features, this thesis has implemented and tested a robotic system that is capable of performing I&M missions in an industrial environment. The thesis has proposed solutions for common problems related to the dispatch of plans generated using AI planning, such as handling unplanned events due to a dynamic environment, re-planning capabilities, and operator-in-the-loop systems. A Planning Domain Definition Language (PDDL) domain and problem design for solving autonomous robotic I&M missions was also proposed.

All systems and designs proposed in this thesis has been implemented and tested, both in simulation and small scale lab experiments. The results of the test showed that the systems implemented helped increase the robustness of an AI planning assisted robotic mission by making it able to handle unplanned events in a dynamic mission environment better than without such systems. However, for the system to be deployable in on a larger scale, further development is needed to ensure robustness and safety. The results of this thesis show that AI planning can indeed aid autonomous robotic inspection and maintenance missions by adding high level planning capabilities to the system. However, the AI planner in itself is not enough to solve this task, and extensive supporting infrastructure, like the proposed solutions in this thesis, is needed in order to contribute to robustness during mission dispatch.