Vision-Based Precision Landing of Autonomous Unmanned Aerial Vehicles

Abstract

De potensielle bruksområdene for ubemannede luftfartøy har i løpet av de siste årene utvidet seg betydelig grunnet deres reduserte kostnad og forbedrede funksjonalitet. Et område hvor de kan tilby verdifulle fremskritt er innen lufttransport og logistikk. I denne masteroppgaven presenteres et komplett system for presisjonslanding av ubemannede luftfartøy på en landingsplattform i kontekst av autonom luftfraktlevering. Systemet gaider den primære autopilotens navigasjon under landingssekvensen fra en initiell posisjon som er utsatt for støy fra satellittbaserte posisjoneringssystemer. Den globale posisjoneringsfeilen er uproporsjonalt høy sammenliknet med plattformens mekaniske toleranser og må derfor korrigeres. For å korrigere den globale posisjoneringsfeilen, baserer presisjonslandingssystemet seg på visuell deteksjon av fiduciale markører fastmontert til landingsplattformen for å estimere relativ posisjon og orientasjon mellom plattformen og luftfartøyet. Bruken av fiduciale markører i en rekursiv ordning sikrer synlighet av markørene gjennom hele nedstigningen. Denne ordningen opprettholder horisontal innretting over midten av landingsplattformen, samtidig som den minimerer nødvendig plassbehov for plattformen.

Ved å benytte seg av et ombordkamera og treghetsmålinger, vil luftfartøyets datamaskin benytte et invariant utvidet Kalman-filter for å gi estimater i sanntid. Det invariante filteret representer posisjon, hastighet og orientasjon for luftfartøyet i et matematisk rammeverk basert på Lie-grupper som har den iboende egenskapen til å overholde geometriske begrensninger knyttet til representasjon av orientasjon. Dette rammeverket garanterer at filterets oppdaterte estimater forblir på manifolden, hvilket ivaretar integriteten til orientasjonsestimatet. Det er vist at logaritmen til estimeringsfeilen for det gitte systemet følger en lineær differensiallikning som er uavhengig av systemets sanne tilstand, ofte referert til som den log-lineære egenskapen. Dette sørger for lokal stabilitet rundt en vilkårlig bane, en sjelden egenskap for ikke-lineære observatører.

Posisjon og orientasjon i seks frihetsgrader er estimert analytisk ved å utnytte geometriske egenskaper og den kjente størrelsen på de fiduciale markørene i Infinitesimal Plane-Based Pose Estimation (IPPE)-metoden. Den analytiske løsningen på Perspective-n-Point (PnP)-problemet er vesentlig raskere enn tradisjonelle iterative tilnærminger, hvilket gjør den ideell for sanntidsestimering. Filterets parametere i form av kovariansmatriser for prosess- og målestøy er funnet ved hjelp av ekte data innhentet med høypresis bevegelsessporing og senere evaluert for kvalitet og ytelse. Den endelige evalueringen er basert på normaliserte innovasjoner og estimeringsfeil kvadrert i tillegg til det kvadratiske gjennomsnittet av estimeringsfeilen og er gjennomført for et separat datasett.

Avslutningsvis er det gjennomført en statistisk analyse basert på eksperimentell data av effektiviteten til systemet som en helhet. Resultatene av dette studiet demonstrerer ytelsen til et treghetsbasert invariant utvidet Kalman-filter basert på orientasjon- og posisjonsoppdateringer. Oppdateringene har opphav i IPPE-metoden anvendt på rekursive fiduciale markører. Systemet konvergerer pålitelig til landingsplattformens senter med høy presisjon sammenliknet med plattformens toleranser. Det invariante utvidede Kalman-filteret viser potensial for videre utvikling og anvendelse som treghetsnavigasjonssystem.

The range of potential applications for Unmanned Aerial Vehicles (UAVs) continues to expand due to their enhanced capabilities and decreased costs in recent years. A domain in which they could offer valuable advancements is aerial transportation and logistics. This thesis presents a complete system for performing precision landing of a UAV on a landing platform in the context of autonomous aerial cargo delivery. The proposed method assists the primary autopilot in navigation during the descent phase from an initial position susceptible to noise originating from Global Navigation Satellite Systems (GNSSs). The discrepancy between the global positioning error and the mechanical tolerances of the landing platform is substantial and necessitates corrections. To correct the global positioning error, the designed and implemented system uses visual detections of fiducial markers embedded in the landing platform to estimate the relative position and orientation between the platform and aircraft. The adoption of a recursive arrangement of fiducial markers ensures marker visibility throughout the entire descent. This arrangement effectively maintains horizontal alignment above the center of the landing platform, all while minimizing the required platform footprint.

By employing the onboard camera and Inertial Measurement Unit (IMU), the companion computer of the aircraft provides real-time estimates of the relative pose using an Invariant Extended Kalman Filter (IEKF). The IEKF represents the complete extended pose of the aircraft within a Lie group framework, inherently adhering to geometric constraints associated with attitude representation. This framework guarantees that the filter updates remain confined to the manifold, thereby preserving the integrity of the attitude estimate. For the given system, it is shown that the logarithmic mapping of the estimation error follows a linear differential equation which is independent of the true state of the system, commonly referred to as the log-linear property. This ensures local stability around any trajectory, a rare trait to hold for nonlinear estimators.

The full pose estimate in six degrees of freedom is computed analytically by exploiting geometric properties and the known scale of the fiducial markers in the Infinitesimal Plane-Based Pose Estimation (IPPE) method. The analytical solution to the Perspective-n-Point (PnP) problem is significantly faster than traditional iterative approaches, making it ideal for real-time estimation. The filter parameters in terms of process and measurement noise covariance matrices are tuned using real data obtained from a motion capture environment, and subsequently assessed for consistency and performance. The evaluation metrics are based on Normalized Innovation Squared (NIS), Normalized Estimation Error Squared (NEES) and Root Mean Square Error (RMSE) and are employed on a hold-out dataset.

Finally, a statistical analysis of the full system performance is conducted through experimental trials. The results of this study demonstrate the effectiveness of an inertially-driven IEKF based on pose updates from the IPPE method applied to recursive fiducial markers. The proposed system reliably converges to the center of the landing platform with high precision compared to the platform's tolerances. The IEKF shows potential for further development and application within the domain of inertial navigation.