Maritime object detection using infrared cameras

Abstract

Autonom transport blir stadig mer tilgjengelig, både landbasert, luftbasert og til havs. Urbane vannveier er på den andre siden underutnyttet i dagens byer. Den vanlige måten å krysse en kanal er enten via bro eller en bemannet ferge, som er dyrt på både kort og på lang sikt. Verden har til overs å se en kost-effektiv, fullt autonom og miljøvennlig personferge. For ethvert autonomt system er situasjonsforståelse kritisk. Nyvinninger innen kamer- ateknologi, beregningskraft og datasyn muliggjør nye framgangsmåter. I motsetning til vanlige elektrooptiske kameraer, er langbølge infrarød (LWIR) sensitive kameraer nyttige uten belysning. Selvom oppløsningen er lavere enn for elektro-optiske kameraer kan de fortsatt utklassere oppløsningen til en radar og være mindre utsatt for dårlig vær enn en lidar. Hovedsvakhetene til LWIR kameraer er bakgrunnsrot og faktum at det er passive sensorer, som gjør direkte avstandsmålinger umulig med et mono oppsett. Som et separat lag av sensorer vil det mulig kunne øke viktig redundans i autonome systemer. Når kameraer, både elektro-optiske og LWIR-sensitive, skal brukes som sensorer er det viktig med nøyaktig kalibrering. Selvom flere metoder for geometrisk kalibrering av LWIR kameraer har blitt lagt fram finnes det ikke standariserte metoder. Derfor blir en ny metode for geometrisk kalibrering av LWIR sensitive kameraer som utnytter emissivitets- forskjeller i materialer lagt fram. Metoden er basert på Leslie’s kube [2] og etterligner den standardiserte metoden for elektro-optiske kameraer og kan blant annet bli brukt med Mat- lab sin kamera-kalibrerings applikasjon. Gjennomsnittlig feil i piksellengde ved bruk av forvrengnings-koeffisienter og indre kameraparametre fra denne metoden var 1.91 px eller 1 px horisontalt og vertikalt. Basert på denne metoden har en kameramodell som over- setter pikselkoordinater til stråler i kamerakoordinater blitt implementert som en del av objekt-deteksjon samlebåndet. Samlebåndet bruker data fra en sensorrigg med 5 vidvinkel LWIR sensitive kameraer arrangert i en konfigurasjon som resulterer i 360 ◦ synsvinkel. Avhandlingen demonstrerer et funksjonelt Robot Operating System (ROS) nettverk som publiserer stråler i kamerakoordinater som peker til detekterte objekter funnet i infrarød data fra sensorriggen. Nettverket er skreddersydd MilliAmpere, prototypen til en autonom personferge utviklet som en del av Autoferry prosjektet.

Autonomous transport is on the rise, both on land, in the air and at sea. Urban water channels are however underused in today’s cities. The main ways of crossing channels are either by bridge or by a manned passenger ferry. Both methods require expensive investments, in short- as well as long-term. The world has yet to see a cost-effective, fully autonomous and environmental friendly passenger ferry. For any autonomous system, situational awareness is paramount. With the rapid advance- ment in both camera technology, computing power and computer vision, new approaches are attainable. In contrast to ordinary electro-optical cameras, long wave infrared (LWIR) sensitive cameras are useful without illumination. While the resolution is more coarse than for electro-optical cameras, it can still be superior to the resolution of a radar and is less susceptible to weather detoriation than a lidar. The main weakness of LWIR cameras are background clutter and the fact that it is a passive sensor, making direct range measure- ments impossible with a mono setup. As a separate sensor layer, it might however add important redundancy to an autonomous system. Using cameras as sensors, electro-optical as well as LWIR sensitive, requires accurate cal- ibration. While several methods for geometric calibration of LWIR cameras have been proposed, a standardized method does not exist. Therefore, a new method for geomet- ric calibration of cameras sensitive to LWIR radiation utilizing emissivity differences in materials is proposed in this thesis. The method is based on Leslie’s cube [2] and mimics the standardized method for electro-optical cameras and can be used with Matlab’s camera calibration application among others. The average error in pixel length using distortion co- efficients and intrinsic parameters from this method were 1.91 px or 1 px horizontally and vertically. Based on this method, a camera model translating pixel coordinates to rays of camera-frame coordinates is implemented as part of a real time object detection pipeline. The pipeline uses data from a sensor rig with 5 wide angle LWIR cameras arranged in a configuration resulting in full 360 ◦ field of view. The thesis demonstrates a functional Robot Operating System (ROS) network publish- ing normalized rays of camera-frame coordinates pointing to detected objects found in infrared data from the sensor rig. The network is tailored to MilliAmpere, the prototype autonomous passenger ferry developed as part of the Autoferry project.