Maritime object detection using infrared cameras
Abstract
Autonom transport blir stadig mer tilgjengelig, både landbasert, luftbasert og til havs.Urbane vannveier er på den andre siden underutnyttet i dagens byer. Den vanlige måtenå krysse en kanal er enten via bro eller en bemannet ferge, som er dyrt på både kort ogpå lang sikt. Verden har til overs å se en kost-effektiv, fullt autonom og miljøvennligpersonferge.For ethvert autonomt system er situasjonsforståelse kritisk. Nyvinninger innen kamer-ateknologi, beregningskraft og datasyn muliggjør nye framgangsmåter. I motsetning tilvanlige elektrooptiske kameraer, er langbølge infrarød (LWIR) sensitive kameraer nyttigeuten belysning. Selvom oppløsningen er lavere enn for elektro-optiske kameraer kan defortsatt utklassere oppløsningen til en radar og være mindre utsatt for dårlig vær enn enlidar. Hovedsvakhetene til LWIR kameraer er bakgrunnsrot og faktum at det er passivesensorer, som gjør direkte avstandsmålinger umulig med et mono oppsett. Som et separatlag av sensorer vil det mulig kunne øke viktig redundans i autonome systemer.Når kameraer, både elektro-optiske og LWIR-sensitive, skal brukes som sensorer er detviktig med nøyaktig kalibrering. Selvom flere metoder for geometrisk kalibrering avLWIR kameraer har blitt lagt fram finnes det ikke standariserte metoder. Derfor blir en nymetode for geometrisk kalibrering av LWIR sensitive kameraer som utnytter emissivitets-forskjeller i materialer lagt fram. Metoden er basert på Leslie’s kube [2] og etterligner denstandardiserte metoden for elektro-optiske kameraer og kan blant annet bli brukt med Mat-lab sin kamera-kalibrerings applikasjon. Gjennomsnittlig feil i piksellengde ved bruk avforvrengnings-koeffisienter og indre kameraparametre fra denne metoden var 1.91 px eller1 px horisontalt og vertikalt. Basert på denne metoden har en kameramodell som over-setter pikselkoordinater til stråler i kamerakoordinater blitt implementert som en del avobjekt-deteksjon samlebåndet. Samlebåndet bruker data fra en sensorrigg med 5 vidvinkelLWIR sensitive kameraer arrangert i en konfigurasjon som resulterer i 360 ◦ synsvinkel.Avhandlingen demonstrerer et funksjonelt Robot Operating System (ROS) nettverk sompubliserer stråler i kamerakoordinater som peker til detekterte objekter funnet i infrarøddata fra sensorriggen. Nettverket er skreddersydd MilliAmpere, prototypen til en autonompersonferge utviklet som en del av Autoferry prosjektet. Autonomous transport is on the rise, both on land, in the air and at sea. Urban waterchannels are however underused in today’s cities. The main ways of crossing channelsare either by bridge or by a manned passenger ferry. Both methods require expensiveinvestments, in short- as well as long-term. The world has yet to see a cost-effective, fullyautonomous and environmental friendly passenger ferry.For any autonomous system, situational awareness is paramount. With the rapid advance-ment in both camera technology, computing power and computer vision, new approachesare attainable. In contrast to ordinary electro-optical cameras, long wave infrared (LWIR)sensitive cameras are useful without illumination. While the resolution is more coarse thanfor electro-optical cameras, it can still be superior to the resolution of a radar and is lesssusceptible to weather detoriation than a lidar. The main weakness of LWIR cameras arebackground clutter and the fact that it is a passive sensor, making direct range measure-ments impossible with a mono setup. As a separate sensor layer, it might however addimportant redundancy to an autonomous system.Using cameras as sensors, electro-optical as well as LWIR sensitive, requires accurate cal-ibration. While several methods for geometric calibration of LWIR cameras have beenproposed, a standardized method does not exist. Therefore, a new method for geomet-ric calibration of cameras sensitive to LWIR radiation utilizing emissivity differences inmaterials is proposed in this thesis. The method is based on Leslie’s cube [2] and mimicsthe standardized method for electro-optical cameras and can be used with Matlab’s cameracalibration application among others. The average error in pixel length using distortion co-efficients and intrinsic parameters from this method were 1.91 px or 1 px horizontally andvertically. Based on this method, a camera model translating pixel coordinates to rays ofcamera-frame coordinates is implemented as part of a real time object detection pipeline.The pipeline uses data from a sensor rig with 5 wide angle LWIR cameras arranged in aconfiguration resulting in full 360 ◦ field of view.The thesis demonstrates a functional Robot Operating System (ROS) network publish-ing normalized rays of camera-frame coordinates pointing to detected objects found ininfrared data from the sensor rig. The network is tailored to MilliAmpere, the prototypeautonomous passenger ferry developed as part of the Autoferry project.