dc.contributor.advisor | Brekke, Edmund Førland | |
dc.contributor.advisor | Trnka, Kenan | |
dc.contributor.advisor | Helgesen, Øystein Kaarstad | |
dc.contributor.advisor | Helgesen, Håkon Hagen | |
dc.contributor.author | Hølland, Eskil Hatling | |
dc.date.accessioned | 2019-10-31T15:05:31Z | |
dc.date.issued | 2019 | |
dc.identifier | no.ntnu:inspera:35771502:17657940 | |
dc.identifier.uri | http://hdl.handle.net/11250/2625682 | |
dc.description.abstract | Autonom transport blir stadig mer tilgjengelig, både landbasert, luftbasert og til havs.
Urbane vannveier er på den andre siden underutnyttet i dagens byer. Den vanlige måten
å krysse en kanal er enten via bro eller en bemannet ferge, som er dyrt på både kort og
på lang sikt. Verden har til overs å se en kost-effektiv, fullt autonom og miljøvennlig
personferge.
For ethvert autonomt system er situasjonsforståelse kritisk. Nyvinninger innen kamer-
ateknologi, beregningskraft og datasyn muliggjør nye framgangsmåter. I motsetning til
vanlige elektrooptiske kameraer, er langbølge infrarød (LWIR) sensitive kameraer nyttige
uten belysning. Selvom oppløsningen er lavere enn for elektro-optiske kameraer kan de
fortsatt utklassere oppløsningen til en radar og være mindre utsatt for dårlig vær enn en
lidar. Hovedsvakhetene til LWIR kameraer er bakgrunnsrot og faktum at det er passive
sensorer, som gjør direkte avstandsmålinger umulig med et mono oppsett. Som et separat
lag av sensorer vil det mulig kunne øke viktig redundans i autonome systemer.
Når kameraer, både elektro-optiske og LWIR-sensitive, skal brukes som sensorer er det
viktig med nøyaktig kalibrering. Selvom flere metoder for geometrisk kalibrering av
LWIR kameraer har blitt lagt fram finnes det ikke standariserte metoder. Derfor blir en ny
metode for geometrisk kalibrering av LWIR sensitive kameraer som utnytter emissivitets-
forskjeller i materialer lagt fram. Metoden er basert på Leslie’s kube [2] og etterligner den
standardiserte metoden for elektro-optiske kameraer og kan blant annet bli brukt med Mat-
lab sin kamera-kalibrerings applikasjon. Gjennomsnittlig feil i piksellengde ved bruk av
forvrengnings-koeffisienter og indre kameraparametre fra denne metoden var 1.91 px eller
1 px horisontalt og vertikalt. Basert på denne metoden har en kameramodell som over-
setter pikselkoordinater til stråler i kamerakoordinater blitt implementert som en del av
objekt-deteksjon samlebåndet. Samlebåndet bruker data fra en sensorrigg med 5 vidvinkel
LWIR sensitive kameraer arrangert i en konfigurasjon som resulterer i 360 ◦ synsvinkel.
Avhandlingen demonstrerer et funksjonelt Robot Operating System (ROS) nettverk som
publiserer stråler i kamerakoordinater som peker til detekterte objekter funnet i infrarød
data fra sensorriggen. Nettverket er skreddersydd MilliAmpere, prototypen til en autonom
personferge utviklet som en del av Autoferry prosjektet. | |
dc.description.abstract | Autonomous transport is on the rise, both on land, in the air and at sea. Urban water
channels are however underused in today’s cities. The main ways of crossing channels
are either by bridge or by a manned passenger ferry. Both methods require expensive
investments, in short- as well as long-term. The world has yet to see a cost-effective, fully
autonomous and environmental friendly passenger ferry.
For any autonomous system, situational awareness is paramount. With the rapid advance-
ment in both camera technology, computing power and computer vision, new approaches
are attainable. In contrast to ordinary electro-optical cameras, long wave infrared (LWIR)
sensitive cameras are useful without illumination. While the resolution is more coarse than
for electro-optical cameras, it can still be superior to the resolution of a radar and is less
susceptible to weather detoriation than a lidar. The main weakness of LWIR cameras are
background clutter and the fact that it is a passive sensor, making direct range measure-
ments impossible with a mono setup. As a separate sensor layer, it might however add
important redundancy to an autonomous system.
Using cameras as sensors, electro-optical as well as LWIR sensitive, requires accurate cal-
ibration. While several methods for geometric calibration of LWIR cameras have been
proposed, a standardized method does not exist. Therefore, a new method for geomet-
ric calibration of cameras sensitive to LWIR radiation utilizing emissivity differences in
materials is proposed in this thesis. The method is based on Leslie’s cube [2] and mimics
the standardized method for electro-optical cameras and can be used with Matlab’s camera
calibration application among others. The average error in pixel length using distortion co-
efficients and intrinsic parameters from this method were 1.91 px or 1 px horizontally and
vertically. Based on this method, a camera model translating pixel coordinates to rays of
camera-frame coordinates is implemented as part of a real time object detection pipeline.
The pipeline uses data from a sensor rig with 5 wide angle LWIR cameras arranged in a
configuration resulting in full 360 ◦ field of view.
The thesis demonstrates a functional Robot Operating System (ROS) network publish-
ing normalized rays of camera-frame coordinates pointing to detected objects found in
infrared data from the sensor rig. The network is tailored to MilliAmpere, the prototype
autonomous passenger ferry developed as part of the Autoferry project. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Maritime object detection using infrared cameras | |
dc.type | Master thesis | |