Towards Visual Feedback in Salmon Farm Feeding Processes.
Description
Full text not available
Abstract
Nesten halvparten av de totale utgiftene i fiskeoppdrett kommer fra fôrpellets. Idag utføres fôring for det meste manuelt og med store mengder avfall på grunn avuspist pellets som synker eller driver ut av merden. Dette motiverte forfatteren tilå undersøke mulighetene for å automatisere prosessen, og derfor ble det oppretteten pelletsporingsalgoritme som har potensiale til å gi bedre tilbakemeldinger underfôring.Målet var å foreslå et flerkamera multi-objekt 3D-sporingsoppsett, men på grunnav tidsbegrensningen til oppgaven er det resulterende oppsettet kun i stand til åutføre 3D-sporing på ett enkelt objekt. For å finne relative kamera posisjoner ogorienteringer ble 8-punkts algoritmen implementert i en RANSAC-løkke på 2D-punktfunnet med SIFT-detektoren. Disse ble også foredlet videre med buntjustering. For åoppnå 3D-sporing, ble parvis triangulering utført på senterpunktet av bounding boxesfra CSRT-sporingsalgoritmen. For å initialisere bounding boxes ble YOLOv4-tiny bruktsiden den var kjent fra forprosjektet. Det resulterende oppsettet er skalerbart i denforstand at kalibrerte kameraer kan legges til uten ekstra modifikasjon.En sensorrigg ble konstruert ved å montere 3 monokulære undervannskameraer påen T-formet struktur bygget med Bosch-profiler. Dette oppsettet blebrukt til å utføre eksperimenter i en vanntanklab på NTNU campuset Gløshaugen.Hovedfokuset i denne oppgaven var å foreslå et skalerbart oppsett med stasjonære kameraer som kan dekke og spore gjenstander i hele fiskemerden. På grunn av be-grensninger i vanntankstørrelsen ble det derfor laget et simulert miljø i programmetBlender hvor flere tester ble utført for å teste den implementerte koden og for å un-dersøke ved hvilke avstander vi kan forvente å opprettholde sporing av objekter meden diameter på 0, 008m. I testene utført i Blender ble det oppnådd svært nøyaktigeog konsistente 3D-sporinger, mens i laboratorietestene resulterte kalibreringen ogdårlig estimerte kamera posisjon og orienteringer til mer unøyaktige 3D sporinger. Idistansesetestene ble det avslørt at i ideelle simulerte miljøer var avstander på rundt5m rekkeviddegrensen. Vi så også at tilsetning av miljøstøy som tåke begrenset disseavstandene, men førte derimot ikke til støy i målingene på grunn av triangulering avtåkepartikler. Almost half of the total expenses in fish farming comes from feed pellets. Today, feeding is mostly controlled manually and with large amounts of waste due to uneaten pellets falling and drifting out of the cage. This motivated the author to investigate the possibilities of automating the process. As a step towards this, a multi-camera 3D-tracking scheme to gain feedback on pellet movement was proposed. This has the potential to help feed operators improve the feeding efficiency and/or to be used to gain loop-closure in future automated feeding approaches. To find the relative camera poses, the 8-point algorithm was implemented inside a RANSAC-loop on 2D points obtained with the SIFT feature detector. The poses were also refined using bundle adjustment. Further, to realize 3D tracking, pairwise triangulation were performed on bounding box centers outputted by the CSRT tracking algorithm. To initialize bounding boxes, YOLOv4-tiny was used utilized. The resulting setup is scalable in the sense that calibrated cameras can be added without effort. A sensing rig was created by mounting 3 monocular underwater cameras on a T-shaped structure built with bosch profiles. This setup was used to perform experiments in a water tank lab at the NTNU campus Gløshaugen. The focus in this thesis was to suggest a scalable setup with stationary cameras that can cover and track objects in the entire net pen. Due to limitations of the water tank size, a simulated environment was therefore created in a program called Blender where several tests were performed to test the implementations and to investigate at what ranges we can expect to be able to track objects with a 0.008m diameter. In the tests performed in Blender, highly accurate and consistent 3D trajectories were obtained, while in the lab tests, poor intrinsic calibration and pose estimates of the cameras lead to more inconsistent and inaccurate trajectories. In the limit tests it was revealed that in perfect simulated environments, distances of about 5m was the range limit. Adding environmental noise like fog lowered these distances but did not lead to noisy measurements from e.g. triangulated fog particles or skewed bounding boxes.