Towards Visual Feedback in Salmon Farm Feeding Processes.

Abstract

Nesten halvparten av de totale utgiftene i fiskeoppdrett kommer fra fôrpellets. I dag utføres fôring for det meste manuelt og med store mengder avfall på grunn av uspist pellets som synker eller driver ut av merden. Dette motiverte forfatteren til å undersøke mulighetene for å automatisere prosessen, og derfor ble det opprettet en pelletsporingsalgoritme som har potensiale til å gi bedre tilbakemeldinger under fôring. Målet var å foreslå et flerkamera multi-objekt 3D-sporingsoppsett, men på grunn av tidsbegrensningen til oppgaven er det resulterende oppsettet kun i stand til å utføre 3D-sporing på ett enkelt objekt. For å finne relative kamera posisjoner og orienteringer ble 8-punkts algoritmen implementert i en RANSAC-løkke på 2D-punkt funnet med SIFT-detektoren. Disse ble også foredlet videre med buntjustering. For å oppnå 3D-sporing, ble parvis triangulering utført på senterpunktet av bounding boxes fra CSRT-sporingsalgoritmen. For å initialisere bounding boxes ble YOLOv4-tiny brukt siden den var kjent fra forprosjektet. Det resulterende oppsettet er skalerbart i den forstand at kalibrerte kameraer kan legges til uten ekstra modifikasjon. En sensorrigg ble konstruert ved å montere 3 monokulære undervannskameraer på en T-formet struktur bygget med Bosch-profiler. Dette oppsettet ble brukt til å utføre eksperimenter i en vanntanklab på NTNU campuset Gløshaugen. Hovedfokuset i denne oppgaven var å foreslå et skalerbart oppsett med stasjonære kameraer som kan dekke og spore gjenstander i hele fiskemerden. På grunn av be- grensninger i vanntankstørrelsen ble det derfor laget et simulert miljø i programmet Blender hvor flere tester ble utført for å teste den implementerte koden og for å un- dersøke ved hvilke avstander vi kan forvente å opprettholde sporing av objekter med en diameter på 0, 008m. I testene utført i Blender ble det oppnådd svært nøyaktige og konsistente 3D-sporinger, mens i laboratorietestene resulterte kalibreringen og dårlig estimerte kamera posisjon og orienteringer til mer unøyaktige 3D sporinger. I distansesetestene ble det avslørt at i ideelle simulerte miljøer var avstander på rundt 5m rekkeviddegrensen. Vi så også at tilsetning av miljøstøy som tåke begrenset disse avstandene, men førte derimot ikke til støy i målingene på grunn av triangulering av tåkepartikler.

Almost half of the total expenses in fish farming comes from feed pellets. Today, feeding is mostly controlled manually and with large amounts of waste due to uneaten pellets falling and drifting out of the cage. This motivated the author to investigate the possibilities of automating the process. As a step towards this, a multi-camera 3D-tracking scheme to gain feedback on pellet movement was proposed. This has the potential to help feed operators improve the feeding efficiency and/or to be used to gain loop-closure in future automated feeding approaches. To find the relative camera poses, the 8-point algorithm was implemented inside a RANSAC-loop on 2D points obtained with the SIFT feature detector. The poses were also refined using bundle adjustment. Further, to realize 3D tracking, pairwise triangulation were performed on bounding box centers outputted by the CSRT tracking algorithm. To initialize bounding boxes, YOLOv4-tiny was used utilized. The resulting setup is scalable in the sense that calibrated cameras can be added without effort. A sensing rig was created by mounting 3 monocular underwater cameras on a T-shaped structure built with bosch profiles. This setup was used to perform experiments in a water tank lab at the NTNU campus Gløshaugen. The focus in this thesis was to suggest a scalable setup with stationary cameras that can cover and track objects in the entire net pen. Due to limitations of the water tank size, a simulated environment was therefore created in a program called Blender where several tests were performed to test the implementations and to investigate at what ranges we can expect to be able to track objects with a 0.008m diameter. In the tests performed in Blender, highly accurate and consistent 3D trajectories were obtained, while in the lab tests, poor intrinsic calibration and pose estimates of the cameras lead to more inconsistent and inaccurate trajectories. In the limit tests it was revealed that in perfect simulated environments, distances of about 5m was the range limit. Adding environmental noise like fog lowered these distances but did not lead to noisy measurements from e.g. triangulated fog particles or skewed bounding boxes.