ROV-based in situ monitoring of cultivated kelp biomass using underwater RGB images and the Segment Anything Model

Abstract

Dyrking av tang og tare anerkjennes i økende grad for sitt potensial til å bidra til bioøkonomien og redusere vår bruk av fossile brensler. I løpet av de siste to tiårene har industrien opplevd en hurtig vekst, med en tredobling i produksjonsvolum. Norges taredyrkingssektor har ideelle forhold for å industrialisere og skalere opp produksjonen. For å oppnå dette er det imidlertid nødvendig med automatiserte overvåkningsteknikker for å effektivt håndtere en storskala produksjon. Den nye tilgjengeligheten på rimelige undervannsfarkoster, kombinert med betydelige fremskritt innen maskinlæringsbasert bildebehandling, har potensial til å revolusjonere undervannsovervåkning i nær fremtid.

I dette studiet undersøker vi in situ biomasseovervåkning av den dyrkede taren Saccharina latissima ved bruk av undervanns rød-grønn-blå (RGB) bilder og Segment Anything Model (SAM), en banebrytende modell for bildesegmentering. For å oppnå dette brukte vi en fjernstyrt undervannsfarkost (ROV) for å samle bilder av side- og ovenfra-ned-perspektiv på vertikalt orienterte tare som vokser langs horisontalt orienterte dyrkingsliner. SAM ble brukt til å segmentere en liten replika av taren på dyrkningslinjen, slik at pikselområdet kunne omgjøres til arealestimater i dm2 m-1 og korreleres med feltmålt biomasse. In situ konsentrasjoner av klorofyll a og turbiditet (proxy for fytoplanktonbiomasse og partikkelkonsentrasjon) ble overvåket for å evaluere og kvantifisere deres innvirkning på bildekvalitet og nøyaktighet av tare-segmentering.

Side-perspektiv arealet viste seg å være en robust proxy for biomasse, med en sterk positiv potensrelasjon (r2 = 0,769). Ovenfra-ned-perspektivet viste en merkbart svakere potensrelasjon med biomasse (r2 = 0,365). Imidlertid viste topp-ned-arealet en sterk potensrelasjon til sporofytt-tetthet (r2 = 0,676), noe som indikerer at tareformasjonens bredde korrelerer godt med sporofyttfordelingen langs dyrkningsliner.

Vårt arbeid viderefører tidligere forskning som brukte konvensjonelle segmenteringsteknikker for å tare-segmentering. SAM oppnådde konsekvent høy nøyaktighet i segmenteringen av tareveksten, selv fra vesentlig degraderte bilder. Våre funn indikerer at en grunnmodell for bildesegmentering, som SAM, forbedrer fleksibiliteten, effektiviteten og nøyaktigheten til tare-segmenteringer sammenlignet med konvensjonelle segmenteringsteknikker. For å ytterligere forbedre nøyaktigheten og minimere behovet for menneskelig tilsyn, kan SAM finjusteres spesifikt for tare-segmentering i havområdene rundt Frøya. Til dette formålet har vi utgitt vårt datasett med 108 dyrkningsline bilder med sine tilhørende segmenteringer sammen med denne avhandlingen.

Våre funn underbygger beviset på at arealestimater fra undervannsbilder av tarevekst kan fungere som en robust proxy for tarevekstbiomasse. Dette demonstrerer det fremtidige potensialet for å uthente strukturelle taremålinger fra undervannsbilder for å gi ny innsikt i S. latissima-distribusjon og vekstmønster. Vårt arbeid presenterer et skritt i retning automatisert, storskala, in situ overvåking av dyrket tare. Imidlertid står vår nåværende tilnærming overfor flere begrensninger, som operasjonelle restriksjoner i feltet og semi-automatisk prosessering. Vi ser for oss at vårt arbeid kan brukes som et grunnlag for å overvinne disse begrensningene ved å implementere autonome sensorsystemer og avansert maskinlæringsbehandling.

Seaweed cultivation is increasingly recognised for its potential to support the bioeconomy and reduce our dependence on fossil fuels. Over the past two decades, the industry has experienced rapid growth, with a tripling in production volumes. Norway's seaweed cultivation sector possesses ideal conditions for industrialising and scaling up production. However, achieving this requires automated monitoring techniques to manage large-scale production effectively. The recent availability of low-cost underwater vehicles, coupled with significant advancements in machine learning-based image processing, has the potential to revolutionise underwater monitoring in the near future.

In this study, we investigate in situ biomass monitoring of cultivated Saccharina latissima canopies using underwater red-green-blue (RGB) imaging and the Segment Anything Model (SAM), a state-of-the-art foundation model for image segmentation. To achieve this, we utilised a mini- remotely operated vehicle (ROV) for image sampling of side and top-down views of vertically-oriented canopies growing along horizontally-oriented cultivation lines. The SAM was used to segment a small section of the canopy, for its pixel area to be spatially calibrated to area estimations in in dm2 m-1 and correlated with field-measured biomass. In situ chlorophyll a concentrations and turbidity (proxies for phytoplankton biomass and particle concentrations) were monitored to evaluate and quantify their impact on image quality and canopy segmentation accuracy.

The side view area proved to be a robust proxy for biomass, showing a strong positive power relationship (r2 = 0.769). The top-down view area demonstrated a noticeably weaker power relationship with biomass (r2 = 0.365). However, the top-down view area demonstrated a strong power relationship to sporophyte density (r2 = 0.676), indicating that canopy width correlates well with sporophyte distribution along the cultivation line.

Our work extends previous research that employed conventional segmentation techniques, such as shift clustering, colour segmentation and adaptive thresholding, for kelp canopy area segmentation. The SAM consistently achieved high accuracy in segmenting the kelp canopies, even from substantially degraded images. Our findings indicate that a foundation model for image segmentation like the SAM enhances the adaptability, efficiency, and accuracy of canopy segmentations compared to conventional segmentation techniques. To further improve accuracy and minimise the need for manual supervision, the SAM can be fine-tuned specifically for kelp canopy segmentations in the waters of Frøya. For this purpose, we have released together with this thesis our dataset of 108 canopy replicate images and their corresponding segmentations.

Our findings support evidence that area estimations from underwater imagery of kelp canopies can serve as a robust proxy for canopy biomass. This demonstrates the future potential of deriving structural canopy metrics from underwater imaging to offer new insights into S. latissima distribution and growth patterns. Our work presents a novel step toward automated, large-scale, in situ monitoring of cultivated kelp canopies. However, our current approach faces several constraints, such as operational limitations in the field and semi-automatic processing. We envision that our work can serve as a foundation for overcoming these limitations by implementing autonomous sensory systems and advanced machine learning processing.