| dc.description.abstract | Masteroppgaven "Deep Reinforcement Learning basert parameter optimalisering for installasjonsanalyse av sjøkabler" utforsker anvendelsen av deep reinforcement learning (RL) teknikker innen marin kybernetikk. Målet med denne oppgaven er å revolusjonere modelleringen av kabelinstallasjonsprosesser ved bruk av intelligente agenter og fremme feltet for marin kybernetikk gjennom RL-teknikker.
Oppgaven starter med en introduksjon som gir bakgrunnsinformasjon om marin kabelteknologi og presenterer et sammendrag av litteraturstudiet fra prosjektoppgaven. Forskningsspørsmålene, formålet og omfanget av oppgaven er skissert for å etablere et klart mål med oppgaven. Fremtiden til oppgaven er beskrevet, med fokus på utviklingen av marin kybernetikk gjennom RL-teknikker og den potensielle revolusjonen av kabelinstallasjonsmodellering ved bruk av intelligente agenter.
Deretter ser oppgaven på teknologien og designelementene til undersjøiske strømkabler. Den fremhever deres applikasjoner, pålitelighet og ulike designaspekter som er avgjørende for vellykkede sjøkabel installasjoner.
Kapittelet for design av kabelinstallasjoner utforsker kritiske scenarier i installasjonsprosessen, inkludert belastninger og lasteffekter, designkurver og ulike trinn involvert i kabelinstallasjon som kabelføring, tidsplan og timing, fjerning av hindringer, transport, håndtering av kabel, leggingskampanjer, kabelbeskyttelse, og bruk av fartøy og kabelleggingsutstyr. Kapittelet diskuterer også analyse av sjøkabelinstallasjon, omfattende kabelleggingsanalyse, kabelinntrekkingsanalyse og hensyn knyttet til værforhold.
Metodikken gir en oversikt over maskinlæringsteknikker, inkludert overvåket og uovervåket læring, og legger vekt på bruk av dype nevrale nettverk. Reinforcement learning introduseres som hovedfokus, sammen med problemformuleringen, verdifunksjonen og ulike moderne RL-teknikker som utforskning vs. utnyttelse, modellfri vs. modellbasert RL, tidsforskjellslæring, policyoptimalisering og dyp deterministisk politisk gradient.
Programvaren som brukes til implementering og case-scenarier diskuteres, med spesielt fokus på OrcaFlex og OpenAI Gym. Baseline CartPole-problemet presenteres som et case-scenario implementert i OrcaFlex, og J-tube pull-in-problemet introduseres som et annet case-scenario.
I kapittelet som omhandler implementasjon er detaljene for baseline CartPole-problemet i OrcaFlex forklart, inkludert OrcaFlex-modellen, fartøyets bevegelse og opprettelsen av et tilpasset miljø ved hjelp av OpenAI Gym. Utførelsen av modellen og hele simuleringen er beskrevet for både tilfeldig handling og deep Q-nettverk (DQN) tilnærminger.
På samme måte presenteres implementeringen av J-tube pull-in-problemet, som dekker utbetalingshastigheten for kvadrant-vinsjwire, miljøoppsettet og utførelse av modellen og simuleringen.
Eksperiment- og resultatkapittelet gir en analyse av resultatene av baseline CartPole-problemet og J-tube pull-in-problemet. Resultatene blir diskutert, og fremhever ytelsen og effektiviteten til de dype RL-teknikkene i disse scenariene.
Til slutt avsluttes oppgaven med en oppsummering av de viktigste funnene og bidragene. Ytterligere forsknings- og utviklingsområder foreslås for å utvide arbeidet som presenteres i oppgaven. | |
| dc.description.abstract | The thesis, titled "Deep Reinforcement Learning-based Parameter Optimization for Marine Cable Installation," explores the application of deep reinforcement learning (RL) techniques in the field of marine cybernetics. The thesis aims to revolutionize the modeling of cable installation processes using intelligent agents and advance the field of marine cybernetics through RL techniques.
The thesis begins with an introduction that provides background information on marine cable technology and presents a summary of the literature review. The research questions, objectives, and scope of the thesis are outlined to establish a clear direction for the thesis. The thesis describes its contributions, focusing on the advancement of marine cybernetics through RL techniques and the potential revolutionization of cable installation modeling using intelligent agents.
Subsequently, the thesis examines the technology and design elements of submarine power cables. It highlights their applications, reliability, and various design aspects crucial for successful installations.
The chapter on cable installation design explores critical scenarios in the installation process, including loads and load effects, design curves, and various steps involved in cable installation, such as cable routing, scheduling and timing, obstacle removal, transportation, reel handling, laying campaigns, cable protection, and the use of vessels and cable laying equipment. The chapter also discusses the analysis of submarine cable installation, encompassing cable laying analysis, cable pulling-in analysis, and considerations related to weather conditions.
The methodology provides an overview of machine learning techniques, including supervised and unsupervised learning, with an emphasis on deep neural networks. Reinforcement learning is introduced as the primary focus, along with its problem formulation, value function, and various modern RL techniques, such as exploration vs. exploitation, model-free vs. model-based RL, temporal difference learning, policy optimization, and deep deterministic policy gradient.
The software used for implementation and case scenarios is discussed, with a particular focus on OrcaFlex and OpenAI Gym. The thesis presents the baseline CartPole problem as a case scenario implemented in OrcaFlex, and introduces the J-tube pull-in problem as another case scenario.
In the implementation chapter, the details of the baseline CartPole problem in OrcaFlex are explained, including the OrcaFlex model, vessel motion, and the creation of a custom environment using OpenAI Gym. The execution of the model and the entire simulation is described for both random action and deep Q-network (DQN) approaches.
Similarly, the implementation of the J-tube pull-in problem is presented, covering the pay-out rate of the quadrant winch wire, environment setup, and the execution of the model and simulation.
The experiment and results chapter analyze the outcomes of the baseline CartPole problem and the J-tube pull-in problem. The results are discussed, highlighting the performance and effectiveness of the deep RL techniques in these scenarios.
Finally, the thesis concludes with a summary of the key findings and contributions. It suggests further areas of research and development to expand upon the work presented in the thesis. | |
