Cloud Material Handling System - Leveraging dynamic dispatching andreinforcement learning in a cloud-enabled shopfloor material handling system

Abstract

Effektiv håndtering av materialer og produkter på produksjonsgulv er viktig for å redusere produksjonskostnadene og forbedre produktiviteten. Selv om det vitenskapelige samfunnet har omfavnet automatisert materialhåndteringsutstyr i kjølvannet av Industry 4.0, er menneskedrevne kjøretøy som gaffeltrucker og palletrucker fortsatt det mest brukte utstyret for materialhåndtering. Denne masteroppgaven undersøker hvordan et skyaktivert produksjonsgulv kan utnytte dynamisk utsendelse ved å automatisere både menneskelige og autonomt betjente materialhåndteringsutstyr, kalt Cloud Material Handling System (CMHS).

Hovedmålet med denne studien er å bestemme hvordan en CMHS kan forbedre materialhåndteringsaktivitetene i produksjonen. Spesielt evaluerer studien en CMHS i forskjellige scenarier for å undersøke når den er spesielt gunstig i materialhåndteringsoperasjoner. Flere utsendelsesmetoder som etablerte heuristikker og læringsmetoder med forsterkningslæring blir evaluert for å undersøke hvordan en CMHS kan implementeres. En litteraturstudie ble utført for å avsløre forskningshull adressert av en CMHS, mens en simuleringsmodell basert på et casestudie ble utviklet for å demonstrere bruken i praksis.

Resultatene har vist CMHSs evne til å oppnå høyere produktivitet når det gjelder gjennomstrømning av produkter og utstyrsutnyttelse enn den konvensjonelle ikke-automatiserte referansen. Ytelsesøkninger ble observert i alle scenarier, mens antall nødvendige materialhåndteringsutstyr ble redusert med 40%.

Simuleringsresultatene avslørte at CMHS med forsterkningslæring er spesielt gunstig for usikre produktankomster og arbeidsstasjonsfeil når produktbelastninger ble holdt på linje med arbeidsstasjonenes produksjonskapasitet. Mest fremtredende var under normale produktbelastninger, noe som resulterte i en 197% forbedring i total produktgjennomstrømning. De heuristiske metodene med lavere kompleksitet var på nivå eller bedre enn metodene med forsterkningslæring for forutsigbare materialstrømmer med høy ankomstrate.

Videre evaluering av CMHS bør gjøres i samarbeid med en praktisk business case for å trekke ut viktige driftsparametere, redusere antall antagelser og utvikle en nøyaktig kostnadsmodell for CMHS.

Efficient handling of materials and products on manufacturing shop floors is essential to reduce production costs and improve productivity. Although the scientific community has embraced automated material-handling equipment in the wake of Industry 4.0, human-operated vehicles like forklifts and pallet trucks are still the most commonly used equipment for material handling. This thesis investigates how a cloud-enabled shop floor can facilitate dynamic dispatching by automating human and autonomously operated material-handling equipment through a centralized system, coined as the Cloud Material Handling System (CMHS).

The main objective of this study is to determine how a CMHS may improve material handling activities in manufacturing. Specifically, the study evaluates a CMHS in different scenarios to support when it is particularly beneficial in material handling operations. Multiple dispatching methods like heuristic dispatching rules and reinforcement learning policies are evaluated to support how a CMHS can be implemented. A literature study was conducted to disclose research gaps addressed by a CMHS, while a simulation model based on a case study was developed to demonstrate its use in practice.

The results have shown the CMHS's ability to achieve higher productivity in product throughput and equipment utilization than the conventional non-automated benchmark. Performance increases were observed in all scenarios, while the number of required material-handling equipment was reduced by 40%.

The simulation results revealed that the CMHS with reinforcement learning is particularly beneficial for uncertain product arrival rates and workstation failures when product loads were kept in line relative to production capacity. Most prominent were moderate product loads, resulting in a 197% gain in total product throughput. The lower-complexity heuristic methods were on a par, or superior, to the reinforcement learning policy for predictable material flows with high arrival rates.

Further evaluation of the CMHS should be done in collaboration with a practical business case to extract key operation parameters, reducing the number of assumptions, and develop a rigorous economic model for the CMHS.