Hybrid modeling of an Aerobic Fed-Batch Fermentation of C. glutamicum

Abstract

Prediksjonsmodellar for bioprosessar er nyttige for å løyse problemet med begrensa sanntidsdata i bioprosessar. Men, den ulineære dybamikken til biologiske system gjer nøyaktig modellering vanskeleg. Der konvensjonelle mekanistiske modellar feilar med å beskrive kompleks dynamikk, kan maskinlæring (ML) effektivt håndtere ulinearitet. På den andre sida, fullstendig data-baserte modellar manglar tolkbarheita og ekstrapoleringsevnene til mekanistiske modellar. Hybrid modellering, som kombinerer ML og mekanistiske modellar, kan utnytte fordelane ved kvar av metodane.

I denne oppgåva har hybridmodellar av ei aerobisk fed-batch-kultivering av Corynebacterium Glutamicum ATCC 13032 blitt utvikla. Vi byggjer på tidlegare forskning ved å kombinere ein mekanistisk modell frå [1] med kunstige nevrale nettverk (ANN’ar) som predikerer ein eller fleire parametre i den mekanistiske modellen. Eit manuelt hyperparametersøk var utført for å bestemme den optimale ANNarkitekturen, som inkluderte tal ’hidden layers’ (1 eller 2), antal ’hidden layers’ nevron (5 eller 10), og ’output layer’-aktiveringsfunksjon (rectified linear unit (ReLU), logarithmic sigmoid, eller hyperbolic tangent). ANN’ane var trena på data frå to ekseriment som vart utførte i denne oppgåva. Prosessen vart delt inn i to fasar, der hybridmodellar for fire tilfelle av ANN outputs (1, 2, 3, og 4 outputs) vart utvikla i kvar fase, og den beste hybridmodellen frå kvar fase vart kombinert til å få ut prediksjonane for heile prosessen.

Resultata viste at alle hybridmodellane presterte betre enn den originale mekanistiske modellen, der hybridmodellen med 4-output ANN’ar presterte best på treningsdata. Vidare, indikerte resultata at fleire ANN outputs, jo meir nøyaktige prediksjonar. ReLU-aktiveringsfunksjonen i ’output layer’ resulterte i dei mest nøyaktige prediksjonane, medan éin enkelt ’hidden layer’ struktur som resulterte i nøyaktige prediksjonar for alle tilfelle vart ikkje funne. I staden så var modellane sterkt påverka av ’initial weights’ under trening.

Vidare arbeid bør inkludere evaluering av hybridmodellane si evne til å generalisere ved å teste modellane på ny data, noko som krever meir samling av data. Dersom generaliseringa er dårleg, må ANN’ane trenast på større datasett. For å vidare auke prediksjonsnøyaktigheita til modellane kan eit meir omfattande hyperparametersøk utførast, som inkluderer ’hidden layer’-aktiveringsfunskjon, og skalering av ’initial weights’, i tillegg til å undersøke andre kombinasjonar av ANN outputs.

Prediction models are useful to overcome the issue of limited real-time data in bioprocesses. However, the nonlinear dynamics of biological systems make accurate modelling difficult. Where conventional mechanistic models fail to describe complex dynamics, machine learning (ML) may efficiently deal with nonlinearity. On the other hand, purely data-based models lack the interpretability and extrapolation capabilites of mechanistic models. A hybrid modelling approach, combining ML and mechanistic models, may exploit the advantages of each method.

In this thesis, hybrid models of an aerobic fed-batch cultivation of Corynebacterium Glutamicum ATCC 13032 have been developed. We build on previous research by combining a mechanistic model by [1] with artificial neural networks (ANNs) that predict one or more of the mechanistic model’s parameters. A manual hyperparameter search was conducted to determine the optimal ANN architecture, which included the number of hidden layers (1 or 2), number of hidden layer neurons (5 or 10), and output layer activation functions (rectified linear unit (ReLU), logarithmic sigmoid, or hyperbolic tangent). The ANNs were trained on data from two experiments that were conducted in this thesis. The process was split into two phases, where hybrid models for four cases of ANN outputs (1, 2, 3 and 4 outputs) were developed in each phase, and the best hybrid models from each phase combined to obtain the predictions for the whole process.

The results showed that all hybrid models performed better than the state-ofthe-art mechanistic model, where the hybrid model with the 4-output ANNs had the best performance on the training data. Moreover, the results indicated that the more ANN outputs, the better the fitting performance. The ReLU activation function in the output layer typically resulted in the most accurate predictions, while a single hidden layer structure that resulted in accurate model predictions for all four cases was not found. The performance of the ANNs was heavily influenced by their structure and their corresponding initial weights of training.

Further work should include testing the hybrid models on unseen data, which requires additional data collection. If their generalization is poor, the ANNs must be trained on larger data sets. To further increase model accuracy, a more extensive hyperparameter search could be performed, including different hidden layer activation functions and scaling of initial weights, as well as investigating other combinations of ANN outputs.