Optimization of model parameters, uncertainty quantification and experimental designs in climate research

Reimer, Joscha ORCID

Several methods for optimization of model parameters, uncertainty quantification and uncertainty reduction by optimal experimental designs are studied and applied to models with different computational complexity from climate research. The generalized least squares estimator and its special cases the weighted and the ordinary least squares estimator are described in detail together with their statistical properties. They are applied to several models using the SQP algorithm, a derivative based local optimization algorithm, in combination with the OQNLP algorithm, a globalization algorithm. This combination is proven to find model parameters well fitting to the measurement data with few function evaluations which is especially important for computationally expensive models. The uncertainty in the estimated model parameters implied by the uncertainty in the measurement data as well as the resulting uncertainty in the model output is quantified in several ways using the first and second derivative of the model with respect to its parameters. The advantages and disadvantages of the different methods are highlighted. The reduction of the uncertainty by additional measurements is predicted using optimal experimental design methods. It is determined how many measurements are advisable and how their conditions, like time, location and which process to be measured, should be chosen for an optimal uncertainty reduction. Robustification approaches, like sequential optimal experimental design and approximate worst case experimental designs are used to mitigate the dependency of predictions on the model parameters estimate. A detailed statistical description of the measurements is important for the applied methods. Therefore, a statistical analysis of millions of marine measurement data is carried out. The climatological means, the variabilities, split into climatological and short scale variabilities, and correlations are estimated from the data. The associated probability distributions are examined for normality and log-normality using statistical testing and visual inspection. To determine the correlations, an algorithm was developed that generates valid correlation matrices, i.e., positive semidefinite matrices with ones as diagonal values, from estimated correlation matrices. The algorithm tries to keep the changes as small as possible and to achieve a matrix with a low condition number. Its (worst case) execution time and memory consumption are asymptotically equal to those of the fastest algorithms to check positive semidefiniteness, making the algorithm applicable to large matrices. It is also suitable for sparse matrices because it preserves sparsity patterns. In addition to statistics, it can also be useful in numerical optimization. In the context of this thesis, several software packages were developed or extended which are freely available as open source and extensively tested. The results obtained from the models and data help to improve the understanding of the underlying processes. The applied methods are not limited to the application examples used here and can be applied to many data and models in climate research and beyond.

Mehrere Methoden zur Optimierung von Modellparametern, Unsicherheitsquantifizierung und Unsicherheitsreduktion durch optimale Versuchsplanung werden untersucht und auf Modelle mit unterschiedlicher Komplexität aus der Klimaforschung angewandt. Der verallgemeinerte Kleinste-Quadrate-Schätzer und seine Spezialfälle, der gewichtete und der gewöhnliche Kleinste-Quadrate-Schätzer, werden zusammen mit ihren statistischen Eigenschaften ausführlich beschrieben. Sie werden auf mehrere Modelle unter Verwendung des SQP-Algorithmus, einem ableitungsbasierten lokalen Optimierungsalgorithmus, in Kombination mit dem OQNLP-Algorithmus, einem Globalisierungsalgorithmus, angewendet. Diese Kombination hat sich bewährt, um gut zu den Messdaten passende Modellparameter mit wenigen Funktionsauswertungen zu finden, was besonders bei rechenintensiven Modellen wichtig ist. Die Unsicherheit in den geschätzten Modellparametern, die sich aus der Unsicherheit in den Messdaten ergibt, sowie die daraus resultierende Unsicherheit in der Modellausgabe werden auf verschiedene Weise unter Verwendung der ersten und zweiten Ableitung des Modells bezüglich dessen Parameter quantifiziert. Die Vor- und Nachteile der verschiedenen Methoden werden aufgezeigt. Die Reduzierung der Unsicherheit durch zusätzliche Messungen wird mit optimale Versuchsplanungsmethoden vorhergesagt. Es wird bestimmt, wie viele Messungen sinnvoll sind und wie deren Bedingungen, wie Zeit, Ort und zu messender Prozess, für eine optimale Unsicherheitsreduzierung gewählt werden sollten. Robustifizierungsansätze, wie sequentielle optimalen Versuchsplanung und approximative Worst-Case Versuchsplanung, werden verwendet, um die Abhängigkeit der Vorhersagen von der Schätzung der Modellparameter zu verringern. Eine detaillierte statistische Beschreibung der Messungen ist für die angewandten Methoden wichtig. Daher wird eine statistische Analyse von Millionen von marinen Messdaten durchgeführt. Die klimatologischen Mittel, die Variabilitäten, unterteilt in klimatologische und kurzskalige Variabilitäten, und Korrelationen werden aus den Daten geschätzt. Die zugehörigen Wahrscheinlichkeitsverteilungen werden mittels statistischer Tests und visueller Inspektion auf Normalität und Log-Normalität untersucht. Um die Korrelationen zu bestimmen, wurde ein Algorithmus entwickelt, der aus geschätzten Korrelationsmatrizen gültige Korrelationsmatrizen erzeugt, d.h. positive semidefinite Matrizen mit Einsen als Diagonalwerte. Der Algorithmus versucht, die Änderungen so klein wie möglich zu halten und dabei eine Matrix mit einer niedrigen Konditionszahl zu erzielen. Seine (ungünstigste) Ausführungszeit und Speicherverbrauch sind asymptotisch gleich zu denen des schnellsten Algorithmus zum Überprüfen von positiv Semidefinitheit, was den Algorithmus auf große Matrizen anwendbar macht. Er ist ebenfalls geeignet für dünnbesetzte Matrizen, da er Besetzungsstrukturen bewahrt. Neben der Statistik kann der Algorithmus auch in der numerischen Optimierung nützlich sein. Im Rahmen dieser Arbeit wurden mehrere Softwarepakete entwickelt oder erweitert, welche als Open Source frei verfügbar sowie umfassend getestet sind. Die Ergebnisse aus den Modellen und Daten helfen das Verständnis der zugrunde liegenden Prozesse zu verbessern. Die angewandten Methoden beschränken sich nicht auf die hier verwendeten Anwendungsbeispiele und können auf viele Daten und Modelle in der Klimaforschung und darüber hinaus angewendet werden.

Cite

Citation style:

Reimer, Joscha: Optimization of model parameters, uncertainty quantification and experimental designs in climate research. 2020.

Rights

Use and reproduction:

Export