Automatic Localization of Spatially Correlated Key Points in Medical Images
The task of object localization in medical images is a corner stone of automatic image processing and a prerequisite for other medical imaging tasks. In this thesis, we present a general framework for the automatic detection and localization of spatially correlated key points in medical images based on a conditional random field (CRF). The problem of selecting suitable potential functions (knowledge sources) and defining a reasonable graph topology w.r.t. the dataset is automated by our proposed data-driven CRF optimization. We show how our fairly simple setup can be applied to different medical datasets involving different image dimensionalities (i.e., 2D and 3D), image modalities (i.e., X-ray, CT, MRI) and target objects ranging from 2 to 102 distinct key points by automatically adapting the CRF to the dataset. While the used general “default” configuration represents an easy to transfer setup, it already outperforms other state-of-the-art methods on three out of four datasets. By slightly gearing the proposed approach to the fourth dataset, we further illustrate that the approach is capable of reaching state-of-the-art performance of highly sophisticated and data-specific deep-learning-based approaches. Additionally, we suggest and evaluate solutions for common problems of graph-based approaches such as the reduced search space and thus the potential exclusion of the correct solution, better handling of spatial outliers using latent variables and the incorporation of invariant higher order potential functions. Each extension is evaluated in detail and the whole method is additionally compared to a rivaling convolutional-neural-network-based approach on a hard problem (i.e., the localization of many locally similar repetitive target key points) in terms of exploiting the spatial correlation. Finally, we illustrate how follow-up tasks—segmentation in this case—may benefit from a correct localization by reaching state-of-the-art performance using off-the-shelve methods in combination with our proposed method.
Objektlokalisation in medizinischen Bildern ist eine Kernaufgabe der automatischen Bildverarbeitung und Voraussetzung für andere Prozesse in der medizinischen Bilderverarbeitung. In dieser Thesis präsentieren wir einen generellen Ansatz zur automatischen Detektion und Lokalisation von räumlich korrelierten Schlüsselpunkten in medizinischen Bildern basierend auf einem Conditional Random Field (CRF). Die problematische Auswahl geeigneter Potentialfunktionen (Wissensquellen) ebenso wie die Definition einer geeigneten Graphtopologie in Bezug auf den Datensatz wird durch unsere vorgeschlagene datengetriebene Optimierung automatisiert. Wir zeigen, wie unser vergleichsweise einfacher Aufbau auf verschiedene medizinische Datensätze mit unterschiedlichen Bilddimensionen (2D und 3D), Bildmodalitäten (Röntgen, CT und MRI) und Zielobjekten mit bis zu 102 Schlüsselpunkten angewandt werden kann, indem das CRF automatisch an den Datensatz angepasst wird. Obwohl die genutzte allgemeine „Standardkonfiguration“ einen einfach zu transferierenden Aufbau darstellt, übertrifft diese aber auf drei von vier Datensätzen bereits andere Methoden, die dem Stand der Technik entsprechen. Durch leichtes Anpassen der Methode an den vierten Datensatz können wir zeigen, dass die Methode die Erfolgsrate von hoch entwickelten und Datensatz-spezifischen Methoden auf Deep-Learning-Basis erreicht. Weiterhin schlagen wir Lösungen für gängige Probleme von Graph-basierten Methoden vor und evaluieren sie im Detail. Dazu gehören die Reduktion des Suchraums und dem möglicherweise daraus resultierenden Ausschluss der korrekten Lösung, die bessere Handhabung von räumlichen Ausreißern mit Hilfe von latenten Variablen und die Aufnahme von invarianten Potentialfunktionen höherer Ordnung. Jede Erweiterung wird für sich analysiert und die gesamte Methode wird zusätzlich gegen einen alternativen Ansatz auf Basis von Faltungsnetzen auf einem anspruchsvollen Problem (die Lokalisation von sehr vielen lokal ähnlichen und repetitiven Zielpunkten) im Hinblick auf die Nutzung der räumlichen Korrelation hin untersucht. Abschließend zeigen wir, wie nachfolgende Arbeitsschritte, Objektsegmentierung in diesem Fall, von einer korrekten Lokalisation profitieren können, indem wir eine Standardlösung zur Segmentierung zielgenau anwenden und damit in der Lage sind, den Stand der Technik zu erreichen.
Preview
Rights
Use and reproduction:
No license. The provisions of the German Copyright Act (UrhG) apply.
Please note that individual components of the publication may be subject to other licensing or copyright conditions.