Beginn: Ab sofort
Erstbetreuer: Prof. Dr. Heisenberg
Zweitbetreuer: Dr. Akdag
Niveau: Masterarbeit
Problemstellung:
Kolmogorov-Arnold-Netzwerke (KANs) stellen eine neue Klasse funktionaler neuronaler Netze dar, die durch explizite 1D-Funktionsapproximationen intrinsische Interpretierbarkeit mit hoher Modellflexibilität kombinieren. Während erste Arbeiten (z. B. ursprüngliche KAN, Spline-KAN) vielversprechende Ergebnisse zeigen, fehlt bislang ein reproduzierbarer, systematischer Vergleich moderner Varianten wie Fourier-KAN, Rational-KAN, Sparse-KAN oder Regularized KAN. Insbesondere ist unklar, welche Architektur unter welchen Dateneigenschaften (Tabulardaten, Zeitreihen, verrauschte Daten) die besten Trade-offs zwischen Genauigkeit, Stabilität und Interpretierbarkeit liefert.
Kolmogorov-Arnold-Netzwerke (KANs) stellen eine neue Klasse funktionaler neuronaler Netze dar, die durch explizite 1D-Funktionsapproximationen intrinsische Interpretierbarkeit mit hoher Modellflexibilität kombinieren. Während erste Arbeiten (z. B. ursprüngliche KAN, Spline-KAN) vielversprechende Ergebnisse zeigen, fehlt bislang ein reproduzierbarer, systematischer Vergleich moderner Varianten wie Fourier-KAN, Rational-KAN, Sparse-KAN oder Regularized KAN. Insbesondere ist unklar, welche Architektur unter welchen Dateneigenschaften (Tabulardaten, Zeitreihen, verrauschte Daten) die besten Trade-offs zwischen Genauigkeit, Stabilität und Interpretierbarkeit liefert.
Ziel der Arbeit:
Ziel der Arbeit ist die Durchführung eines State-of-the-art Benchmarks verschiedener KAN-Architekturen auf etablierten Datensätzen. Dabei sollen neben klassischen Gütemaßen auch Trainingsdynamik, Skalierbarkeit sowie strukturelle Eigenschaften der gelernten Funktionen untersucht werden. Ein besonderer Fokus liegt auf Zeitreihendaten (z. B. CAMELS-DE), ergänzt durch etablierte ML-Benchmarks (z. B. UCI, OpenML).
Ziel der Arbeit ist die Durchführung eines State-of-the-art Benchmarks verschiedener KAN-Architekturen auf etablierten Datensätzen. Dabei sollen neben klassischen Gütemaßen auch Trainingsdynamik, Skalierbarkeit sowie strukturelle Eigenschaften der gelernten Funktionen untersucht werden. Ein besonderer Fokus liegt auf Zeitreihendaten (z. B. CAMELS-DE), ergänzt durch etablierte ML-Benchmarks (z. B. UCI, OpenML).
Vorgehensweise:
- Implementierung und Vergleich mehrerer KAN-Varianten (z. B. Spline-KAN, Fourier-KAN, Rational-KAN, Sparse-KAN, Regularized KAN)
- Definition eines reproduzierbaren Benchmark-Protokolls (Train/Validation/Test Splits, Cross-Validation, Seed-Kontrolle)
- Auswahl standardisierter Datensätze (z. B. CAMELS-DE, UCI, OpenML, Zeitreihen-Benchmarks)
- Evaluation anhand etablierter Metriken (z. B. RMSE, MAE, NSE, R²)
- Analyse der Trainingsstabilität (Konvergenzverhalten, Sensitivität gegenüber Initialisierung)
- Untersuchung der Generalisierungsfähigkeit (Out-of-sample Performance)
- Analyse der Interpretierbarkeit (Glattheit, Monotonie, physikalische Plausibilität der gelernten Funktionen)
- Optional: Vergleich mit Baselines (MLP, XGBoost, LSTM)
Voraussetzungen:
Sehr gute Kenntnisse in Python und Machine Learning (PyTorch oder JAX) sind erforderlich. Erfahrung mit experimentellem Design, Benchmarking und Zeitreihenanalyse ist von Vorteil. Interesse an interpretierbaren ML-Modellen wird vorausgesetzt.
Sehr gute Kenntnisse in Python und Machine Learning (PyTorch oder JAX) sind erforderlich. Erfahrung mit experimentellem Design, Benchmarking und Zeitreihenanalyse ist von Vorteil. Interesse an interpretierbaren ML-Modellen wird vorausgesetzt.
