Foundation Models bilden das Rückgrat der aktuellen KI-Revolution. Durch ihr umfassendes Pretraining auf riesigen Datenmengen und anschließendes Finetuning für spezifische Aufgaben haben sie sich als universelle Werkzeuge für Sprachverarbeitung, Bilderkennung, Bildgenerierung und multimodale Anwendungen etabliert. Die zentrale Hypothese der Skalierung – dass Modellgröße mit Leistungsfähigkeit korreliert – hat den Trend zu immer größeren Architekturen und „AI Giga Factories“ hervorgebracht, in denen paralleles Training auf Supercomputern betrieben wird. Der Vortrag beleuchtet die Entstehung und Funktionsweise dieser Basismodelle, erklärt die Konzepte von Pretraining und Finetuning und zeigt, wie ein digitales Ökosystem aus offenen und proprietären Modellgewichten, standardisierten Benchmarks und massiver Recheninfrastruktur innerhalb der Helmholtz-Gemeinschaft entstanden ist. Welche Chancen und Herausforderungen aus dieser Dynamik resultieren, stellt Peter Steinbach in seinem Vortrag zur Diskussion.

Peter Steinbach ist Leiter des Helmholtz AI Consulting Teams am Helmholtz-Zentrum Dresden-Rossendorf (HZDR). Er promovierte 2012 in Teilchenphysik an der TU Dresden für eine experimentelle Studie mit LHC-Daten am ATLAS-Experiment zur Reduzierung von Hintergrundbeiträgen bei Higgs-Teilchen-Suchen. Im Anschluss arbeitete er als HPC-Support und Research-Software-Ingenieur, um Wissenschaftlerinnen und Wissenschaftler der Lebenswissenschaft zu unterstützen, die Grenzen ihrer Analyse- und Software-Anwendungen am Max-Planck-Institut für Molekularbiologie und Genetik zu erhöhen. In dieser Rolle wurde er zunehmend Deep-Learning-Anwendungen für Bildverarbeitung in der Biologie ausgesetzt. 2019 begann Peter, eine Gruppe von Helmholtz-AI-Beratern am HZDR zu leiten. Das Team hat das Mandat, Wissenschaftlerinnen und Wissenschaftlern aus dem Forschungsbereich Materie der Helmholtz-Gemeinschaft zu unterstützen, maschinelles Lernen (KI) in Experimenten und Theorie zu nutzen. Peter ist begeisterter Open-Source-Enthusiast, Reproduzierbarkeitsevangelist, Statistikfan und ehrenamtlicher Dozent an der TU Dresden.