Data Engineer mit Python und SQL

Kompetenzziele

• Daten in Tabellen und Schemata so strukturieren, dass Folgeprozesse sie verlässlich nutzen
• SQL als Werkzeug zum Abfragen, Filtern und Verknüpfen von Rohdaten lernen und anwenden
• Verarbeitungsschritte in Python programmieren und zu Datenflüssen verbinden
• Extract, Transform und Load als zusammenhängenden ETL-Ablauf entwerfen
• Wiederkehrende ETL-Läufe automatisiert ausführen
• Bereinigte Datenbestände für Power BI und Machine-Learning-Modelle bereitstellen

Themen und Zusammenhänge

Am Anfang steht, SQL zu lernen: Datenstrukturen in Datenbanken und SQL-Abfragen, mit denen Daten gelesen, gefiltert und zusammengeführt werden, bilden den Ausgangspunkt. Das Programmieren mit Python ergänzt diese Abfragen um Verarbeitungsschritte, die sich in SQL allein nur umständlich lösen lassen, etwa das Zusammenführen von Daten aus unterschiedlichen Quellen und deren Transformation in ein einheitliches Format.

Aus diesen Bausteinen entstehen ETL-Prozesse: Extraktion aus den Quellsystemen, Transformation und Bereinigung, Laden in Zielsysteme. Die Automatisierung wiederkehrender Läufe macht daraus eine Datenpipeline, die BI-Systeme wie Power BI ebenso versorgt wie das Training von Machine-Learning-Modellen. Im Projekt wird eine vollständige Datenpipeline konzipiert und realisiert, die Kernaufgabe im Berufsbild Data Engineer an der Schnittstelle zwischen Data Engineering und Data Science.

Berufliche Perspektiven

Einsatzfelder finden sich in IT- und Fachabteilungen, die Datenflüsse zwischen Quellsystemen und Analyseumgebungen aufbauen und betreiben.

• Data Engineer bzw. Dateningenieur:in für Aufbau und Pflege von Datenpipelines
• ETL-Entwickler:in für Datenintegration und Transformation
• Datenbankentwickler:in mit Schwerpunkt Datenbereitstellung
• BI-Developer für die Versorgung von Berichtssystemen mit bereinigten Daten