Big Data Analytics

Kompetenzziele

• Basiswissen zu Big Data und Merkmalen wie Volumen, Geschwindigkeit und Vielfalt einordnen
• Speicherungstechnologien und Datenbanken für umfangreiche Datensätze auswählen
• Große Datenmengen mit Hadoop und HDFS im Cluster verarbeiten
• Datenanalysen mit Spark durchführen
• Machine-Learning-Modelle mit Python auf großen Datensätzen entwickeln
• Analyseergebnisse in interaktiven Dashboards mit Power BI visualisieren

Themen und Zusammenhänge

Den Anfang bilden Speicherung und Organisation: Welche Datenbanken und Speicherungstechnologien für Datenmengen jenseits einzelner Server geeignet sind, entscheidet über den weiteren Aufbau. ETL-Prozesse bereiten die Datenbestände von der Quelle bis zur Auswertung vor. Hadoop verteilt Speicherung und Verarbeitung auf ein Cluster, Spark beschleunigt Analysen im Arbeitsspeicher, und beide Big-Data-Technologien werden in typische Analyseprojekte eingeordnet. Python dient als Sprache für Auswertung und Data Science: Große Datensätze werden analysiert und Machine-Learning-Modelle entwickelt. Im Zusammenspiel mit Power BI fließen die Analyseergebnisse in Dashboards und bestehende Auswertungen ein und stehen so für datengestützte Entscheidungen bereit.

Berufliche Perspektiven

Einsatzfelder entstehen in Unternehmen, die große Datenmengen aus Produktion, Handel, Logistik oder Online-Diensten verarbeiten.

• Big Data Analyst mit Auswertung umfangreicher Datensätze
• Big Data Engineer oder Data Engineer mit Aufbau von Hadoop- und Spark-Umgebungen
• Data Scientist mit Machine-Learning-Modellen auf großen Datenmengen
• Analystin in Data-Science-Projekten mit Darstellung von Analyseergebnissen