Aufgaben
- Als Data Engineer unterstützt du die Weiterentwicklung einer Big Data Applikation im Umfeld der Motorentwicklung
- In dieser Rolle koordinierst du die Übergabe dieser Applikation an ein Offshore-Team, um eine nahtlose Integration zu gewährleisten
- Du stehst den Entwicklern tatkräftig zur Seite und überwachst die Workflows, um deren Effizienz zu maximieren und Verbesserungen zu implementieren
- Darüber hinaus führst du Prüfungen von Fehlerbildern durch, um Ursachen zu identifizieren und Lösungen zu entwickeln
- Die Erstellung einer Übergabedokumentation gehört ebenfalls zu deinen Aufgaben, um dem Offshore-Team alle relevanten Informationen und Prozesse für eine reibungslose Übergabe zur Verfügung zu stellen
Profil
- Du verfügst über fundierte Kenntnisse im Microsoft Azure Tech Stack, einschließlich Azure Data Lake Storage, Azure Databricks (SQL Warehouse, Databricks Cluster, Jobs) und Azure Data Factory
- Zudem hast du Erfahrung in der Entwicklung und Anwendung von ETL-Logik mit Python (PySpark, pytest) und SQL und bist vertraut mit Dateiformaten wie JSON, Parquet, ORC und Delta Lake
- Darüber hinaus bringst du umfassende Kenntnisse in CI/CD-Prozessen mit, insbesondere mit Azure DevOps (Pipelines) und Artifactory und hast Erfahrung mit Versionskontrollsystemen wie GitHub
- Dein tiefes Verständnis von Data Lake und Data Warehouse Architekturen sowie der Verarbeitung von Zeitreihen runden dein Profil ab
- Du bereicherst unser Team durch deine hohe Eigenständigkeit und ausgezeichneten Kommunikationsfähigkeiten in Deutsch und Englisch, die es dir ermöglichen, komplexe technische Konzepte klar und effektiv zu vermitteln
Benefits
- Anspruchsvolle und abwechslungsreiche Aufgaben in einer zukunftsträchtigen und innovativen Branche
- Ein hoch motiviertes Team und ein offener Kommunikationsstil