Data Engineer (m/w/d)

Über das Unternehmen

Du möchtest moderne Daten- und KI-Infrastrukturen mitgestalten und große Datenmengen effizient nutzbar machen? Als Data Engineer spielst du eine zentrale Rolle beim Aufbau, der Integration und der Verarbeitung von Datenströmen, die unsere KI-Anwendungen und Modelle antreiben. Du arbeitest eng mit unseren KI-Entwicklern sowie dem DevOps-Team zusammen und gestaltest umfassende Datenpipelines, mit der wir die Systeme in unserer Kubernetes-Infrastruktur miteinander verbinden können.

Deine Aufgaben

• Entwickelst und betreibst fehlertolerante Datenpipelines (ETL/ELT), mit denen große Datenmengen zuverlässig gesammelt, verarbeitet und bereitgestellt werden
• Integrierst externe Datenquellen, Schnittstellen und Services in unseren KI-Stack und sorgst für reibungslose Datenflüsse zwischen Anwendungen, Modellen und Infrastruktur
• Unterstützt den Aufbau und Betrieb von MLOps-Pipelines, zum Beispiel für Modelltraining, Evaluation und Deployment
• Entwickelst und pflegst Datenmodelle, Datenstrukturen und Speicherkonzepte für SQL-, NoSQL- und Objekt-Storage-Systeme
• Stellst sicher, dass Datenqualität, Monitoring und Observability durch geeignete Tools und Prozesse gewährleistet sind
• Arbeitest in einem agilen Projektumfeld mit einem engagierten Team zusammen

Dein Profil

• Abgeschlossenes Studium im Bereich Informatik, Data Science, Elektrotechnik oder eine vergleichbare Qualifikation
• Bereits Erfahrung im Data Engineering und Kenntnisse in gängigen Tools wie Airflow, Kafka oder Spark
• Erfahrung mit Datenbanken und Datenmodellierung (SQL, NoSQL, Object Storage)
• Erfahrung mit Containerisierung und Kubernetes, idealerweise in einer on-premises Umgebung
• Kenntnisse im Bereich MLOps, beispielsweise in MLflow, Kubeflow oder vergleichbaren Frameworks
• Programmierkenntnisse in Python und Erfahrung mit DevOps-Prozessen