Senior Data Engineer (m/w/d) - Big Data Platform
Über Conrad Electronic SE
Als zuverlässiger Partner machen wir die Beschaffung von technischem Bedarf für unsere Kunden so einfach und effizient wie möglich. Dafür arbeiten wir täglich mit Leidenschaft und Einfallsreichtum. Wir bieten ein hochwertiges Sortiment mit Millionen von technischen Produkten, kundenzentrierte Lösungen und Services sowie fachkompetente Betreuung von Mensch zu Mensch. Als Familienunternehmen legen wir größten Wert auf nachhaltiges Wirtschaften und langfristige Beziehungen.
Dein Beitrag zum Erfolg
Big Data Solution Design & Streaming
Du konzipierst und implementierst skalierbare Big-Data-Lösungen. Ein zentraler Schwerpunkt liegt dabei auf der Architektur und dem Betrieb von Event-Streaming-Plattformen, um Echtzeit-Datenverarbeitung sicherzustellen.
Software Engineering & AI Integration
Du nutzt Deine fundierten Java-Kenntnisse, um komplexe Data-Services zu entwickeln. Zudem treibst Du unsere Innovationskraft voran, indem Du AI Agents konzipierst und implementierst, die Prozesse automatisieren und unsere Datennutzung auf ein neues Level heben.
Datenmodellierung & ETL-Pipelines
Du verantwortest das Design effizienter Datenmodelle und orchestrierst ETL-Prozesse. Du kombinierst dabei die Flexibilität von Code (Java) mit der Effizienz von Tools wie Matillion ETL.
Datenintegration & Qualität
Du integrierst heterogene Datenquellen in unser Data Warehouse und etablierst strenge Standards für Datenqualität und -konsistenz, damit Data Scientists und Business-Analysten stets auf verlässliche Daten zugreifen können.
Performance & Optimierung
Du überwachst die Performance unserer Plattform (GCP/BigQuery) proaktiv, optimierst Abfragen und stellst sicher, dass unsere Systeme auch bei wachsenden Datenmengen und hoher Last effizient skalieren.
Deine Erfolgsfaktoren
- Mehrjährige Berufserfahrung als Big Data Engineer, idealerweise mit Fokus auf die Google Cloud Platform (GCP)
- Fundierte Erfahrung in der Backend-Entwicklung mit Java
- Praxiserprobte Expertenkenntnisse in Event-Streaming-Architekturen, insbesondere im Umgang mit Confluent Kafka
- Praktische Erfahrung in der Entwicklung und Implementierung von AI Agenten
- Fundierte Erfahrung in der Gestaltung von Datenmodellen und ETL-Strecken, vorzugsweise unter Einsatz von Matillion ETL
- Ausgeprägte analytische Fähigkeiten und der Antrieb, komplexe technologische Herausforderungen eigenständig zu lösen
- Sehr gute Englischkenntnisse in Wort und Schrift
Unternehmen
Conrad Electronic SE