Wir suchen für unsren Kunden zwei Positionen (gerne auch in einer Person vereint)
Es geht um den Aufbau einer Weather Data Pipeline für Energy Trading.
gesucht wird ein DevOps Engineer für GCP und ein Geospatial / Weather Data Engineer (exotisch, aber hier unabdingbar)
1. Core Cloud & Infrastruktur (GCP)
Die Plattform wird auf GCP gehostet. Der Ingenieur benötigt nachweisliche Erfahrung im Aufbau von Hochleistungsrechnerumgebungen.
• Compute Engine: Fachwissen in der Verwaltung von GPU-Instanzen (NVIDIA A100s). Muss Spot-/Preemptible-Lebenszyklen und Committed Use Discounts (CUDs) verstehen.
• Speicherarchitektur: Möglichkeit, skalierbare Speicherhierarchien zu entwerfen. Erfahrung in der Verwaltung ausgeglichener persistenter Festplatten mit hohem I/O-Vorgang für GPU-Caching. Große Ausgabetensoren müssen zur Archivierung nahtlos zu GCS migriert werden.
• Netzwerk und Sicherheit: Konfigurieren von VPCs, API-Gateways und IAM-Rollen basierend auf den Best Practices des Kunden. Dies gewährleistet den sicheren Datenabruf von externen APIs und die sichere Weiterleitung an nachgelagerte Anwendungen.
2. Datenverarbeitung & -formatierung
Python ist die obligatorische Programmiersprache für dieses Projekt. Der/Die Entwickler/in muss über fundierte Kenntnisse des wissenschaftlichen Python-Stacks verfügen.
• Multidimensionale Datenverarbeitung: Expertenkenntnisse in xarray und numpy zur Bearbeitung massiver atmosphärischer Gitter.
• Cloud-native Formate: Tiefes Verständnis des Zarr-Speicherformats. Optimierung von Chunking-Strategien für parallele Operationen auf GCS erforderlich. Erfahrung in der Konvertierung älterer Formate (GRIB, NetCDF) nach Zarr ist unerlässlich.
• Paralleles Rechnen: Erfahrung mit Dask zur Verteilung speicherintensiver Aufgaben auf mehrere Kerne oder Knoten.
• CUDA & Geschäftsintegration: Verwaltung von PyTorch/CUDA-Abhängigkeiten und Integration von Modellausgaben in SQL-Datenbanken.
3. Datenaufnahmepipelines
Das Projekt erfordert den konsistenten Abruf großer Datenmengen aus externen Quellen.
• API-Integration: Entwicklung fehlertoleranter Fetcher für AWS S3 (GFS), ECMWF Open Data (IFS) und Copernicus CDS (ERA5).
• Datentransformation: Erstellung von Interpolationsskripten zur Ausrichtung eingehender GCM-Gitter an exakte 0,25-Grad-äquirektanguläre Gitter.
• Lexikon-Mapping: Standardisierung von Variablennamen verschiedener Anbieter gemäß den NVIDIA Earth-2-Standards (z. B. t2m, u100, v100).
4. Orchestrierung & Scheduling
Das System muss autonom laufen, um täglich Handelssignale bereitzustellen.
• Apache Airflow: Umfassende Erfahrung in der Erstellung von DAGs zur Orchestrierung der gesamten Pipeline.
• Betriebssicherheit: Implementierung strikter Fehlerbehandlung, automatischer Wiederholungsversuche und Alarmierungsmechanismen gemäß den Best Practices des Kunden.
• Ereignisgesteuerte Architektur: Entwicklung von Pipelines zur sofortigen Auslösung des Analog-Matchings nach Generierung des NVIDIA Earth-2-Ausgabetensors.
