Eine Lücke im europäischen Cloud-Angebot
Wer Datenpipelines in einer europäischen Cloud betreiben will, stößt schnell auf eine Lücke: Bei den großen US-Anbietern gibt es verwaltete Orchestrierungsdienste, bei den europäischen meist nicht. Teams betreiben dann Apache Airflow, Dagster oder Prefect selbst oder behelfen sich mit zeitgesteuerten Jobs.
Scaleway hat am 30. September 2026 den Data Orchestrator als Public Beta in der Region Paris (fr-par) gestartet. Der Dienst steuert Abläufe über das gesamte Serverless-Angebot von Scaleway: Jobs, Functions und Container. Einen Tag zuvor kam die Anbindung an den Audit Trail dazu, Aktivitäten des Orchestrators lassen sich damit nachverfolgen.
Was der Data Orchestrator kann
- Workflows visuell oder als Code: Abläufe (DAGs) entstehen per Drag-and-drop im Editor oder als YAML bzw. Python.
- Serverless-Bausteine: Jobs, Functions und Container von Scaleway lassen sich als Schritte verbinden.
- Externe Systeme: Über HTTP-Aufrufe startet der Orchestrator auch Aufgaben und Pipelines außerhalb von Scaleway.
- Auslöser: Zeitplan, manueller Start oder Ereignisse wie API-Aufrufe, neue Dateien im Storage oder Nachrichten in einer Queue.
- Steuerung: parallele und bedingte Schritte, Wiederholungen bei Fehlern, eigene Fehlerbehandlung.
- Überwachung: Dashboards in Echtzeit, Logs pro Schritt und Alarme.
Wofür das gedacht ist
Typische Fälle sind nächtliche Datenladungen, die Aufbereitung von Daten für Auswertungen oder KI-Pipelines, bei denen Dokumente verarbeitet, in Vektoren umgewandelt und in einer Datenbank abgelegt werden. Bisher hätte man dafür bei Scaleway mehrere Jobs mit Zeitplänen verkettet und die Fehlerbehandlung selbst gebaut.
Ein vollwertiger Ersatz für Airflow ist der Data Orchestrator damit nicht. Er ist bewusst schlanker und auf das Scaleway-Angebot zugeschnitten. Für Teams, die ohnehin auf Scaleway Serverless setzen, ist genau das der Vorteil: kein eigener Airflow-Cluster, den jemand betreiben und aktualisieren muss.
Was noch fehlt
- Nur Paris: Andere Regionen wie Amsterdam oder Warschau sind noch nicht dabei.
- Keine Preise: Für die Beta nennt Scaleway keine Kosten und keine Zusagen zur Verfügbarkeit.
- Beta-Status: Für geschäftskritische Pipelines ist es zu früh, für neue Projekte und Tests passt es.
Zur Einordnung: Bei STACKIT gibt es mit STACKIT Workflows einen verwalteten Dienst auf Basis von Airflow, und das Pariser Open-Source-Projekt Kestra ist eine weitere europäische Option für Teams, die mehr Funktionsumfang brauchen.
Fazit
Mit dem Data Orchestrator wird Scaleway für Datenteams deutlich vollständiger. Wer seine Daten- und KI-Pipelines aus Gründen der Souveränität in Europa betreiben will, bekommt einen verwalteten Baustein, der bisher fehlte. In der Beta eignet er sich für neue Projekte und für den Vergleich mit dem bisherigen Setup, nicht für die Ablösung bestehender, kritischer Abläufe.