Azure Data Factory für MaKo-Pipelines

Marktkommunikation in der Energiewirtschaft ist kein Komfort-Thema: EDIFACT-Nachrichten, strenge Fristen, regulatorische Prüfung, Netzbetreiber-Schnittstellen. Azure Data Factory (ADF) bietet einen Baukasten, um MaKo-Pipelines belastbar und auditierbar in die Cloud zu bringen – wenn man die typischen Fallstricke kennt.

Warum ADF für MaKo

MaKo-Prozesse (GPKE, WiM, MPES, Redispatch 2.0) sind fristgebunden, volumenintensiv und regulatorisch überwacht. Tools wie Robotron EDM oder SOPTIM decken das fachlich hervorragend ab – aber die Integration in moderne Datenlandschaften, Cloud-Reporting und BI-Plattformen ist oft der Flaschenhals.

Azure Data Factory ist hier weder als Ersatz noch als Konkurrenz zu EDM-Systemen gedacht, sondern als Brückentechnologie: Daten aus EDM-Systemen holen, aufbereiten, in Lakehouse/Warehouse überführen, Monitoring etablieren.

EDIFACT als Dateiformat – und seine Tücken

EDIFACT-Nachrichten sind für Maschinen entworfen, nicht für Menschen. Sie sind kompakt, segmentbasiert, und regelgetrieben. ADF selbst bietet keinen nativen EDIFACT-Parser. Pragmatische Optionen:

• Azure Logic Apps mit Integration Account – Microsofts eigener EDIFACT-Parser, gut für kleinere Volumina
• Custom Azure Function mit einem Parser wie bots-edi – flexibler, besser für hohe Volumina
• Vorgelagerte Verarbeitung im EDM-System – ADF holt strukturierte Daten (CSV, Parquet), statt EDIFACT direkt zu verarbeiten

Die dritte Option ist in der Praxis oft die beste: EDM-Systeme bringen bewährte EDIFACT-Verarbeitung mit, ADF übernimmt ab dem Punkt, an dem die Daten strukturiert vorliegen.

Fehlerhandling: der unterschätzte Designaspekt

MaKo-Pipelines scheitern nicht primär an Technik, sondern an unklaren Fehlerprozessen. Was passiert mit einer fehlerhaften UTILMD? Wird sie automatisch abgewiesen? Wird sie manuell bearbeitet? Wer bekommt die Benachrichtigung?

Der Unterschied zwischen einer MaKo-Pipeline, die den SLA hält, und einer, die es nicht tut, ist selten die Rohverarbeitung. Es ist das Verhalten in Fehlerfällen.

ADF unterstützt mit:

• Retry Policies – transiente Fehler automatisch wiederholen
• Failure Paths – bei permanenten Fehlern in eine Quarantäne-Ablage verschieben
• Alerting via Azure Monitor – Teams- oder E-Mail-Benachrichtigung an die MaKo-Fachseite
• Pipeline Annotations – strukturierte Metadaten je Lauf für spätere Analyse

Monitoring und SLA-Nachweis

BNetzA-Fristen sind nicht verhandelbar. Wer eine MaKo-Nachricht zu spät verarbeitet, riskiert Bußgeld und Reputationsverlust. Ein belastbares Monitoring ist daher Pflicht.

Mit ADF-Bordmitteln und Azure Monitor lassen sich folgende Dashboards bauen:

• Durchsatz je Nachrichtentyp pro Stunde/Tag
• Fristeinhaltung – wie viele UTILMD haben die 7-Tage-Frist gerissen?
• Fehlerraten je Marktpartner – welcher Netzbetreiber liefert die meisten fehlerhaften Nachrichten?
• Prozessdauer-Verteilungen – p50, p95, p99 je Schritt

Diese Dashboards sind nicht nur für interne Steuerung relevant – sie sind in BNetzA-Audits oft der entscheidende Nachweis.

Kosten und Skalierung

ADF-Kosten setzen sich aus Activity-Runs, Data Integration Units (DIU) und SSIS-Integration-Runtime zusammen. Für MaKo-Volumina (typisch: tausende bis Millionen Nachrichten pro Tag) bleiben die Kosten überschaubar, wenn:

• Batch-Verarbeitung statt Einzelnachrichten-Trigger verwendet wird
• Data Flows nur dort eingesetzt werden, wo wirklich transformiert wird
• Parameterisierte Pipelines statt hunderter Copy-Activities gebaut werden

Integration in die Datenplattform

ADF ist kein End-of-Journey-Tool. Nach der Ingestion übernehmen typischerweise Databricks, Synapse oder Fabric die weitere Verarbeitung. ADF positioniert sich als Orchestrator und Mover, nicht als Analytics-Plattform.

Moderne Architekturen kombinieren ADF für Ingestion/Orchestrierung mit dbt für Transformationen innerhalb der Zielplattform. Das trennt Verantwortungen sauber: ADF bewegt Daten, dbt modelliert sie.

Fazit

Azure Data Factory ist für MaKo-Pipelines ein robuster Baustein – vorausgesetzt, Fehlerhandling und Monitoring werden von Anfang an mitgedacht. Wer ADF als reinen "Copy-Job-Scheduler" nutzt, verschenkt Potenzial. Wer es als integralen Teil einer auditierbaren MaKo-Architektur plant, bekommt ein Werkzeug, das Regulierung, Kosten und Betriebsanforderungen gleichermaßen adressiert.