BLOG | Daten als Produkt: Wertvolle Impulse für Datenarchitekturen aus dem Data Mesh-Ansatz

Was steckt hinter dem Data Mesh Ansatz und für welche Herausforderungen liefert er Lösungen? Damit beschäftigt sich Dr. Gero Presser in diesem Beitrag. Speziell geht es auch um das Prinzip, Daten als Produkt zu betrachten und welche Auswirkungen das auf die Qualität der Daten haben kann.

Daten haben im Zeitalter der Digitalisierung einen herausragenden Stellenwert. Unternehmen können Wettbewerbsvorteile erzielen, wenn sie sich einen Vorsprung in der Organisation von Daten erarbeiten, hieraus Einsichten gewinnen und diese in Aktionen münden lassen.

Dennoch scheitern viele Organisationen in der Praxis an dieser Herausforderung. Viel zu viele Entscheidungen werden ohne Datenbasis getroffen, Entscheider vertrauen den eigenen Daten nicht.

In den letzten Jahrzehnten wurden zunächst das Data Warehouse, später der Data Lake und kürzlich das Data Lakehouse als Lösungen propagiert, um dieses Problem anzugehen. In einigen Fällen gelingt dies auch tatsächlich, in anderen Fällen verbleiben Herausforderungen.

Der in jüngster Zeit prominente Data Mesh Ansatz verändert die Perspektive auf Daten und liefert insofern einen wertvollen Impuls für Datenarchitekturen im Allgemeinen.

Ausgangspunkt: Trennung von operativen Daten und zentralem Datenspeicher

Ausgangspunkt ist, dass allen oben genannten Ansätzen eine Kernidee gemein ist. Es wird getrennt zwischen den Daten in operativen Systemen (z. B. ERP, CRM, Individualsoftware) und der Datenhaltung für analytische Zwecke.

Die Daten werden aus den operativen Systemen per ETL (oder ELT oder Pipeline) in einen zentralen Ort zur dauerhaften Datenspeicherung bewegt, der anschließend für analytische Zwecke genutzt wird. Die Daten landen in einem Data Warehouse, Data Lake oder ähnlichen Datenspeichern.

Mit der Bewegung der Daten wechselt dann auch die Verantwortung. Nach der zentralen Ablage wird auch die Verantwortung zentralisiert. Nun liegt also die Verantwortung für die Daten z. B. beim zentralen Data Warehouse-Team als Teil des Competence Center Business Intelligence.

Diese zentrale Verantwortung für das Management aller Daten stellt dann aber häufig einen echten Engpass dar und führt zu organisatorischen Herausforderungen, da Fachabteilungen zum Beispiel bei Fragen der Datenqualität unbedingt benötigt werden.

Der Data Mesh Ansatz bringt für diese Herausforderung eine Lösung, indem er diese Trennung zwischen operativen Daten und zentralem Datenspeicher aufhebt.

Data Mesh als dezentraler Architekturansatz

Data Mesh ist ein anderes Architekturansatz, das auf vier Grundprinzipien basiert:

• Domain-oriented Decentralisation
• Data as a Product
• Self-Serve Data Infrastructure
• Federated Computational Governance

An dieser Stelle verzichte ich auf eine detailliertere Darstellung und verweise stattdessen auf den grundlegenden Artikel „How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh“ von Zhamak Dehghani und den Folgeartikel.

Herausgreifen möchte ich nachfolgend aber das „Data as a Product“-Prinzip. Auch wenn für den Ansatz alle vier Prinzipien zwingend erforderlich sind, erscheint mir der Produktansatz für Daten auch isoliert von Interesse.

Neue Perspektive: Daten als Produkt

Beim Data Mesh Ansatz sind die operativen Systeme selbst für die Bereitstellung „ihrer“ Daten verantwortlich. Insofern verändert sich der Blickwinkel: Daten werden als Produkt verstanden, für die ein Product Owner (im Folgenden Produkteigentümer) verantwortlich ist.

Einher damit gehen die Aufgaben eines typischen Produkteigentümers, also das Management des Produkts über den gesamten Lebenszyklus. Dies beginnt bei Ideen, Nutzen- und Anforderungsanalysen, reicht über die Bereitstellung und Vermarktung hin zur kontinuierlichen Verbesserung und der Anpassung auf sich verändernde Anforderungen.

Entscheidend ist, dass damit die Verantwortung domänenspezifisch verteilt werden kann. Gerade bei fortgeschrittenem Reifegrad können die Fachabteilungen selbst Datenprodukte definieren und zum Dateneigentümer werden.

Insgesamt kann dies zu einer erheblichen Verbesserung der Datenqualität führen, einfach indem entsprechende Anforderungen definiert und die Verantwortung klar zugewiesen ist.

Erfolg liegt in der Kombination der Blickwinkel

Wir sprechen seit längerer Zeit davon, dass Daten ein wesentlicher Produktionsfaktor unseres Zeitalters sind. Es überrascht demnach nicht, dass sie zunehmend auch entsprechend gemanagt werden.

Wo vormals die Technik im Vordergrund stand, gewinnt die Organisation an Bedeutung. Wenig überraschend beobachten wir in unseren Projekten, dass die Kombination beider Betrachtungswinkel ein wesentlicher Erfolgsfaktor ist.

Dr. Gero Presser

Geschäftsführer, QuinScape GmbH