Der Bedarf an Datenintegration wächst kontinuierlich

Daten verändern die Welt. Fast jede Organisation ist auf dem Weg, Daten-getrieben zu werden. Immer mehr Daten umgeben uns.  

Als Konsequenz dessen benötigen immer mehr Fachanwender den Zugriff auf Daten, zum Beispiel im Rahmen von Entscheidungsprozessen oder zu Analysezwecken in Cockpits. 

Gleichzeitig explodiert die Anzahl der Systeme, die Organisationen verwenden. Es differenziert sich eine immer größere SaaS-Landschaft aus, in der es Spezialsysteme für nahezu jedes Thema gibt. Die relevanten Daten verteilen sich über immer mehr Systeme. 

Manche dieser Daten werden bereits zentral organisiert im Data Warehouse. In den meisten Fällen genügt dies aber nicht für die Bedarfe von Fachanwendern. Sie benötigen andere Datenquellen oder wollen vorhandene Daten anreichern. 

Herausforderungen in der Organisation

Zusammengenommen heißt dies, dass immer mehr Datenintegrationen innerhalb von Organisationen benötigt werden, getrieben durch den Bedarf der Fachanwender. 

Eine Herausforderung hierbei ist, dass die Kapazitäten der IT-Abteilungen nicht in gleichem Maße zunehmen. Es ist also nicht realistisch, dass die IT-Abteilungen diese Integrationen als Service für die Fachabteilungen umsetzen.  

Schlimmer noch: Vielfach werden die Datenintegrationen sehr zeitnah benötigt. Der Nutzen ist umso höher, je schneller die Integration bereitsteht. Vielfach liegt die Erwartungshaltung von Fachanwendern im Stundenbereich und Umsetzungszeiten von Monaten sind nicht tragbar.  

Die klassische Herangehensweise mit einem Data Warehouse passt insofern nicht zu diesem Bedarf und in diese Zeit. Eine Umsetzung von ETL-Strecken über das CoC Business Intelligence (COC BI) nimmt erfahrungsgemäß deutlich mehr Zeit in Anspruch als wenige Tage oder Wochen.   

Data Scientists können sich zwar selbst behelfen und Daten schnell in einem Data Lake bereitstellen. Aber Fachanwender sind keine Data Scientists. Und Data Scientists sind nebenbei knapp und kostspielig. 

Self Service Datenintegration als Lösungsweg

Ein von Gartner propagierter Lösungsweg sind Data Citizens bzw. Citizen Integrators oder als Tätigkeit formuliert: die Citizen Integration. 

Kernidee dabei ist, dass mit modernen Plattformen die Gestaltung von Datenintegrationen sehr viel einfacher geworden ist, als dies in der Vergangenheit mit schwergewichtigen Integrationsplattformen der Fall war. Heute ist vieles grafisch bzw. mit Low-Code/No-Code–Ansätzen möglich, was früher echte Programmierung erfordert hat. 

Hier beobachten wir eine ähnliche Tendenz wie lange Zeit zuvor bei den Self-Service Analytics Werkzeugen. Dort wurden Fachanwender in die Lage versetzt, durch grafische Werkzeuge die Analysen selbst zu erstellen. Die IT-Abteilung bzw. das CoC BI wurde von der Tätigkeit entlastet, Auswertungen im Auftrag von Fachanwendern zu erstellen. 

Ähnlich ist es nun im Bereich der Datenintegration. Data Citizens können sich mit Hilfe von Low-Code–Ansätzen grafisch Datenintegrationsstrecken konfigurieren und damit kurzfristig ihre Anforderungen ohne externe Hilfe umsetzen. Dieser Ansatz wird Citizen Integration genannt. 

Natürlich setzt dies seitens der Citizen Integrators ein Verständnis in Hinblick auf Systeme, Datenquellen und Datenstrukturen voraus. Gerade diese Kompetenz zeichnet aber den Data Citizen aus. Wie der Citizen Data Scientist ein Fachanwender mit grundlegenden Data Science-Kenntnissen ist, so ist der Data Citizen ein Fachanwender mit grundlegenden Data Engineering-Kenntnissen. 

Die Technologieaffinität nimmt zu, ebenso die Datenkompetenz. Insofern steigt die Menge der Mitarbeiter in Fachabteilungen, die als Citizen Integrator tätig werden. Weiter fördern kann man dies durch geeignete Weiterbildungsangebote und intuitive Werkzeuge. 

Die passende Werkzeugunterstützung ist entscheidend

Entscheidend für den Erfolg des Ansatzes sind professionelle Werkzeuge. Hiermit muss es für den Citizen Integrator möglich sein, möglichst einfach und schnell entsprechende Integrationen umzusetzen. 

Allerdings muss die Citizen Integration eingebettet sein in eine bereitere Data Management–Architektur und sollte nicht isoliert verstanden werden. Themen wie Data Governance müssen übergreifend gelebt werden; das gilt natürlich auch für konkrete Herausforderungen wie Data Security und Data Quality. Wir wissen bereits aus anderen Bereichen, dass Self Service ohne Governance im Chaos mündet. 

Verschiedene Integrationen – egal, ob aus dem CoC Business Intelligence oder vom Data Citizen entwickelt – sollen nicht isoliert nebeneinanderstehen, sondern sich möglichst auch ergänzen.  

Dies spricht für eine umfassendere Lösung, die als einen Teil geeignete Unterstützung für die einfache Datenintegration mitbringt, also die Citizen Integration, zum anderen allgemeine Werkzeuge für das Data Management. 

Ein passendes Lösungsangebot von Talend

Eine entsprechend umfassende Werkzeugunterstützung bietet zum Beispiel unser Partner Talend. Bekannt geworden ist Talend im klassischen Integrationsbereich, bietet mittlerweile aber eine vollumfängliche Plattform, um vertrauenswürdige Daten schnell und vollständig bereitstellen zu können. 

Hierzu bietet die Plattform eine Reihe unterschiedlicher Werkzeuge, die sich an unterschiedliche Rollen richten. Zum Beispiel gibt es Werkzeuge für Data Engineers, Integrationsspezialisten, Data Stewards und eben auch für Data Citizens.  

Der >Pipeline Designer< von Talend ist ein grafisches Werkzeug, um ohne Programmierung professionelle Datenpipelines zu realisieren. Diese Pipelines können um Python Programmierungen angereichert werden und lassen sich mit anderen Talend-Integrationen kombinieren, die im Werkzeug für Integrationsspezialisten erstellt werden. 

Somit bietet Talend eine integrierte Gesamtlösung mit spezifischen Werkzeugen für die unterschiedlichen Rollen.  

Weitere Informationen:

https://www.talend.com/de/products/cloud-pipeline-designer/