Data Lake für Scaleup-Unternehmen

Projekteinblicke: Herausforderungen, Lösungen, transformative Auswirkungen

11. April 2025, Yaroslav Petrovski

1. Einführung: Warum ein Data Lake für Scale-Up Unternehmen wichtig ist

Scale-Up Unternehmen stehen oft vor einzigartigen Herausforderungen, wenn es darum geht, ihre wachsenden Datenbedürfnisse zu verwalten. Ohne eine dedizierte IT-Abteilung sind sie stark auf Werkzeuge wie Excel, ERP-Systeme und Power BI Dashboards angewiesen, um den täglichen Betrieb zu bewältigen. Mit der Zunahme des Volumens und der Komplexität der Daten können diese Tools jedoch schnell zu Engpässen werden, was zu fragmentierten Daten, manuellen Ineffizienzen und begrenzter Skalierbarkeit führt.

Hier kommen wir ins Spiel. Bei ADEAL Systems haben wir uns darauf spezialisiert, maßgeschneiderte Data Lake-Lösungen zu entwickeln, die Scale-Up-Unternehmen dabei unterstützen, ihre Daten in einem einzigen, zentralisierten Repository zu konsolidieren. Für einen unserer Kunden – ein schnell wachsendes Unternehmen, das stark auf Excel und Power BI angewiesen ist – haben wir einen einfachen, aber leistungsstarken Data Lake entwickelt. Diese Lösung aggregiert Daten aus verschiedenen Quellen, wie SharePoint, ERP-Systemen und Drittanbieter-Tools, in einem einheitlichen Format, sodass sie ihre Prozesse optimieren und fundierte, datengestützte Entscheidungen effektiver treffen können.

In den folgenden Abschnitten werden wir die Herausforderungen, die sie hatten, die Lösung, die wir entwickelt haben, und die transformative Wirkung, die sie auf ihr Geschäft hatte, näher beleuchten.

2. Die Datenlandschaft

Unser Kunde, ein wachsendes Scaleup-Unternehmen, stand vor mehreren Herausforderungen im Datenmanagement, die für Organisationen ohne eine dedizierte IT-Abteilung typisch sind. Der Betrieb beruhte stark auf einem ERP-System, zahlreichen Excel-Dateien, die auf SharePoint gespeichert waren, und Power BI-Dashboards für Berichterstattung.

Obwohl diese Tools grundlegende Funktionen bereitstellten, war die Datenumgebung fragmentiert. Die Hauptprobleme umfassten:

• Excel-Überlastung: Mehrere Dateien mit häufigen Updates und keiner klaren Versionskontrolle.

• ERP-Datenlücken: Begrenzte Zugänglichkeit zu historischen und Echtzeitdaten für Analysen.

• Getrennte Systeme: Zusätzliche Datenexporte aus Drittanbieter-Tools führten zu Datensilos.

Dieses Setup erschwerte es, Daten zu konsolidieren, Genauigkeit aufrechtzuerhalten oder sie effizient systemübergreifend zu analysieren. Sie brauchten eine Lösung, um alle geschäftskritischen Daten an einem Ort zugänglich, organisiert und skalierbar zu speichern.

Als Reaktion darauf haben wir einen maßgeschneiderten Data Lake entworfen und implementiert, um diese Herausforderungen zu bewältigen.

3. Unsere Data Lake Infrastruktur

Um die Herausforderungen unseres Kunden zu bewältigen, haben wir einen benutzerdefinierten Data Lake entwickelt, der auf Azure Blob Storage und Azure Function Apps basiert.

1. Azure Blob Storage:
   Wir nutzten Azure Blob Storage als Grundlage des Data Lakes. Seine Flexibilität erlaubte es uns, verschiedene Datentypen wie Excel-Backups, ERP-Exporte und Daten aus Drittanbieter-Systemen strukturiert und kosteneffizient zu speichern. Daten wurden zur Einfachheit und Kompatibilität im CSV-Format organisiert.

2. Azure Function Apps:
   Zur Automatisierung der Datenaufnahme und -verarbeitung implementierten wir Azure Function Apps. Diese serverlosen Funktionen kümmerten sich um:

   - Geplante Backups: Automatische Sicherung und Versionierung von Excel-Dateien aus SharePoint.

   - ERP-Datenexporte: Regelmäßige Extraktion und Speicherung aktualisierter Daten aus dem ERP-System über die API.

   - Drittanbieter-Integrationen: Import von Daten aus anderen Systemen nach Bedarf (z. B. SFTP-Server).

Durch den Einsatz dieser Azure-Dienste haben wir eine Lösung geliefert, die kosteneffizient, skalierbar und benutzerfreundlich ist.

4. Die Vorteile eines zentralisierten Data Lakes

Die Implementierung eines zentralisierten Data Lakes brachte unserem Kunden transformative Vorteile, indem sie seine fragmentierte Datenlandschaft optimierte und effizientere Betriebsabläufe ermöglichte.

Eine einzige verlässliche Datenquelle: Durch die Konsolidierung von Daten aus SharePoint, dem ERP-System und Drittanbieter-Tools an einem zentralen Ort stellt der Data Lake sicher, dass alle geschäftskritischen Daten konsistent, aktuell und leicht zugänglich sind. Dies beseitigt Verwirrung durch Versionsunterschiede oder Datensilos.

Verbesserte Datenzugänglichkeit: Die Speicherung der Daten in einem einheitlichen CSV-Format erleichtert es dem Team, bestehende Tools wie Power BI und Excel zur Analyse und Visualisierung von Informationen zu nutzen. Mitarbeitende müssen nicht mehr mühsam nach Daten suchen oder diese manuell aus verschiedenen Plattformen zusammenführen.

Skalierbarkeit und Zukunftssicherheit: Die Azure-basierte Architektur stellt sicher, dass die Lösung mit dem Unternehmen wachsen kann. Egal ob neue Datenquellen integriert oder der Speicherplatz erweitert werden muss – der Data Lake ist so konzipiert, dass er steigende Anforderungen mühelos bewältigt.

Automatisierung und Effizienz: Dank der Azure Function Apps, die die Datenaufnahme, Versionierung und Sicherung automatisieren, werden manuelle Prozesse auf ein Minimum reduziert. Das spart Zeit, senkt das Risiko menschlicher Fehler und ermöglicht es den Mitarbeitenden, sich auf wertschöpfende Aufgaben zu konzentrieren, anstatt sich mit repetitiven Datenmanagement-Aufgaben zu beschäftigen.

Fundierte, datengetriebene Entscheidungen: Die Zentralisierung und kontinuierliche Aktualisierung aller Unternehmensdaten ermöglicht eine fundiertere Entscheidungsfindung. Der Data Lake versorgt Power BI-Dashboards mit präzisen Daten, liefert Echtzeit-Einblicke und unterstützt die Entwicklung neuer Anwendungsfälle mithilfe von Low-Code-Tools.

Durch die Optimierung ihrer Datenlandschaft hat das Unternehmen die nötigen Werkzeuge und die Flexibilität gewonnen, um effizient zu arbeiten, schneller zu wachsen und sich an zukünftige Herausforderungen anzupassen.

5. So nutzen wir den Data Lake

Der von uns entwickelte Data Lake ist zu einem zentralen Bestandteil der täglichen Abläufe unseres Kunden geworden und hat seine Art, Daten zu verwalten und zu nutzen, grundlegend verändert. Hier sind die wichtigsten Anwendungsfälle:

Power BI-Dashboards: Der zentralisierte Data Lake bildet das Rückgrat der Power BI-Dashboards des Unternehmens. Mit konsistenten und aktuellen Daten aus dem ERP-System, SharePoint und Drittanbieter-Tools können aussagekräftige Berichte und Visualisierungen erstellt werden. Entscheidungsträger haben nun in Echtzeit Zugriff auf wichtige Kennzahlen, was schnellere und fundiertere Entscheidungen ermöglicht.

Datenanalyse und Use-Case-Entwicklung mit Low-Code-Tools: Die organisierte, CSV-basierte Struktur des Data Lakes erleichtert die Datenanalyse und unterstützt Experimente mit Low-Code-Tools. Teams können schnell neue Anwendungsfälle wie Verkaufsprognosen oder Prozessoptimierungen entwickeln und testen, ohne fortgeschrittene technische Kenntnisse oder umfassende IT-Unterstützung zu benötigen.

Dynamische Excel-Updates über PowerQuery: Die Nutzung von Excel im Unternehmen wurde durch PowerQuery-Integrationen optimiert. Mitarbeiter können Daten direkt aus dem Data Lake in Excel abrufen, sodass Tabellenkalkulationen stets mit den neuesten Informationen gefüllt sind. Dies eliminiert die Notwendigkeit manueller Dateneingabe oder umständlicher Copy-Paste-Arbeitsabläufe.

Unterstützung von Skalierbarkeit und neuen Integrationen: Mit dem Wachstum des Unternehmens passt sich der Data Lake flexibel an. Neue Datenquellen lassen sich problemlos in die bestehende Architektur integrieren, sodass die Lösung mit den Anforderungen des Unternehmens mitwachsen kann.

Durch diese Anwendungsfälle steigert der Data Lake nicht nur die betriebliche Effizienz, sondern befähigt die Teams des Unternehmens, intelligenter und kollaborativer zu arbeiten – und damit den Geschäftswert zu steigern.

6. Erkenntnisse und bewährte Praktiken

Die Entwicklung und Implementierung des Data Lakes für unseren Kunden lieferte wertvolle Erkenntnisse über das Datenmanagement für wachsende Unternehmen. Hier sind die wichtigsten Lehren und bewährten Praktiken:

Einfachheit ist entscheidend: Für Unternehmen ohne eigene IT-Abteilung können zu komplexe Lösungen kontraproduktiv sein. Durch den Einsatz vertrauter Werkzeuge wie CSV-Dateien und die Integration mit bestehenden Plattformen (Excel, Power BI) haben wir sichergestellt, dass der Data Lake leicht verständlich, nutzbar und wartbar ist.

Automatisierung, wo immer möglich: Automatisierung ist entscheidend, um manuellen Aufwand zu reduzieren und Fehler zu minimieren. Durch den Einsatz von Azure Function Apps für die Datenaufnahme, Sicherung und Versionierung haben wir sichergestellt, dass der Data Lake mit minimalem Aufwand reibungslos funktioniert.

Skalierbarkeit von Anfang an priorisieren: Der Data Lake wurde so konzipiert, dass er zukünftiges Wachstum problemlos bewältigen kann. Azure Blob Storage und eine serverlose Architektur bieten die Flexibilität, steigende Datenmengen und neue Integrationen zu verarbeiten, ohne eine vollständige Überarbeitung der Lösung zu erfordern.

Fokus auf Datenorganisation: Eine gut strukturierte Speicherung ist die Grundlage eines funktionalen Data Lakes. Die Gruppierung von Daten nach Quelle und eine einheitliche Namenskonvention erleichtern die Navigation und das Abrufen von Informationen.

Datenqualität und Versionskontrolle sicherstellen: Die Versionierung von Excel-Dateien und regelmäßige Backups gewährleisteten die Datenintegrität und die Nachverfolgbarkeit historischer Daten. Dies war besonders wichtig für Teams, die stark auf Excel für ihre Geschäftsprozesse angewiesen sind.

Die Lösung für nicht-technische Teams zugänglich machen: Ein zentrales Ziel war es, nicht-technischen Mitarbeitern den Zugang und die Nutzung des Data Lakes zu ermöglichen. Durch die Kompatibilität mit Excel, Power BI und Low-Code-Tools konnten wir sicherstellen, dass alle Mitarbeitenden im Unternehmen von der zentralisierten Datenstruktur profitieren, ohne spezielle Schulungen zu benötigen.

Regelmäßige Überwachung und Updates: Die Implementierung eines Data Lakes ist kein einmaliges Projekt. Wir haben Überwachungsprozesse eingerichtet, um den reibungslosen Betrieb sicherzustellen, und eine Roadmap für zukünftige Updates und Erweiterungen entwickelt, die sich an den Bedürfnissen des Kunden orientiert.

Durch die Einhaltung dieser bewährten Methoden haben wir eine Lösung geschaffen, die nicht nur unmittelbare Herausforderungen löst, sondern das Unternehmen langfristig auf Erfolgskurs hält.

7. Fazit: Der Data Lake als Wachstumsbegleiter

Für unseren Kunden war die Implementierung eines Data Lakes ein entscheidender Schritt auf dem Weg zu einem erfolgreichen Wachstumsunternehmen. Durch die Konsolidierung von Daten aus SharePoint, ERP-Systemen und Drittanbieter-Tools in einem zentralen, leicht zugänglichen Repository wurden die Ineffizienzen fragmentierter Datenquellen und manueller Prozesse überwunden.

Die Lösung ist weit mehr als nur eine zentrale Datenspeicherung. Mit automatisierten Workflows, Echtzeit-Einblicken über Power BI-Dashboards und der Unterstützung von Low-Code-Tools ermöglicht der Data Lake den Teams, schnellere und bessere Entscheidungen zu treffen und sich auf das Geschäftswachstum zu konzentrieren.

Die Skalierbarkeit und Einfachheit der Azure-basierten Architektur stellen sicher, dass die Lösung mit dem Unternehmen wächst. Sie ist bereit, neue Herausforderungen zu meistern, zusätzliche Datenquellen zu integrieren und sich an sich wandelnde Anwendungsfälle anzupassen.

Für wachstumsorientierte Unternehmen, die das volle Potenzial ihrer Daten ausschöpfen möchten, bietet ein gut konzipierter Data Lake einen klaren Weg zu mehr Effizienz, besseren Entscheidungen und langfristigem Erfolg.