Technische Showcases - DataLake Projekte - Dimedis
Data Lake für Kamerasensoren: Möbelhäuser
Unternehmensprofil
Dimedis ist ein deutscher Partner für digitale Lösungen, der 1996 gegründet wurde und seinen Hauptsitz in Köln hat. Rund 80 leidenschaftliche Experten setzen ihr langjähriges Branchen-Know-how ein, um Geschäftsmodelle zu stärken und zu entwickeln. Die skalierbaren Plattformen „made in Germany“ - darunter Digital Signage, Visitor Management, Event Apps & Lead Capturing, Venue Analytics und eine Retail Platform (Media & Analytics) - lassen sich nahtlos in die IT-Infrastruktur der Kunden integrieren. Zu den wichtigsten Kunden zählen die Messe Düsseldorf, die koelnmesse, die LANXESS Gruppe, die XXXLutz Gruppe, die SPAR Österreich Gruppe und viele mehr.
Ausgangssituation
Jeden Tag besuchen Tausende von Kunden verschiedene Möbelhäuser in ganz Deutschland. Dabei entstehen Millionen von Besucherdaten, die nahezu in Echtzeit verarbeitet werden müssen. Diese Erkenntnisse sollen in personalisierte Werbekampagnen für die Filialbesucher einfließen. Die vielfältige IT-Landschaft - bestehend aus zahlreichen Systemen und Datenquellen - stellt in Verbindung mit dem hohen Volumen und der Geschwindigkeit der Informationen eine große Herausforderung für die Integration und Leistung dar.
Herausforderungen und Probleme
Das Hauptproblem war die Datenqualität. Die Daten wurden nicht ordnungsgemäß verarbeitet, es gab Fehler aufgrund von Datenduplikaten. Sie waren für die weitere Analyse und die Erstellung von Werbekampagnen nicht geeignet. Um mit dem Modelltraining fortzufahren, muss man zunächst über saubere und korrekte Daten verfügen. Mit der alten Lösung war dies nicht möglich.
Ein weiteres Problem war die zu unübersichtliche und komplexe IT-Architektur, die unzuverlässig und nicht skalierbar war. Beispielsweise basierte die alte Lösung auf einer monolithischen Datenbank.
Lösung
Es wurde beschlossen, einen Data Lake zu implementieren - ein zentraler Speicher für alle Rohdaten des Unternehmens, unabhängig von ihrer Struktur oder ihrem Format. Zu diesem Zweck wurde ein skalierbarer Data Lake auf der AWS (Amazon Web Services)-Cloud-Plattform bereitgestellt, der eine nahtlose Konsolidierung und Verwaltung von Informationen aus den verschiedenen Sensoren ermöglicht.
Data Lake Architektur
Darüber hinaus wurde für die Verarbeitung der Business-Logik im letzten Schritt vor der Dashboard-Visualisierung die Low-Code-Plattform Megaladata ausgewählt. Sie ermöglicht schnelle, intuitive und transparente Anpassungen der Workflows für die Sensordatenverarbeitung und macht die Logik auf allen Managementebenen transparent. Da Aktualisierungen in diesem Schritt keine ständigen Code-Änderungen oder das Umschreiben von Lambda-Funktionen erfordern, bietet die Lösung mehr Flexibilität und reduziert den für die Wartung des Systems erforderlichen Personalaufwand.
Einige der eingesetzten AWS-Komponenten
Ergebnisse
Das Projekt ist noch im Gange und befindet sich derzeit in einer aktiven Entwicklungsphase. Das neue System wurde bereits in mehr als 30 Abteilungen einer Möbelhauskette eingesetzt, und die Einführung an über 120 Standorten ist für dieses und nächstes Jahr geplant.
Bislang wächst der Data Lake jeden Monat um über 500 GB. Das Unternehmen generiert und speichert täglich riesige Datenmengen, die in Zukunft als Grundlage für automatisierte Werbekampagnenentscheidungen dienen werden (heute werden diese Entscheidungen manuell auf Basis von Daten aus Dashboards getroffen).
Fazit
Die Einführung des AWS-basierten Data Lake und der Low-Code-Plattform Megaladata hat dem Unternehmen geholfen, seine großen Datensätze besser zu nutzen, sie zu organisieren und ihre Qualität erheblich zu verbessern. Diese solide Grundlage ermöglicht es nun, zur nächsten Phase überzugehen - dem Start automatisierter, auf maschinellem Lernen basierender Werbekampagnen - etwas, das zuvor aufgrund von Datenfehlern und geringer Qualität nicht möglich war.
