NimbusCode Technologies

Beschreibung

In diesem Projekt wurde ein Microservice-basiertes System entwickelt, das in der Lage ist, Terabytes an Finanzdaten parallel zu verarbeiten, Forecasts zu generieren und die Ergebnisse umfassend zu analysieren. Im Backend kamen Quarkus und Spring zum Einsatz, während im Frontend ReactJS genutzt wurde. Das gesamte System wurde auf einem eigenen Kubernetes-Cluster deployt, was eine hohe Flexibilität und Skalierbarkeit sicherstellt. Durch die Microservice-Architektur und den Einsatz moderner Technologien können große Datenmengen effizient verarbeitet und präzise Vorhersagen erstellt werden. Die Reaktionszeiten auf komplexe Datenanfragen wurden signifikant reduziert, während gleichzeitig eine ausfallsichere und dynamisch anpassbare Umgebung geschaffen wurde.

Herausforderung

• Komplexität des Systems und der Berechnungs-Logik: Die enorme Datenmenge und anspruchsvolle Algorithmen erfordern eine sorgfältige Planung und Orchestrierung.
• Ausnutzen der Verteilungen innerhalb des Systems durch Message-Systeme: Parallelität und Lastverteilung sind entscheidend, um eine optimale Performance zu erreichen.
• Asynchrone Berechnung in korrekter Reihenfolge wieder zusammenbauen: Die Teilresultate müssen richtig aggregiert werden, um konsistente Ergebnisse sicherzustellen.
• Entwicklung einer eigenen Lösung zur Beschleunigung der Speicherung großer Datenmengen: Um das Message-System zu entlasten, wurde ein spezielles Zwischenspeicher-Konzept implementiert, das Schreib- und Leseprozesse beschleunigt.

Lösung

Kubernetes sorgt für eine automatisierte Skalierung und orchestriert die Microservices. Hochverfügbare Speichermedien stellen sicher, dass große Datenmengen zuverlässig verwaltet werden können. Kafka dient als performantes Message-Broker-System und ermöglicht den schnellen Austausch von Daten sowie eine asynchrone Verarbeitung, ohne Engpässe zu erzeugen.

Ergebnisse

Durch unsere Lösung ist es nun möglich, große Mengen an Finanzdaten per Klick zu berechnen, zu aggregieren und anschließend umfassend auszuwerten. Dabei haben wir nicht nur die grundsätzliche Berechenbarkeit enormer Datenvolumina sichergestellt, sondern dies auch in einem zeitlichen Rahmen realisiert, der das System in seiner Leistungsfähigkeit einzigartig macht.