Ursula Deriu
Tirsus
Bio
Ursula Deriu hatte nach ihrem Mathematik-Studium während ihrer bisherigen beruflichen Laufbahn viele verschiedene Rollen in der Software-Entwicklung sowie im Projekt- und Linien-Management inne. Sie ist spezialisiert auf die Themen Data Management und Data Science, die sie auch an verschiedenen Fachhochschulen unterrichtet. Sie arbeitet hauptberuflich bei Tirsus, ihrer eigenen Firma, erstellt online Kurse zu ihren Fachgebieten und beratet Unternehmen bei Data Management, Data Science bei E-Learning.
Twitter: @UrsulaDeriu
Web: tirsus.com
Herausforderungen des Realtime Big Data Stream Processing
Event-Stream-Verarbeitung wird Big Data fähig. Die Internet-Riesen haben solche Systeme längst im Einsatz. Die Open Source Systeme sind genauso schlagkräftig und werden ständig verbessert. Beispiele aus der Apache Software Foundation sind Spark, Flink, Pulsar, Kafka.
Die Anwendungsfälle sind vielfältig - sie reichen von Social Media, über IoT bis hin zur realtime Log-Überwachung. Als Anwender fordern wir von einem Streaming-System Eigenschaften wie: Hoher Durchsatz (big data), geringe Latenzzeit (realtime), SQL-Abfragen und präzise Ergebnisse.
Der Vortrag beleuchtet die technischen Herausforderungen und zeigt einige prominente Lösungsansätze, wie Windowing oder Watermarks.