Aurélien Vandel | Devoxx

Aurélien Vandel
Aurélien Vandel Twitter

From Saagie

Nosql, data processing, scala, kafka and spark fanboy. Certified as developer and admin on MongoDB.

bigd Big Data, Machine Learning, AI & Analytics

Applications de données en continu avec Kafka Streams

Conference

Venez découvrir Kafka Streams : une librairie au dessus d'Apache Kafka permettant de mettre en place des applications de traitement de flux distribuées de bout en bout qui réagissent aux données en temps réel. Je commencerai donc par présenter Apache Kafka avant d'aborder les différents concepts de Kafka Streams en commençant par définir un stream. Nous verrons les différents temps de la donnée, les KTable/GlobalKTable, les agrégations, les jointures pour finir sur le fenêtrage qui permet de contrôler comment regrouper les enregistrements qui ont la même clé pour les opérations statefuls telles que les agrégations ou les jointures dans les dites fenêtres. Nous parlerons également de la simplicité opérationnelle de Kafka Streams qui tire partie des capacités natives de Kafka pour offrir le parallélisme des données, la mise à l'échelle et la tolérance aux pannes. Enfin nous finirons par une démo de collecte de tickets de caisse avec calcul d'indicateurs en temps réel.