Apache Kafka

Messaging & Streaming · Depuis 2011

2011

Creation

Plateforme de streaming d'evenements distribuee creee par LinkedIn et donnee a la fondation Apache. Capable de traiter des millions de messages par seconde avec une latence sous la milliseconde. KRaft (Kafka Raft) remplace ZooKeeper depuis la v3.3, simplifiant l'operation. Ecosysteme riche avec Kafka Connect (200+ connecteurs) et Kafka Streams pour le traitement temps reel.

streamingevent-drivendistributed

Avantages & Inconvenients

Avantages

Throughput de 1M+ messages/sec par broker avec latence p99 sous 5ms
Retention durable des messages configurable (jours, semaines, illimite)
Kafka Connect offre 200+ connecteurs pre-construits (S3, JDBC, Elasticsearch)

Inconvenients

Complexite operationnelle : 6+ brokers recommandes en production avec monitoring
JVM : chaque broker consomme 6-12 GB de heap RAM minimum
Courbe d'apprentissage de 2-4 semaines pour maitriser partitions, replication et offsets

Cas d'usage

Event sourcing pour des systemes financiers traitant 10M+ transactions/jour
Pipelines ETL temps reel entre bases de donnees, data lakes et warehouses
Communication inter-microservices asynchrone pour des plateformes e-commerce

Autres dans Messaging & Streaming

RabbitMQ

Messaging & Streaming

Broker de messages AMQP/MQTT avec routing flexible

messagingamqpbroker

Apache Pulsar

Messaging & Streaming

Messaging cloud-native compute/storage separes

streamingcloud-nativemulti-tenant

NATS

Messaging & Streaming

Messaging ultra-leger en Go (10ms startup)

messaginglightweightcloud-native

Redpanda

Messaging & Streaming

Alternative Kafka en C++ sans JVM (10x latence)

streamingkafka-compatiblecpp