Apache Kafka: Software zum Speichern und Verarbeiten von Datenströmen

Kafka ist dazu entwickelt, Datenströme zu speichern und zu verarbeiten, und stellt eine Schnittstelle zum Laden und Exportieren von Datenströmen zu Drittsystemen bereit. Die Kernarchitektur bildet ein verteiltes Transaktions-Log.

Apache Kafka
Basisdaten
Hauptentwickler	Apache Software Foundation
Entwickler	Apache Software Foundation, LinkedIn
Erscheinungsjahr	7. November 2010
Aktuelle Version	3.7.0 (26. Februar 2024)
Betriebssystem	Plattformunabhängig
Programmiersprache	Java, Scala
Kategorie	Streamprozessor
Lizenz	Apache-Lizenz, Version 2.0, Apache-Lizenz
kafka.apache.org

Ursprünglich wurde Apache Kafka von LinkedIn entwickelt. Seit 2012 ist es Teil der Apache Software Foundation. Im Jahr 2014 gründeten die Entwickler das Unternehmen Confluent aus LinkedIn heraus, welches die Weiterentwicklung von Apache Kafka fokussiert. Apache Kafka ist ein verteiltes System, das skalierbar und fehlertolerant und somit für Big-Data-Anwendungen geeignet ist.

Den Namenszusatz Kafka erhielt es von Jay Kreps, neben Neha Narkhede und Jun Rao einer der Mitentwickler der Software. Er begründete die Namenswahl damit, dass Apache Kafka ein für das Schreiben optimiertes System sei, weswegen der Name eines Autors naheliegend gewesen sei, und da er Kafkas Werke mochte, wählte er diesen.

 

Den Kern des Systems bildet ein Rechnerverbund (Cluster), bestehend aus sogenannten Brokern. Broker speichern Schlüssel-Wert-Nachrichten zusammen mit einem Zeitstempel in Topics. Topics wiederum sind in Partitionen aufgeteilt, welche im Kafka-Cluster verteilt und repliziert werden. Innerhalb einer Partition werden die Nachrichten in der Reihenfolge gespeichert, in der sie geschrieben wurden. Lese- und Schreibzugriffe umgehen den Arbeitsspeicher durch die direkte Anbindung der Festplatten mit dem Netzwerkadapter (zero copy), so dass weniger Kopiervorgänge vor dem Schreiben oder Versenden von Nachrichten nötig sind.

Anwendungen, die Daten in einen Kafka-Cluster schreiben, werden als Producer bezeichnet, Anwendungen, die Daten von dort lesen, als Consumer. Zur Datenstromverarbeitung kann Kafka Streams verwendet werden. Kafka Streams ist eine Java-Bibliothek, die Daten aus Kafka liest, sie verarbeitet und die Ergebnisse nach Kafka zurück schreibt. Kafka kann auch mit anderen Stream-Verarbeitungssystemen verwendet werden. Ab der Version 0.11.0.0 wird „transaktionales Schreiben“ unterstützt, so dass garantiert werden kann, dass Nachrichten genau ein einziges Mal verarbeitet werden, wenn eine Anwendung Kafka Streams verwendet (exactly-once processing).

Kafka unterstützt zwei Arten von Topics: „normal“ und „compacted“ Topics. Normale Topics garantieren, Nachrichten für einen konfigurierbaren Zeitraum vorzuhalten oder einen gewissen Speicherbedarf nicht zu überschreiten. Liegen Nachrichten vor, die älter sind als die konfigurierte „retention time“, oder ist das Speicherlimit einer Partition überschritten, kann Kafka alte Nachrichten löschen, um Festplattenspeicher freizugeben. Standardmäßig speichert Kafka Nachrichten für 7 Tage, aber es ist auch möglich, Nachrichten für immer zu speichern. Neben „normal“ Topics bietet Kafka auch „compacted“ Topics an, die keiner Zeit- oder Platzlimitierung unterliegen. Stattdessen werden neuere Nachrichten als Aktualisierung („updates“) alter Nachrichten mit dem gleichen Schlüssel interpretiert. Dabei wird garantiert, dass die neueste Nachricht pro Schlüssel nie gelöscht wird. Nutzer können Nachrichten jedoch explizit löschen, indem sie eine Spezialnachricht (sog. tombstone) mit null-Wert für den entsprechenden Schlüssel schreiben.

Kafka bietet vier Hauptschnittstellen an:

Producer API
Für Anwendungen, die Daten in einen Kafka-Cluster schreiben wollen.
Consumer API
Für Anwendungen, die Daten aus einem Kafka-Cluster lesen wollen.
Connect API
Import/Export-Schnittstelle zur Anbindung von Drittsystemen.
Streams API
Java-Bibliothek zur Datenstromverarbeitung.

Die Consumer- und Producer-Schnittstellen basieren auf dem Kafka-Nachrichtenprotokoll und können als Referenzimplementierung in Java angesehen werden. Das eigentliche Kafka-Nachrichtenprotokoll ist ein binäres Protokoll und erlaubt es damit, Consumer- und Producer-Clients in jeder beliebigen Programmiersprache zu entwickeln. Damit ist Kafka nicht an das JVM-Ökosystem gebunden. Eine Liste mit verfügbaren Nicht-Java-Clients wird im Apache Kafka Wiki gepflegt.

Kafka Connect (oder Connect API) bietet eine Schnittstelle zum Laden/Exportieren von Daten aus/in Drittsysteme. Es ist ab Version 0.9.0.0 verfügbar und baut auf der Consumer- und der Producer-API auf. Kafka Connect führt sogenannte Konnektoren („connectors“) aus, welche die eigentliche Kommunikation mit dem Drittsystem übernehmen. Dabei definiert die Connect-API die Programmierschnittstellen, die von einem Connector implementiert werden müssen. Es gibt bereits viele frei verfügbare und kommerzielle Konnektoren, die genutzt werden können. Apache Kafka liefert selbst keine produktreifen Konnektoren.

Kafka Streams (oder Streams API) ist eine Java-Bibliothek zur Datenstromverarbeitung und ist ab Version 0.10.0.0 verfügbar. Die Bibliothek ermöglicht es, zustandsbehaftete Datenstromverarbeitungsprogramme zu entwickeln, die sowohl skalierbar, flexibel als auch fehlertolerant sind. Dafür bietet Kafka Streams eine eigene domänenspezifische Sprache (DSL) an, die Operatoren zum Filtern, Abbilden (Mappen) oder Gruppieren enthält. Des Weiteren werden Zeitfenster, Joins, und Tabellen unterstützt. Ergänzend zur domänenspezifischen Sprache ist es auch möglich, eigene Operatoren in der Processor-API zu implementieren. Diese Operatoren können auch in der domänenspezifischen Sprache genutzt werden. Zur Unterstützung zustandsbehafteter Operatoren wird RocksDB verwendet. Dies erlaubt es, Operatorzustände lokal vorzuhalten und Zustände, die größer als der verfügbare Hauptspeicher sind, als RocksDB-Daten auf die Festplatte auszulagern. Um den Anwendungszustand verlustsicher zu speichern, werden alle Zustandsänderungen zusätzlich in einem Kafka-Topic protokolliert. Im Falle eines Ausfalls können alle Zustandsübergänge aus dem Topic ausgelesen werden, um den Zustand wiederherzustellen.

Im August 2019 wurde ein Operator zum Aufbau einer Cloud-Native Kafka-Plattform mit Kubernetes veröffentlicht. Dieser ermöglicht die Automatisierung der Bereitstellung von Pods der Komponenten des Kafka Ökosystems (ZooKeeper, Kafka Connect, KSQL, Rest Proxy), eine Überwachung von SLAs durch Confluent Control Center oder Prometheus, die flexible Skalierung von Kafka, sowie die Handhabung von Ausfällen und eine Automatisierung von Rolling Updates.

Bis zur Version 0.9.0 sind Kafka-Broker mit älteren Client-Versionen rückwärtskompatibel. Ab Version 0.10.0.0 können Broker auch vorwärtskompatibel mit neuen Clients kommunizieren. Für die Streams-API beginnt diese Kompatibilität erst mit Version 0.10.1.0.

• Ted Dunning, Ellen M. D. Friedman: Streaming Architecture. New Designs Using Apache Kafka and MapR. O’Reilly Verlag, Sebastopol 2016, ISBN 978-1-4919-5392-1. 
• Neha Narkhede, Gwen Shapira, Todd Palino: Kafka: The Definitive Guide. Real-time data and stream processing at scale. O’Reilly Verlag, Sebastopol 2017, ISBN 978-1-4919-3616-0. 
• William P. Bejeck Jr.: Kafka Streams in Action. Real-time apps and microservices with the Kafka Streams API. Manning, Shelter Island 2018, ISBN 978-1-61729-447-1. 

• Offizielle Website
• Producer API
• Consumer API
• Connector API
• Streams API
• Einführung in Kafka (deutsch)
• Apache Kafka auf GitHub