Grundlæggende om Kafka - kursus 42.000 rub. fra IBS Training Center, træning 24 timer, Dato: 4. december 2023.

Emner dækket:
1. Gennemgang (teori – 1 time)
Hvad er Kafka.
Eksempler på vellykket og mislykket brug af Kafka.
Kafka og databasen: ligheder og forskelle.
Kafka og beskedkø: ligheder og forskelle.
Kafka-lagringsarkitektur: Mæglere, emner, partitioner, segmenter, replikaer.
Kafka-klyngearkitektur: Zookeeper, partitionering, master- og slavereplikeringsnoder, ISR.
Klienter og API'er.
2. Opsætning af en klynge (øvelse – 1 time)
Øvelse 2.1: Kørsel af en Kafka-klynge ved hjælp af Docker.
Installation af Zookeeper.
Installation af Kafka-mæglere.
3. Applikationsudvikling i Java (teori – 2,5 timer, praksis – 2,5 timer)
Kafka Producer API: Grundlæggende.
Øvelse 3.1: Sende én besked.
Øvelse 3.2: Sende flere beskeder.
Øvelse 3.3: Afsendelse af flere beskeder med eksplicit partitionering.
Øvelse 3.4: Sende beskeder uden nøgler.
Kafka Consumer API: grundlæggende, forbrugergrupper.
Øvelse 3.5: Én modtager.
Øvelse 3.6: Flere modtagere i én gruppe.
Yderligere funktioner: Pakker, Gentagelser, Idempotens, Transaktioner, Rebalancering af forbrugergrupper.

Øvelse 3.7: Afsender uden pakker og gentagelser.
Øvelse 3.8: Idempotent afsender.
Øvelse 3.9: Transaktionel afsender.
Øvelse 3.10: Afsendelse og modtagelse i en transaktion.
Praksis 3.11: Modtagelse-behandling-afsendelse i en transaktion.
4. Ekstern adgang til Kafka-klyngen (teori – 2 timer, praksis – 2 timer)
Sikkerhed: SSL, SASL, Kerberos.
REST Proxy: afsendelse og modtagelse af beskeder i JSON, binære og Avro-formater.
Øvelse 4.1: Adgang via REST Proxy.
Schema Registry: Schema Registry.
Øvelse 4.2: Brug af REST Proxy med Schema Registry.
5. Vedligeholdelse og overvågning (teori – 1 time, praksis – 1 time)
Opsætning af en klynge til forskellige formål.
Zookeeper: konfiguration, selvstændig og kvorum-tilstand, CLI.
Øvelse 5.1: Overvågning af en Kafka-klynge med Prometheus.
6. Flere klynger (teori – 1 time, praksis – 1 time)
Hvorfor kan du have brug for flere klynger i Kafka?
MirrorMakerAccess.
Øvelse 6.1: Brug af MirrorMaker til at synkronisere klynger.
Confluence Replikator.
7. Kafka Connect (teori – 2 timer, praksis – 2 timer)
Kafka Connect arkitektur.
Kafka Connect datasænker.
Øvelse 7.1: FileStream-filmodtager.
Øvelse 7.2: JDBC-modtager.
Kafka Connect datakilder.
Øvelse 7.3: FileStream-kilde.
Øvelse 7.4: JDBC-kilde.
8. Fundamentals of Kafka Streams (teori – 2 timer, praksis – 2 timer)
Kafka Streams: DSL, API, StreamBuilder, oprettelse og implementering af topologi.
Demo 8.1: Implementering af Streams-topologien.
Demo 8.2: Opbygning af en Streams-applikation ved hjælp af StreamBuilder.
Kafka Streams-enhed: multi-threading, flere forekomster og opgaver.
Dataskemaer i Kafka: serialisering til JSON-skemaer, Avro-skemaer, skemaregistrering, skemaudvikling.
Demo 8.3: Brug af JSON-skemaer.
Stateful Processing: State Store, Fejltolerance for State Stores.
KTable: Dataopdateringsstrømme, caching, genfindingshastighed, aggregering.
Windows i streams: tidsstempler, flydende, hoppe, session.
Forbindelse: stream til stream, KTable til KTable, stream til KTable.