Il Kafka Summit 2023, tenutosi di recente, ha riunito un gruppo eterogeneo di professionisti, appassionati ed esperti nel campo del data streaming e delle architetture event-driven. Il summit di quest’anno è stato un incontro eccezionale, ricco di discussioni approfondite, dimostrazioni all’avanguardia e preziose opportunità di networking. Naturalmente, il team Engineering di Bitrock non poteva non partecipare e condividere le principali osservazioni emerse dall’evento.
Durante il keynote, Jay Kreps, cofondatore e CEO di Confluent, ha presentato una panoramica dei miglioramenti in arrivo per Kafka nel corso del prossimo anno e oltre.
Dopo la rimozione di Zookeeper a favore di KRaft (KIP-866), disponibile a partire dalla Confluent Platform 7.4.0, un’altra grande sorpresa annunciata è la KIP-932 Queues for Kafka, che consente a molti consumatori di leggere dalla stessa partizione, abilitando casi d’uso come le classiche sub-queues pub. Questo sarà possibile grazie all’introduzione dei gruppi di condivisione e del riconoscimento dei singoli record nel protocollo Kafka Consumer.
Jay ha anche presentato Kora Engine di Confluent, il motore Apache Kafka costruito per il cloud. Kora è il motore che alimenta Confluent Cloud come servizio Kafka cloud-native e 10x, portando una scalabilità elastica di oltre GBps, affidabilità garantita e bassa latenza prevedibile a oltre 30K cluster in tutto il mondo.
Un altro importante annuncio fatto al Kafka Summit 2023 di Londra è la prossima offerta di elaborazione di flussi alimentata da Apache Flink in Confluent Cloud, prevista per l’inverno 2023. La recente acquisizione di Immerok da parte di Confluent ha posizionato questo gigante dello streaming dei dati in modo da offrire sia funzionalità di streaming storage (tramite Apache Kafka) che di streaming computing (tramite Apache Flink).
Dopo il keynote, il team di Engineering di Bitrock ha partecipato a diversi interventi durante il summit, uno molto interessante ha presentato e spiegato i vantaggi del nuovo protocollo di ribilanciamento dei consumatori, KIP-848, KIP-848: The Next Generation of the Consumer Rebalance Protocol.
L’attuale protocollo di ribilanciamento presenta diversi problemi, uno dei quali è sicuramente il fatto che la maggior parte della logica è lato client (fat client), ad esempio i timeout di sessione e gli intervalli sono definiti lato client, ma il suo principale punto critico è che l’attuale protocollo interrompe l’elaborazione di nuovi messaggi (strop the world) quando si esegue un ribilanciamento. I membri del gruppo in errore potrebbero causare problemi all’intero gruppo di consumatori. Il nuovo protocollo si basa su tre obiettivi di progettazione: Lato server, protocollo consumatore e incrementale.
Il nuovo protocollo di riconciliazione prevede 3 fasi principali:
- Il coordinatore del gruppo, lato server, riceve l’assegnazione delle partizioni dai membri e calcola la nuova assegnazione per le partizioni dovute a un nuovo membro.
- Il coordinatore del gruppo comunica quali partizioni devono essere revocate e il consumatore ne dà conferma.
- La partizione può essere assegnata al nuovo membro del gruppo di consumatori.
Durante la festa serale, i nostri colleghi hanno gustato una buona birra e cibi internazionali mentre assistevano all’esibizione di Sam Aaron, musicista di live coding e creatore di Sonic Pi, con i suoi set musicali futuristici improvvisati attraverso la manipolazione di codice dal vivo.
Il Kafka Summit 2023 è stato un evento eccezionale che ha messo in mostra i progressi e le direzioni future dell’ecosistema Kafka, che continua a essere una forza trainante nell’abilitare lo streaming di dati in tempo reale e le architetture event-driven in un mondo sempre più incentrato sui dati.
Sicuramente non mancheremo all’edizione del prossimo anno! Se volete avere maggiori dettagli sul Kafka Summit 2023, vi invitiamo a leggere anche l’articolo della nostra consociata, Radicalbit.
Autori: Matteo Gazzetta, Team Lead Engineering di Bitrock e Daniele Bonelli, Team Lead Engineering di Bitrock
