Wizualizacja autobus贸w w Elasticsearch i Kibana – podej艣cie strumieniowe – Kafka Streams, Logstash

Jest to drugie podej艣cie Wizualizacja autobus贸w w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcze艣niej program w Kafka Streams do obliczenia pr臋dko艣ci i orientacji autobus贸w, a nast臋pnie wrzuc臋 Logstash-em z Apache Kafka do Elasticsearch.

Czytaj dalej 鈥濿izualizacja autobus贸w w Elasticsearch i Kibana – podej艣cie strumieniowe – Kafka Streams, Logstash鈥

Kafka Streams 202 – Dockeryzacja aplikacji, czyli Kafka w kontenerze

Obrazy Dockera s膮 艂atwe w obs艂udze. Nie musimy instalowa膰 konkretnej wersji 艣rodowiska, bibliotek i innych zale偶no艣ci. Wszystko powinno by膰 zamkni臋te w abstrakcji zwanej kontenerem. Mo偶emy je uruchamia膰 i skalowa膰 w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy si臋 dockeryzacj膮 aplikacji Kafka Streams na przyk艂adzie strumienia dla lokalizacji autobus贸w ZTM przedstawionym w poprzednim wpisie.

Czytaj dalej 鈥濳afka Streams 202 – Dockeryzacja aplikacji, czyli Kafka w kontenerze鈥

Kafka Streams 201 鈥 Obliczanie pr臋dko艣ci, Processor API, KeyValueStore

Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy pr臋dko艣膰, kierunek i dystans pojazd贸w komunikacji miejskiej w Warszwie.

Czytaj dalej 鈥濳afka Streams 201 鈥 Obliczanie pr臋dko艣ci, Processor API, KeyValueStore鈥

Kafka Streams 103 – Pisz testy, zapomnij o Kafce

Nie wyobra偶am sobie programowania bez pisania test贸w. Gdy 艣pieszy mi si臋 i o nich “zapominam”, potem i tak poprawiam kod przez jak膮艣 g艂upot臋. Poprawiaj膮 jako艣膰 i przy艣pieszaj膮 czas tworzenia oprogramowania. Nie wierzysz?

Czytaj dalej 鈥濳afka Streams 103 – Pisz testy, zapomnij o Kafce鈥

Kafka Streams 102 – Wyj膮tki i Dead Letter Queue

B艂臋dy zdarzaj膮 si臋 ka偶demu. Pr臋dzej czy p贸藕niej nasza aplikacja Kafka Streams dostanie wiadomo艣膰, kt贸ra j膮 zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomo偶e, dop贸ki wiadomo艣膰 nie zniknie z kolejki. W tym wpisie spr贸bujemy obs艂u偶y膰 takie wiadomo艣ci i zapisa膰 je do Dead Letter Queue.

Czytaj dalej 鈥濳afka Streams 102 – Wyj膮tki i Dead Letter Queue鈥

Kafka Streams 101

Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak wi臋kszo艣膰 os贸b korzysta z Apache Kafka jako kolejki, czemu nie spr贸bowa膰 Kafka Streams? Jest to rozwi膮zanie skalowalne i nie wymaga specjalnych 艣rodowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna seri臋 wpis贸w dotycz膮cych Kafka Streams.

Czytaj dalej 鈥濳afka Streams 101鈥