Analiza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch

W poprzednim wpisie udokumentowa艂em utworzenie przep艂ywu danych wykorzystuj膮cego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam ju偶 wystarczaj膮c膮 ilo艣膰 danych, aby przekona膰 si臋 jakie mo偶liwo艣ci analizy danych transportu miejskiego umo偶liwia Elasticsearch i Kibana.

Czytaj dalej 鈥濧naliza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch鈥

Kafka Streams 202 – Dockeryzacja aplikacji, czyli Kafka w kontenerze

Obrazy Dockera s膮 艂atwe w obs艂udze. Nie musimy instalowa膰 konkretnej wersji 艣rodowiska, bibliotek i innych zale偶no艣ci. Wszystko powinno by膰 zamkni臋te w abstrakcji zwanej kontenerem. Mo偶emy je uruchamia膰 i skalowa膰 w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy si臋 dockeryzacj膮 aplikacji Kafka Streams na przyk艂adzie strumienia dla lokalizacji autobus贸w ZTM przedstawionym w poprzednim wpisie.

Czytaj dalej 鈥濳afka Streams 202 – Dockeryzacja aplikacji, czyli Kafka w kontenerze鈥

Wizualizacja map w Elasticsearch i Kibana – GPS komunikacji miejskiej

My艣lisz o analizie i wizualizacji danych geo? Czemu nie spr贸bowa膰 Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to ca艂y system, kt贸ry umo偶liwia przechowywanie, wyszukiwanie, analiz臋 i wizualizacj臋 danych z dowolnego 藕r贸d艂a w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomnia艂em o nich w tym artykule.

Czytaj dalej 鈥濿izualizacja map w Elasticsearch i Kibana – GPS komunikacji miejskiej鈥

Obliczanie pr臋dko艣ci w Apache Spark – GPS komunikacji miejskiej

W poprzednim po艣cie utworzyli艣my strumie艅 danych lokalizacji pojazd贸w komunikacji miejskiej na jednym z topic贸w w Apache Kafka. Teraz dorwiemy si臋 do tego strumienia z poziomu Apache Spark, zapiszemy troch臋 danych na HDFS i zobaczymy czy da si臋 co艣 z nimi zrobi膰.

Czytaj dalej 鈥濷bliczanie pr臋dko艣ci w Apache Spark – GPS komunikacji miejskiej鈥