Deduplikacja zdarze艅 w Logstash i Redis

Deduplikacja to W systemach rozproszonych wyst臋puj膮 tylko dwa trudne problemy:

2. Dostarczenie wiadomo艣ci dok艂adnie raz
1. Gwarantowana kolejno艣膰 wiadomo艣ci
2. Dostarczenie wiadomo艣ci dok艂adnie raz.

Inny mi s艂owy: w tym wpisie zajmiemy si臋 deduplikacj膮 zdarze艅 馃榿. Ostatnio mia艂em z tym problem w SIEM’ie, wi臋c pad艂o na Logstash’a.

Czytaj dalej 鈥濪eduplikacja zdarze艅 w Logstash i Redis鈥

Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation)

Dane z Twitter mo偶na pozyska膰 na wiele sposob贸w, ale komu chce si臋 pisa膰 kod 馃槈. Szczeg贸lnie taki, kt贸ry b臋dzie dzia艂a艂 24/7. W Elastic Stack mo偶na w prosty spos贸b zbiera膰 i analizowa膰 dane z Twitter’a. Logstash ma gotowe wej艣cie do zbierania strumienia tweet’贸w. Kafka Connect omawiana w poprzednim artykule r贸wnie偶 ma tak膮 opcj臋, jednak Logstash mo偶e wysy艂a膰 dane do wielu 藕r贸de艂 (w tym do Apache Kafka) i jest prostszy w obs艂udze.

W artykule:

  • Zapis strumienia tweet贸w do Elasticsearch w Logstash’u
  • Wizualizacje w Kibana (Xbox vs PlayStation)
  • Usuni臋cie tag贸w HTML dla keyword’a mechanizmem normalizacji
Czytaj dalej 鈥濧naliza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation)鈥

Prosty mechanizm, kt贸ry zabezpieczy Ci kolektor log贸w np. Logstash

Planuj膮c system bierzemy pod uwag臋 ewentualne awarie (Design for Failure). W przypadku agregacji log贸w, opr贸cz rozwi膮za艅 typu Elasticsearch czy Splunk, korzystamy r贸wnie偶 z kolejek np. Apache Kafka. Dzia艂a w klastrze, pe艂ni rol臋 bufora i pozwala na zastosowanie wielu konsument贸w typu Logstash lub Fluentd. Czasami jednak zapominamy o zabezpieczeniu kolektora, kt贸ry zasila kolejk臋. W tym wpisie dowiesz si臋 jak u偶y膰 keepalived, by zapewni膰 failover.

Czytaj dalej 鈥濸rosty mechanizm, kt贸ry zabezpieczy Ci kolektor log贸w np. Logstash鈥

Wizualizacja autobus贸w w Elasticsearch i Kibana – podej艣cie strumieniowe – Kafka Streams, Logstash

Jest to drugie podej艣cie Wizualizacja autobus贸w w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcze艣niej program w Kafka Streams do obliczenia pr臋dko艣ci i orientacji autobus贸w, a nast臋pnie wrzuc臋 Logstash-em z Apache Kafka do Elasticsearch.

Czytaj dalej 鈥濿izualizacja autobus贸w w Elasticsearch i Kibana – podej艣cie strumieniowe – Kafka Streams, Logstash鈥