Kibana + Machine Learning – Kiedy sprzeda膰 auto? Analiza danych z rejestracji pojazd贸w 2014-2022

W poprzednim wpisie przedstawi艂em proces przygotowania danych dotycz膮cych rejestracji pojazd贸w w Polsce. W tym artykule zobaczysz analiz臋 danych za pomoc膮 Kibana. Dowiesz si臋 kt贸re miesi膮ce to najwi臋kszy ruch w bran偶y motoryzacyjnej, jakie wojew贸dztwa przoduj膮 w tym temacie i czy COVID mia艂 jaki艣 wi臋kszy wp艂yw.

Czytaj dalej 鈥濳ibana + Machine Learning – Kiedy sprzeda膰 auto? Analiza danych z rejestracji pojazd贸w 2014-2022鈥

Threat Hunting LOLBAS w Elastic Stack na 2 sposoby (go艣cinnie Jupyter)

Indeksowania danych do klastra Elastic Stack to dobry moment na wy艂uskanie warto艣ci z danych. W przypadku Threat Hunting‘u, dobrze przygotowane dane mog膮 znacznie przy艣pieszy膰 proces wyszukiwania zagro偶e艅 i anomalii. W artykule upro艣cimy wyszukiwanie proces贸w LOLBAS.

Czytaj dalej 鈥濼hreat Hunting LOLBAS w Elastic Stack na 2 sposoby (go艣cinnie Jupyter)鈥

Jak wykry膰 phishing – feed CERT Polska w SIEM Elastic Stack.

Phishing to oszutwo, w kt贸rym przest臋pca podszywa si臋 pod inn膮 osob臋 lub instytucj臋 w celu wy艂udzenia poufnych informacji lub pieni臋dzy. Zesp贸艂 CERT Polska chroni nas przed niebezpiecznymi stronami publikuj膮c listy. Dost臋pne s膮 w wielu formatach. Je艣li znajdziesz z艂o艣liw膮 stron臋, mo偶esz zg艂osi膰 to do CSIRT NASK. W artykule wykorzystamy wymieniony feed w SIEM Elastic Stack i spr贸bujemy co艣 wykry膰 馃榿.

Czytaj dalej 鈥濲ak wykry膰 phishing – feed CERT Polska w SIEM Elastic Stack.鈥

Big Data + Cyberbezpiecze艅stwo = Data-Driven SOC

Jak pewnie wiesz, na co dzie艅 艂膮cz臋 Big Data i Cybersecurity. Czy taka fuzja ma sens? Niekt贸rzy nie do ko艅ca rozumieli czemu przechodz臋 do CSIRT’u. Przecie偶 to r贸偶ne bajki. Oj byli w b艂臋dzie… wolumen danych jest ogromny. Jest te偶 sporo wyzwa艅. Zapraszam Ci臋 do mojego wywodu na ten temat 馃槈.

Czytaj dalej 鈥濨ig Data + Cyberbezpiecze艅stwo = Data-Driven SOC鈥

Deduplikacja zdarze艅 w Logstash i Redis

Deduplikacja to W systemach rozproszonych wyst臋puj膮 tylko dwa trudne problemy:

2. Dostarczenie wiadomo艣ci dok艂adnie raz
1. Gwarantowana kolejno艣膰 wiadomo艣ci
2. Dostarczenie wiadomo艣ci dok艂adnie raz.

Inny mi s艂owy: w tym wpisie zajmiemy si臋 deduplikacj膮 zdarze艅 馃榿. Ostatnio mia艂em z tym problem w SIEM’ie, wi臋c pad艂o na Logstash’a.

Czytaj dalej 鈥濪eduplikacja zdarze艅 w Logstash i Redis鈥

Elasticsearch Runtime fields, albo analiza “polskiej szlachty” na podstawie danych z Facebook w Kibana

Elastic wprowadzi艂 mechanizm Runtime fields, a Facebook’owi przydarzy艂 si臋 wyciek. Jest to dobry pretekst, aby przetestowa膰 jedno i przyjrze膰 si臋 drugiemu 馃榿. Szczeg贸艂y o wycieku znajdziesz w artykule Niebezpiecznika.

Czytaj dalej 鈥濫lasticsearch Runtime fields, albo analiza “polskiej szlachty” na podstawie danych z Facebook w Kibana鈥

Kolekcja log贸w w .NET Core z Serilog do Elasticsearch [nagranie]

W grudniu podzieli艂em si臋 swoim do艣wiadczeniem w ramach Wroc艂awskiej i Krakowskiej Grupy .NET. Zbieranie log贸w w aplikacji to wa偶ny aspekt jej utrzymania. Przy艣piesza diagnostyk臋 i pozwala wykry膰 w膮skie gard艂a. W przypadku .NET Core mamy do dyspozycji bibliotek臋 Serilog w kt贸rej w prosty spos贸b przekierujemy logi do klastra Elasticsearch.

Czytaj dalej 鈥濳olekcja log贸w w .NET Core z Serilog do Elasticsearch [nagranie]鈥

Jak postawi膰 klaster Elasticsearch? Fragment Kursu Elastic Stack

Najwi臋cej z聽Elasticsearch聽nauczy艂em si臋聽eksperymentuj膮c聽na聽klastrze. Nie potrzebujemy do tego聽farmy serwer贸w.聽Wystarczy nasz komputer i instalacja lokalnego klastra.

Czytaj dalej 鈥濲ak postawi膰 klaster Elasticsearch? Fragment Kursu Elastic Stack鈥

Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation)

Dane z Twitter mo偶na pozyska膰 na wiele sposob贸w, ale komu chce si臋 pisa膰 kod 馃槈. Szczeg贸lnie taki, kt贸ry b臋dzie dzia艂a艂 24/7. W Elastic Stack mo偶na w prosty spos贸b zbiera膰 i analizowa膰 dane z Twitter’a. Logstash ma gotowe wej艣cie do zbierania strumienia tweet’贸w. Kafka Connect omawiana w poprzednim artykule r贸wnie偶 ma tak膮 opcj臋, jednak Logstash mo偶e wysy艂a膰 dane do wielu 藕r贸de艂 (w tym do Apache Kafka) i jest prostszy w obs艂udze.

W artykule:

  • Zapis strumienia tweet贸w do Elasticsearch w Logstash’u
  • Wizualizacje w Kibana (Xbox vs PlayStation)
  • Usuni臋cie tag贸w HTML dla keyword’a mechanizmem normalizacji
Czytaj dalej 鈥濧naliza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation)鈥

Elastic SIEM w pigu艂ce (cz臋艣膰 2)

Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy si臋 zak艂adce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystuj膮c sprawdzone regu艂y. Przypomnijmy: Zainstalowali艣my Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszyn臋 z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), cho膰 w tym wpisie skupimy si臋 na tej drugiej.

Czytaj dalej 鈥濫lastic SIEM w pigu艂ce (cz臋艣膰 2)鈥