W artykule dowiesz się dwóch oryginalnych sposobów na zmniejszenie danych w Elasticsearch nawet o 67%.
Czytaj dalej „Sprytny sposób na oszczędność miejsca w Elasticsearch”Tag: Elastic Stack
Kibana + Machine Learning – Kiedy sprzedać auto? Analiza danych z rejestracji pojazdów 2014-2022
W poprzednim wpisie przedstawiłem proces przygotowania danych dotyczących rejestracji pojazdów w Polsce. W tym artykule zobaczysz analizę danych za pomocą Kibana. Dowiesz się które miesiące to największy ruch w branży motoryzacyjnej, jakie województwa przodują w tym temacie i czy COVID miał jakiś większy wpływ.
Czytaj dalej „Kibana + Machine Learning – Kiedy sprzedać auto? Analiza danych z rejestracji pojazdów 2014-2022”Threat Hunting LOLBAS w Elastic Stack na 2 sposoby (gościnnie Jupyter)
Indeksowania danych do klastra Elastic Stack to dobry moment na wyłuskanie wartości z danych. W przypadku Threat Hunting‘u, dobrze przygotowane dane mogą znacznie przyśpieszyć proces wyszukiwania zagrożeń i anomalii. W artykule uprościmy wyszukiwanie procesów LOLBAS.
Czytaj dalej „Threat Hunting LOLBAS w Elastic Stack na 2 sposoby (gościnnie Jupyter)”Jak wykryć phishing – feed CERT Polska w SIEM Elastic Stack.
Phishing to oszutwo, w którym przestępca podszywa się pod inną osobę lub instytucję w celu wyłudzenia poufnych informacji lub pieniędzy. Zespół CERT Polska chroni nas przed niebezpiecznymi stronami publikując listy. Dostępne są w wielu formatach. Jeśli znajdziesz złośliwą stronę, możesz zgłosić to do CSIRT NASK. W artykule wykorzystamy wymieniony feed w SIEM Elastic Stack i spróbujemy coś wykryć 😁.
Czytaj dalej „Jak wykryć phishing – feed CERT Polska w SIEM Elastic Stack.”Big Data + Cyberbezpieczeństwo = Data-Driven SOC
Jak pewnie wiesz, na co dzień łączę Big Data i Cybersecurity. Czy taka fuzja ma sens? Niektórzy nie do końca rozumieli czemu przechodzę do CSIRT’u. Przecież to różne bajki. Oj byli w błędzie… wolumen danych jest ogromny. Jest też sporo wyzwań. Zapraszam Cię do mojego wywodu na ten temat 😉.
Czytaj dalej „Big Data + Cyberbezpieczeństwo = Data-Driven SOC”Deduplikacja zdarzeń w Logstash i Redis
Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy:
2. Dostarczenie wiadomości dokładnie raz
1. Gwarantowana kolejność wiadomości
2. Dostarczenie wiadomości dokładnie raz.
Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.
Elasticsearch Runtime fields, albo analiza “polskiej szlachty” na podstawie danych z Facebook w Kibana
Elastic wprowadził mechanizm Runtime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry pretekst, aby przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.
Czytaj dalej „Elasticsearch Runtime fields, albo analiza “polskiej szlachty” na podstawie danych z Facebook w Kibana”Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]
![Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]](https://wiadrodanych.pl/wp-content/uploads/2021/02/Kopia-Kopia-Minio-1-1200x675.jpg)
W grudniu podzieliłem się swoim doświadczeniem w ramach Wrocławskiej i Krakowskiej Grupy .NET. Zbieranie logów w aplikacji to ważny aspekt jej utrzymania. Przyśpiesza diagnostykę i pozwala wykryć wąskie gardła. W przypadku .NET Core mamy do dyspozycji bibliotekę Serilog w której w prosty sposób przekierujemy logi do klastra Elasticsearch.
Czytaj dalej „Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]”Jak postawić klaster Elasticsearch? Fragment Kursu Elastic Stack
Najwięcej z Elasticsearch nauczyłem się eksperymentując na klastrze. Nie potrzebujemy do tego farmy serwerów. Wystarczy nasz komputer i instalacja lokalnego klastra.
Czytaj dalej „Jak postawić klaster Elasticsearch? Fragment Kursu Elastic Stack”Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation)
Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.
W artykule:
- Zapis strumienia tweetów do Elasticsearch w Logstash’u
- Wizualizacje w Kibana (Xbox vs PlayStation)
- Usunięcie tagów HTML dla keyword’a mechanizmem normalizacji