Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.
Czytaj dalej „Apache Spark – 2 Kroki do Lepszej Utylizacji Zasobów”Miesiąc: luty 2021
Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]
![Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]](https://wiadrodanych.pl/wp-content/uploads/2021/02/Kopia-Kopia-Minio-1-1200x675.jpg)
W grudniu podzieliłem się swoim doświadczeniem w ramach Wrocławskiej i Krakowskiej Grupy .NET. Zbieranie logów w aplikacji to ważny aspekt jej utrzymania. Przyśpiesza diagnostykę i pozwala wykryć wąskie gardła. W przypadku .NET Core mamy do dyspozycji bibliotekę Serilog w której w prosty sposób przekierujemy logi do klastra Elasticsearch.
Czytaj dalej „Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]”Stream Processing – There’s no time like the present [nagranie]
![Stream Processing – There’s no time like the present [nagranie]](https://wiadrodanych.pl/wp-content/uploads/2021/02/Przechwytywanie-1200x671.png)
Nagranie z mojego wystąpienia o przetwarzaniu strumieniowym w ramach DataOps Poland. Klasyczne podejście polegające na przetwarzaniu wsadowym nie zawsze się sprawdza. Wartość informacji maleje wraz z upływem czasu. Musimy wybrać kompromis pomiędzy szybkością, a dokładnością wyników. Z nagrania dowiesz się, dlaczego warto zainteresować się przetwarzaniem strumieniowym i jakie niesie ze sobą problemy.
Czytaj dalej „Stream Processing – There’s no time like the present [nagranie]”