Apache Spark – 2 Kroki do Lepszej Utylizacji Zasobów

Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.

Czytaj dalej Apache Spark – 2 Kroki do Lepszej Utylizacji Zasobów

Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]

W grudniu podzieliłem się swoim doświadczeniem w ramach Wrocławskiej i Krakowskiej Grupy .NET. Zbieranie logów w aplikacji to ważny aspekt jej utrzymania. Przyśpiesza diagnostykę i pozwala wykryć wąskie gardła. W przypadku .NET Core mamy do dyspozycji bibliotekę Serilog w której w prosty sposób przekierujemy logi do klastra Elasticsearch.

Czytaj dalej Kolekcja logów w .NET Core z Serilog do Elasticsearch [nagranie]

Stream Processing – There’s no time like the present [nagranie]

Nagranie z mojego wystąpienia o przetwarzaniu strumieniowym w ramach DataOps Poland. Klasyczne podejście polegające na przetwarzaniu wsadowym nie zawsze się sprawdza. Wartość informacji maleje wraz z upływem czasu. Musimy wybrać kompromis pomiędzy szybkością, a dokładnością wyników. Z nagrania dowiesz się, dlaczego warto zainteresować się przetwarzaniem strumieniowym i jakie niesie ze sobą problemy.

Czytaj dalej Stream Processing – There’s no time like the present [nagranie]