Jak Wyczy艣ci膰 Dane w Python Pandas – Pojazdy zarejestrowane w Polsce

Dzi臋ki projektowi Otwarte Dane mamy do dyspozycji 藕r贸d艂a udost臋pnione przez podmioty publiczne. W artykule przygotujemy i wyczy艣cimy Pojazdy zarejestrowane w Polsce w podziale na wojew贸dztwa za pomoc膮 Python i Pandas.

Czytaj dalej 鈥濲ak Wyczy艣ci膰 Dane w Python Pandas – Pojazdy zarejestrowane w Polsce鈥

10 najwa偶niejszych 藕r贸de艂 MITRE ATT&CK za pomoc膮 Pandas jedym klikiem

MITRE ATT&CK to 藕r贸d艂o wiedzy o taktykach i technikach adwersarzy. Jest wsp贸lnym j臋zykiem domenowym w 艣wiecie cyberbezpiecze艅stwa. Ka偶da organizacja jest inna, korzysta z innych system贸w operacyjnych i interesuje si臋 ni膮 inna grupa adwersarzy. W artykule wykorzystamy popularn膮 Python’ow膮 bibliotek臋 pandas i zrobimy prosty notebook.

Czytaj dalej 鈥10 najwa偶niejszych 藕r贸de艂 MITRE ATT&CK za pomoc膮 Pandas jedym klikiem鈥

Koalas, czyli PySpark w przebraniu Pandas

Jednym z podstawowych narz臋dzi Data Scientist jest Pandas. Niestety nadmiar danych mo偶e znacznie utrudni膰 nam zabaw臋. Dlatego powsta艂o Koalas. Biblioteka umo偶liwiaj膮ca korzystanie z Apache Spark w taki spos贸b, jakby艣my robili to za pomoc膮 Pandas.

Czytaj dalej 鈥濳oalas, czyli PySpark w przebraniu Pandas鈥

Wizualizacja map w Elasticsearch i Kibana – GPS komunikacji miejskiej

My艣lisz o analizie i wizualizacji danych geo? Czemu nie spr贸bowa膰 Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to ca艂y system, kt贸ry umo偶liwia przechowywanie, wyszukiwanie, analiz臋 i wizualizacj臋 danych z dowolnego 藕r贸d艂a w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomnia艂em o nich w tym artykule.

Czytaj dalej 鈥濿izualizacja map w Elasticsearch i Kibana – GPS komunikacji miejskiej鈥

Apache Airflow + Kafka – Zbieramy dane GPS komunikacji miejskiej

Dzi艣 przyjrzymy si臋 narz臋dziu, jakim jest Apache Airflow. Spr贸bujemy u偶y膰 dw贸ch operator贸w i zasili膰 kafk臋 danymi z API. Przy okazji rozpoczynam taki “mini projekcik”. Nie wiem jak Tobie, ale najlepiej poznaj臋 r贸偶ne technologie poprzez praktyk臋.

Czytaj dalej 鈥濧pache Airflow + Kafka – Zbieramy dane GPS komunikacji miejskiej鈥

Jak zosta膰 Ironmanem? Analiza CSV-ek w pandas

Mistrzostwa 艣wiata w Tri na dystansie Ironman za nami. Wsp贸艂zawodnictwo na Hawajach to marzenie ka偶dego ambitnego triathlonisty. Z tej okazji wzi膮艂em na warsztat wyniki zawod贸w triathlonowych na dystansie Ironman w latach 2005-2016 (436131 rekord贸w) znalezione na http://academictorrents.com. Do analizy wykorzysta艂em pythona, a wszczeg贸lno艣ci numpy, pandas oraz matplotlib.

Czytaj dalej 鈥濲ak zosta膰 Ironmanem? Analiza CSV-ek w pandas鈥