MinIO – Big Data bez Hadoop/HDFS?

MinIO to rozproszony storage implementuj膮cy API AWS S3. Mo偶na go wdro偶y膰 na 艣rodowiskach on-premises. Jest przygotowany pod Kubernetes. Stanowi ciekaw膮 alternatyw臋 dla 艣rodowisk opartych o HDFS i reszt臋 ekosystemu Hadoop. W ko艅cu Kubernetes staje si臋 coraz ciekawsz膮 alternatyw膮 YARN-a dla Apache Spark. W tym wpisie zapoznamy si臋 z lokalnie postawionym MinIO na docker-compose i wykonamy kilka operacji w Sparku.

Czytaj dalej 鈥濵inIO – Big Data bez Hadoop/HDFS?鈥

Problem ma艂ych plik贸w w HDFS

Korzystanie z HDFS bardzo przypomina korzystanie ze zwyk艂ego systemu plik贸w z u偶yciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawi膮c si臋 kolejnymi technologiami Big Data mo偶na zapomnie膰 si臋 i potraktowa膰 HDFS jak zwyk艂y dysk.

Czytaj dalej 鈥濸roblem ma艂ych plik贸w w HDFS鈥