Zarządzanie danymi Big Data
kod szkolenia: BigData_ZARZ / PL AA 2d
Umiejętność gromadzenia i przetwarzania danych staje się coraz bardziej istotnym czynnikiem w rozwoju gospodarki i codziennym życiu. Big Data, czyli ogromne ilości zmieniających się danych
jest odpowiedzią na to zapotrzebowanie. Gromadzenie i przetwarzanie wymaga elastycznego podejścia do dostarczania, przetwarzania i utrwalania informacji przy wykorzystaniu różnorodnych narzędzi.Przetwarzanie oraz analiza Big Data to z biznesowego punktu widzenia niezwykle wartościowe przedsięwzięcia.
W trakcie szkolenia pokazany zostanie sposób gromadzenia oraz przetwarzania różnych typów danych na specjalnie przygotowanym środowisku chmurowym. Szkolenie obejmuje wykłady, ćwiczenia oraz projekt, którego realizacja w sposób praktyczny uczy pracy ze zbiorami Big Data.
Szkolenie jest skierowane do architektów, projektantów rozwiązań, anlityków i osób pracujących z danymi, którzy chcą poznać szeroki zakres możliwości, jakie niosą rozwiązania Big Data. Na szkoleniu podejmowana jest próba podziału rozwiązań Big Data na elementy składowe, poznania ich funkcjonalności oraz zestawienia tych elementów w całościowe rozwiązanie problemu. Omawiane są zarówno rozwiązania Open Source, jak również rozwiązania dostawców komercyjnych.
- zrozumienie terminu Big Data
- nabycie umiejętności wykorzystywania różnych narzędzi do gromadzenia, przechowywania i przetwarzania danych
- zapoznanie się z zagadnieniem strumieniowego przetwarzania danych i obsługi zdarzeń
- wiedza na temat funkcjonowania komponentów wchodzących w skład platformy Hadoop
- analiza danych z wykorzystaniem ogólnie dostępnych narzędzi
- poznanie koncepcji (IoT) i porównanie z Big Data
- poznanie różnic pomiędzy bazami danych NoSQL a relacyjnymi bazami danych
- poznanie narzędzi dostarczania danych: Kafka, NiFi, MQTT
Na szkoleniu nie jest wymagana wiedza programistyczna. Ćwiczenia będą przygotowane w taki sposób, żeby osoba poczatkująca mogła je zrealizować. Niezrealizowanie jednego z zadań nie będzie wykluczać zakończenia z sukcesem całego projektu.
- Szkolenie: polski
FORMA SZKOLENIA
Szkolenie będzie zawierać wykład, ćwiczenia i projekt. Temat omówiony na wykładzie zostanie poruszony omawiany na ćwiczeniach oraz znajdzie się w realizowanym projekcie. Uczestnik we własnym zakresie będzie realizował projekt, budując jego poszczególne elementy w przygotowanym środowisku chmurowym.
Dzień pierwszy
- Wprowadzenie do rozwiązań chmurowych
- Pozyskiwanie i transport danych (Wykład)
- Wymiana danych (Ćwiczenia)
- Przetwarzanie rozproszone MapReduce / HDFS (Wykład)
- Systemy przetwarzania rozproszonego na przykłądzie Hadoop-a (Ćwiczenia)
- Strumieniowe przetwarzanie danych i zdarzeń (Wykład) / (Ćwiczenia)
Dzień drugi
- Przechowywanie danych HDFS / Bazy danych NoSQL (Wykład)
- Jak działa Hadoop na przykładzie jednej z dystrybucji (Ćwiczenia)
- Bazy NoSQL (Ćwiczenia)
- Przygotowanie infrastruktury chmurowej do ćwiczeń i projektu (Ćwiczenia)
- Usługi chmurowe do przetwarzania danych (Ćwiczenia)
- Analiza i prezentacja danych (Ćwiczenia)
- Zakończenie projektu (Ćwiczenia)