План на курса
Раздел 1: Управление на данни в HDFS
- Различни формати на данни (JSON / Avro / Parquet)
- Схеми за сжимане
- Маскиране на данни
- Лаборатории: Анализ на различни формати на данни; включване на сжимане
Раздел 2: Разширен Pig
- Потребителски дефинирани функции
- Увод в библиотеките на Pig (ElephantBird / Data-Fu)
- Зареждане на сложни структурирани данни с използването на Pig
- Настройка на Pig
- Лаборатории: Разширен скриптинг с Pig, анализ на сложни типове данни
Раздел 3: Разширен Hive
- Потребителски дефинирани функции
- Сжимани таблици
- Настройка на производителността на Hive
- Лаборатории: Създаване на сжимани таблици, оценка на форматите и конфигурацията на таблици
Раздел 4: Разширен HBase
- Продвинати модели за схеми
- Сжимане
- Масовно внасяне на данни
- Сравнение между широки и дълги таблици
- HBase и Pig
- HBase и Hive
- Настройка на производителността на HBase
- Лаборатории: Настройка на HBase; достъп до данни от HBase с използване на Pig & Hive; Използване на Phoenix за моделиране на данни
Изисквания
- Запознат с Java програмния език (повечето програмни упражнения са на Java)
- Запознат с Linux околната среда (способността да навигирира по командния ред на Linux, да редактира файлове с използването на vi / nano)
- Работно знание за Hadoop.
Лабораторна среда
Нулева инсталация: Няма нужда от инсталиране на софтуер Hadoop в машините на студентите! Ще бъде предоставен работещ кластер с Hadoop за студентите.
Студентите ще имат нужда от следното
Отзиви от потребители (5)
Живите примери
Ahmet Bolat - Accenture Industrial SS
Курс - Python, Spark, and Hadoop for Big Data
Машинен превод
През упражненията Джеймс ми обясняваше всеки стъпка, когато се затруднявах, по-детайлно. Бях напълно нов за NIFI. Той обясни истинската цел на NIFI, дори и основите като отворен код. Джеймс разгледа всички концепции на Nifi, започвайки от Начинаещ ниво до Разработчик ниво.
Firdous Hashim Ali - MOD A BLOCK
Курс - Apache NiFi for Administrators
Машинен превод
Че го имам и във първата си опит.
Peter Scales - CACI Ltd
Курс - Apache NiFi for Developers
Машинен превод
практични неща за извършване, както и теорията беше добре представена от Аджей
Dominik Mazur - Capgemini Polska Sp. z o.o.
Курс - Hadoop Administration on MapR
Машинен превод
Виртуалната машина ми се спечели много добре. Преподавателят беше изключено компетентен както по темата, така и по другите теми, той беше много приятен и дружелюбен. Мне хареса обектът в Дубай.
Safar Alqahtani - Elm Information Security
Курс - Big Data Analytics in Health
Машинен превод