Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
1: HDFS (17%)
- Опишете функцията на демоните на HDFS
- Опишете нормалната работа на кластер на Apache Hadoop, както за съхранение на данни, така и за обработка на данни.
- Идентифицирайте текущи характеристики на компютърни системи, които мотивират система като Apache Hadoop.
- Класифицирайте основните цели на дизайна на HDFS
- При даден сценарий, идентифицирайте подходящ случай за използване на HDFS Federation
- Идентифицирайте компонентите и демоните на HDFS HA-Quorum кластер
- Анализирайте ролята на сигурността на HDFS (Kerberos)
- Определете най-добрия избор за сериализация на данни за даден сценарий
- Опишете пътя за четене и записване на файлове
- Идентифицирайте командите за манипулиране на файлове в Shell на Hadoop файлова система
2: YARN и MapReduce версия 2 (MRv2) (17%)
- Разберете как обновяването на кластер от Hadoop 1 до Hadoop 2 влияе на настройките на кластера
- Разберете как да развернете MapReduce v2 (MRv2 / YARN), включително всички демони на YARN
- Разберете основната стратегия за дизайн на MapReduce v2 (MRv2)
- Определете как YARN управлява разпределението на ресурси
- Идентифицирайте работния процес на работа с MapReduce на YARN
- Определете кои файлове трябва да промените и как, за да мигрирате кластер от версия 1 на MapReduce (MRv1) към версия 2 на MapReduce (MRv2) работащи на YARN.
3: Планиране на Hadoop кластер (16%)
- Основните точки за разглеждане при избор на хардуер и операционни системи за домакинство на кластер на Apache Hadoop.
- Анализирайте избора при избор на ОС
- Разберете настройката на ядрото и смяната на дискове
- При даден сценарий и шаблон на работна заетост, идентифицирайте конфигурация на хардуер, подходяща за сценария
- При даден сценарий, определете компонентите на екосистемата, които кластерът ви е нуждае да изпълни SLA
- Размери на кластера: при даден сценарий и честота на изпълнение, идентифицирайте детайлите за работната заетост, включително CPU, памет, съхранение, дисково в/из
- Размери и конфигурации на дискове, включително JBOD срещу RAID, SANs, виртуализация и изисквания за размери на дискове в кластер
- Мрежови топологии: разберете използването на мрежата в Hadoop (за и HDFS, и MapReduce) и предложете или идентифицирайте ключови компоненти за дизайн на мрежа за даден сценарий
4: Инсталиране и администрация на Hadoop кластер (25%)
- При даден сценарий, идентифицирайте как кластерът ще се справи с грешки на диск и машини
- Анализирайте конфигурацията за записване в лог и формата на файл за конфигурацията за записване в лог
- Разберете основата на метриките на Hadoop и мониторинга на здравето на кластера
- Идентифицирайте функцията и целта на наличните инструменти за мониторинг на кластера
- Можете да инсталирате всички компоненти на екосистемата в CDH 5, включително (но не ограничавайки се до): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive, и Pig
- Идентифицирайте функцията и целта на наличните инструменти за управление на файловата система на Apache Hadoop
5: Management ресурси (10%)
- Разберете общото предназначение на всеки от Hadoop планирачите
- При даден сценарий, определете как планирачът FIFO разпределя ресурсите на кластера
- При даден сценарий, определете как планирачът Fair разпределя ресурсите на кластера под YARN
- При даден сценарий, определете как планирачът Capacity разпределя ресурсите на кластера
6: Мониторинг и записване в лог (15%)
- Разберете функциите и възможностите на възможностите за събиране на метрики на Hadoop
- Анализирайте уеб интерфейсите на NameNode и JobTracker
- Разберете как да мониторирате демоните на кластера
- Идентифицирайте и мониторирайте използването на CPU на мастер нодове
- Опишете как да мониторирате swap и разпределението на паметта на всички нодове
- Идентифицирайте как да прегледате и управлявате лог файловете на Hadoop
- Интерпретирайте лог файл
Изисквания
- Основни умения за Linux администрация
- Основни умения за програмиране
35 Часа
Oтзиви от потребители (3)
I genuinely enjoyed the many hands-on sessions.
Jacek Pieczatka
Курс - Administrator Training for Apache Hadoop
Машинен превод
I genuinely enjoyed the big competences of Trainer.
Grzegorz Gorski
Курс - Administrator Training for Apache Hadoop
Машинен превод
I mostly liked the trainer giving real live Examples.
Simon Hahn
Курс - Administrator Training for Apache Hadoop
Машинен превод