План на курса

1: HDFS (17%)

  • Опишете функцията на демоните на HDFS
  • Опишете нормалната работа на кластер на Apache Hadoop, както за съхранение на данни, така и за обработка на данни.
  • Идентифицирайте текущи характеристики на компютърни системи, които мотивират система като Apache Hadoop.
  • Класифицирайте основните цели на дизайна на HDFS
  • При даден сценарий, идентифицирайте подходящ случай за използване на HDFS Federation
  • Идентифицирайте компонентите и демоните на HDFS HA-Quorum кластер
  • Анализирайте ролята на сигурността на HDFS (Kerberos)
  • Определете най-добрия избор за сериализация на данни за даден сценарий
  • Опишете пътя за четене и записване на файлове
  • Идентифицирайте командите за манипулиране на файлове в Shell на Hadoop файлова система

2: YARN и MapReduce версия 2 (MRv2) (17%)

  • Разберете как обновяването на кластер от Hadoop 1 до Hadoop 2 влияе на настройките на кластера
  • Разберете как да развернете MapReduce v2 (MRv2 / YARN), включително всички демони на YARN
  • Разберете основната стратегия за дизайн на MapReduce v2 (MRv2)
  • Определете как YARN управлява разпределението на ресурси
  • Идентифицирайте работния процес на работа с MapReduce на YARN
  • Определете кои файлове трябва да промените и как, за да мигрирате кластер от версия 1 на MapReduce (MRv1) към версия 2 на MapReduce (MRv2) работащи на YARN.

3: Планиране на Hadoop кластер (16%)

  • Основните точки за разглеждане при избор на хардуер и операционни системи за домакинство на кластер на Apache Hadoop.
  • Анализирайте избора при избор на ОС
  • Разберете настройката на ядрото и смяната на дискове
  • При даден сценарий и шаблон на работна заетост, идентифицирайте конфигурация на хардуер, подходяща за сценария
  • При даден сценарий, определете компонентите на екосистемата, които кластерът ви е нуждае да изпълни SLA
  • Размери на кластера: при даден сценарий и честота на изпълнение, идентифицирайте детайлите за работната заетост, включително CPU, памет, съхранение, дисково в/из
  • Размери и конфигурации на дискове, включително JBOD срещу RAID, SANs, виртуализация и изисквания за размери на дискове в кластер
  • Мрежови топологии: разберете използването на мрежата в Hadoop (за и HDFS, и MapReduce) и предложете или идентифицирайте ключови компоненти за дизайн на мрежа за даден сценарий

4: Инсталиране и администрация на Hadoop кластер (25%)

  • При даден сценарий, идентифицирайте как кластерът ще се справи с грешки на диск и машини
  • Анализирайте конфигурацията за записване в лог и формата на файл за конфигурацията за записване в лог
  • Разберете основата на метриките на Hadoop и мониторинга на здравето на кластера
  • Идентифицирайте функцията и целта на наличните инструменти за мониторинг на кластера
  • Можете да инсталирате всички компоненти на екосистемата в CDH 5, включително (но не ограничавайки се до): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive, и Pig
  • Идентифицирайте функцията и целта на наличните инструменти за управление на файловата система на Apache Hadoop

5: Management ресурси (10%)

  • Разберете общото предназначение на всеки от Hadoop планирачите
  • При даден сценарий, определете как планирачът FIFO разпределя ресурсите на кластера
  • При даден сценарий, определете как планирачът Fair разпределя ресурсите на кластера под YARN
  • При даден сценарий, определете как планирачът Capacity разпределя ресурсите на кластера

6: Мониторинг и записване в лог (15%)

  • Разберете функциите и възможностите на възможностите за събиране на метрики на Hadoop
  • Анализирайте уеб интерфейсите на NameNode и JobTracker
  • Разберете как да мониторирате демоните на кластера
  • Идентифицирайте и мониторирайте използването на CPU на мастер нодове
  • Опишете как да мониторирате swap и разпределението на паметта на всички нодове
  • Идентифицирайте как да прегледате и управлявате лог файловете на Hadoop
  • Интерпретирайте лог файл

Изисквания

  • Основни умения за Linux администрация
  • Основни умения за програмиране
 35 Часа

Брой участници


Цена за участник

Oтзиви от потребители (3)

Предстоящи Курсове

Свързани Kатегории