План на курса

1: HDFS (17%)

    Опишете функцията на HDFS Daemons. Опишете нормалната работа на Apache Hadoop клъстер, както при съхранение на данни, така и при обработка на данни. Идентифицирайте текущите характеристики на изчислителните системи, които мотивират система като Apache Hadoop. Класифицирайте основните цели на дизайна на HDFS При даден сценарий идентифицирайте подходящ случай на употреба за HDFS федерация Идентифицирайте компоненти и демон на HDFS HA-Quorum клъстер Анализирайте ролята на сигурността на HDFS (Kerberos) Определяйте най-добрия избор за сериализиране на данни за даден сценарий Опишете четене на файл и пътеки за запис Идентифицирайте командите за манипулиране на файлове в Hadoop Shell на файловата система

2: YARN и MapReduce версия 2 (MRv2) (17%)

    Разберете как надграждането на клъстер от Hadoop 1 до Hadoop 2 засяга настройките на клъстера Разберете как да внедрите MapReduce v2 (MRv2 / YARN), включително всички YARN демони Разберете основната стратегия за проектиране за MapReduce v2 (MRv2) Определете как YARN обработва разпределението на ресурсите Идентифицирайте работния поток на заданието на MapReduce, изпълнявано на YARN. Определете кои файлове трябва да промените и как, за да мигрирате клъстер от MapReduce версия 1 (MRv1) към MapReduce версия 2 (MRv2), работещ на YARN.

3: Hadoop Клъстерно планиране (16%)

    Основни моменти, които трябва да имате предвид при избора на хардуер и операционни системи за хостване на Apache Hadoop клъстер. Анализирайте изборите при избора на операционна система Разберете настройката на ядрото и размяната на дискове При даден сценарий и модел на работно натоварване, идентифицирайте хардуерна конфигурация, подходяща за сценария При даден сценарий определете компонентите на екосистемата, които вашият клъстер трябва да изпълнява, за да изпълни SLA оразмеряването на клъстера: даден сценарий и честота на изпълнение, идентифицирайте спецификите за работното натоварване, включително CPU, памет, съхранение, I/O дисково оразмеряване и конфигурация, включително JBOD срещу RAID, SAN, виртуализация и изисквания за оразмеряване на диска в клъстер Мрежови топологии: разберете използването на мрежата в Hadoop (както за HDFS, така и за MapReduce) и предложете или идентифицирайте ключови компоненти на мрежовия дизайн за даден сценарий

4: Hadoop Инсталиране и администриране на клъстер (25%)

    Като се има предвид сценарий, идентифицирайте как клъстерът ще се справи с дискови и машинни повреди Анализирайте конфигурация за регистриране и файлов конфигурационен формат за регистриране Разберете основите на показателите на Hadoop и мониторинг на здравето на клъстера Идентифицирайте функцията и предназначението на наличните инструменти за мониторинг на клъстера Да можете да инсталирате всички компоненти на екосистемата в CDH 5, включително (но не само): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive и Pig Идентифицирайте функцията и предназначението на наличните инструменти за управление на файловата система Apache Hadoop

5: Ресурс Management (10%)

    Разберете общите цели на дизайна на всеки от Hadoop планировчици При даден сценарий определете как FIFO Scheduler разпределя клъстерни ресурси При даден сценарий определете как Fair Scheduler разпределя клъстерни ресурси под YARN При даден сценарий определете как Capacity Scheduler разпределя клъстерни ресурси

6: Наблюдение и регистриране (15%)

    Разберете функциите и характеристиките на способностите за събиране на метрики на Hadoop Анализирайте уеб интерфейсите на NameNode и JobTracker Разберете как да наблюдавате клъстерни демони Идентифицирайте и наблюдавайте използването на процесора на главните възли Опишете как да наблюдавате размяната и разпределението на паметта на всички възли Идентифицирайте как да преглеждате и управлявайте лог файловете на Hadoop Интерпретирайте лог файл

Изисквания

  • Основни Linux административни умения
  • Основни умения по програмиране
 35 Hours

Брой участници



Цена за участник

Oтзиви от потребители (3)

Свързани Kурсове

Introduction to Data Visualization with Tidyverse and R

7 Hours

Introduction to R

21 Hours

Свързани Kатегории