План на курса

Раздел 1: Въведение в Hadoop

    история на hadoop, концепции еко система дистрибуции високо ниво архитектура hadoop митове hadoop предизвикателства хардуерна / софтуерна лаборатория: първи поглед към Hadoop

Раздел 2: HDFS

    Концепции за дизайн и архитектура (хоризонтално мащабиране, репликация, локализация на данните, информираност за стелажи) Демони: Namenode, вторичен namenode, комуникации на възел с данни / път за четене/запис на интегритета на данните на сърдечния ритъм Namenode High Availability (HA), Federation labs: Взаимодействие с HDFS

Раздел 3: Намаляване на картата

    концепции и архитектурни демони (MRV1): jobtracker / tasktracker фази: драйвер, картограф, разбъркване/сортиране, редуктор Map Reduce Версия 1 и Версия 2 (YARN) Вътрешни елементи на Map Reduce Въведение в Java Лабораторни дейности на програмата Map Reduce: Изпълнение на примерен MapReduce програма

Секция 4: Прасе

    pig срещу java map намаляване на потока от задания на pig pig латински език ETL с Pig трансформации и присъединявания Потребителски дефинирани функции (UDF) лаборатории: писане на Pig скриптове за анализиране на данни

Раздел 5: Hive

    поддръжка на типове данни за архитектура и дизайн SQL в Hive Създаване на Hive таблици и дялове за заявки се присъединява към лаборатории за обработка на текст: различни лаборатории за обработка на данни с Hive

Раздел 6: HBase

    концепции и архитектура hbase срещу RDBMS срещу cassandra HBase Java API Данни за времеви редове на лаборатории за проектиране на схеми на HBase: Взаимодействие с HBase с помощта на обвивка; програмиране в HBase Java API ; Упражнение за проектиране на схема

Изисквания

  • удобно с езика за програмиране Java (повечето упражнения по програмиране са на java)
  • удобни в Linux среда (да можете да навигирате в Linux командния ред, да редактирате файлове с помощта на vi / nano)

Лабораторна среда

Нулева инсталация: Няма нужда да инсталирате софтуер hadoop на машините на учениците! За студентите ще бъде осигурен работещ hadoop клъстер.

Студентите ще имат нужда от следното

  • SSH клиент (Linux и Mac вече имат ssh клиенти, за Windows се препоръчва Putty)
  • браузър за достъп до клъстера. Препоръчваме браузър Firefox
 28 Hours

Брой участници



Цена за участник

Oтзиви от потребители (3)

Свързани Kурсове

Hadoop For Administrators

21 Hours

Samza for Stream Processing

14 Hours

Datameer for Data Analysts

14 Hours

Свързани Kатегории