План на курса

Раздел 1: Въведение в Hadoop

    история на hadoop, концепции еко система дистрибуции високо ниво архитектура hadoop митове hadoop предизвикателства хардуерна / софтуерна лаборатория: първи поглед към Hadoop

Раздел 2: HDFS

    Концепции за дизайн и архитектура (хоризонтално мащабиране, репликация, локализация на данните, информираност за стелажи) Демони: Namenode, вторичен namenode, комуникации на възел с данни / път за четене/запис на интегритета на данните на сърдечния ритъм Namenode High Availability (HA), Federation labs: Взаимодействие с HDFS

Раздел 3: Намаляване на картата

    концепции и архитектурни демони (MRV1): jobtracker / tasktracker фази: драйвер, картограф, разбъркване/сортиране, редуктор Map Reduce Версия 1 и Версия 2 (YARN) Вътрешни елементи на Map Reduce Въведение в Java Лабораторни дейности на програмата Map Reduce: Изпълнение на примерен MapReduce програма

Секция 4: Прасе

    pig срещу java map намаляване на потока от задания на pig pig латински език ETL с Pig трансформации и присъединявания Потребителски дефинирани функции (UDF) лаборатории: писане на Pig скриптове за анализиране на данни

Раздел 5: Hive

    поддръжка на типове данни за архитектура и дизайн SQL в Hive Създаване на Hive таблици и дялове за заявки се присъединява към лаборатории за обработка на текст: различни лаборатории за обработка на данни с Hive

Раздел 6: HBase

    концепции и архитектура hbase срещу RDBMS срещу cassandra HBase Java API Данни за времеви редове на лаборатории за проектиране на схеми на HBase: Взаимодействие с HBase с помощта на обвивка; програмиране в HBase Java API ; Упражнение за проектиране на схема

Изисквания

  • удобно с езика за програмиране Java (повечето упражнения по програмиране са на java)
  • удобни в Linux среда (да можете да навигирате в Linux командния ред, да редактирате файлове с помощта на vi / nano)

Лабораторна среда

Нулева инсталация: Няма нужда да инсталирате софтуер hadoop на машините на учениците! За студентите ще бъде осигурен работещ hadoop клъстер.

Студентите ще имат нужда от следното

  • SSH клиент (Linux и Mac вече имат ssh клиенти, за Windows се препоръчва Putty)
  • браузър за достъп до клъстера. Препоръчваме браузър Firefox
  28 Hours
 

Брой участници


Започва

Свършва


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Oтзиви от потребители (3)

Свързани Kурсове

Hadoop For Administrators

  21 Hours

Samza for Stream Processing

  14 Hours

Datameer for Data Analysts

  14 Hours

Свързани Kатегории