План на курса
- Въведение Hadoop история, концепции Екосистемни дистрибуции Архитектура на високо ниво Hadoop митове Hadoop предизвикателства (хардуер / софтуер) Лаборатории: обсъдете вашите проекти и проблеми с големи данни
- Операции на HDFS Концепции (хоризонтално мащабиране, репликация, локализация на данните, информираност за стелажи) Възли и демони (NameNode, Secondary NameNode, HA Standby NameNode, DataNode) Мониторинг на здравето Администриране, базирано на команден ред и браузър Добавяне на хранилище, подмяна на дефектни дискове Лаборатории: запознаване с HDFS командни редове
- Операции и администриране на MapReduce Паралелно изчисление преди mapreduce: сравнете HPC срещу Hadoop администрация MapReduce клъстер зарежда възли и демони (JobTracker, TaskTracker) MapReduce UI преминава през конфигурацията на Mapreduce Конфигурация на работа Оптимизиране на MapReduce Fool-proofing MR: какво да кажете на програмистите си Labs: работи Примери за MapReduce
- Разширени теми Наблюдение на хардуер Наблюдение на клъстери Добавяне и премахване на сървъри, надграждане Hadoop Архивиране, възстановяване и планиране на непрекъснатост на бизнеса Работни потоци на Oozie Hadoop висока достъпност (HA) Hadoop Федерация Защита на вашия клъстер с Kerberos Labs: настройте наблюдение
Изисквания
- удобни с основно Linux системно администриране
- основни умения за писане на скриптове
Не се изискват познания по Hadoop и разпределени изчисления, но ще бъдат въведени и обяснени в курса.
Лабораторна среда
Нулева инсталация: Няма нужда да инсталирате софтуер hadoop на машините на учениците! За студентите ще бъде осигурен работещ hadoop клъстер.
Студентите ще имат нужда от следното
- SSH клиент (Linux и Mac вече имат ssh клиенти, за Windows се препоръчва Putty)
- браузър за достъп до клъстера. Препоръчваме браузър Firefox с инсталирано разширение FoxyProxy
Oтзиви от потребители (6)
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Course - Data Analysis with Hive/HiveQL
Many hands-on sessions.
Jacek Pieczątka
Course - Administrator Training for Apache Hadoop
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Course - Big Data Analytics in Health
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.
vyzVoice
Course - Hadoop for Developers and Administrators
practical things of doing, also theory was served good by Ajay