Съдържание и теми, включени в курса
Основи на NiFi и потоците от данни
- Данни в движение срещу данни в покой: концепции и предизвикателства
- Архитектура на NiFi: ядра, контролер на потоци, произход и бюлетин
- Ключови компоненти: процесори, връзки, контролери и произход
Контекст на големи данни и интеграция
- Роля на NiFi в екосистемите за големи данни (Hadoop, Kafka, облачно съхранение)
- Преглед на HDFS, MapReduce и съвременни алтернативи
- Случаи на употреба: приемане на потоци, изпращане на логове, конвейери за събития
Инсталиране, конфигуриране и настройка на клъстер
- Инсталиране на NiFi на единичен възел и в клъстерен режим
- Конфигурация на клъстер: роли на възли, Zookeeper и балансиране на натоварването
- Оркестриране на внедрявания на NiFi: използване на Ansible, Docker или Helm
Проектиране и управление на потоци от данни
- Маршрутизиране, филтриране, разделяне и обединяване на потоци
- Конфигурация на процесори (InvokeHTTP, QueryRecord, PutDatabaseRecord и др.)
- Обработка на схема, обогатяване и трансформационни операции
- Обработка на грешки, връзки за повторен опит и обратно налягане
Сценарии за интеграция
- Свързване към бази данни, системи за съобщения, REST API
- Предаване на потоци към аналитични системи: Kafka, Elasticsearch или облачно съхранение
- Интегриране със Splunk, Prometheus или конвейери за логове
Наблюдение, възстановяване и произход
- Използване на потребителския интерфейс на NiFi, метрики и визуализатор на произход
- Проектиране на автономно възстановяване и грациозна обработка на откази
- Резервно копиране, версиониране на потоци и управление на промени
Настройка на производителността и оптимизация
- Настройка на JVM, памет (heap), пулове от нишки и параметри на клъстериране
- Оптимизиране на дизайна на потоците за намаляване на тесните места
- Изолиране на ресурси, приоритизиране на потоци и контрол на пропускателната способност
Най-добри практики и управление
- Документиране на потоци, стандарти за именуване, модулен дизайн
- Сигурност: TLS, удостоверяване, контрол на достъпа, криптиране на данни
- Контрол на промените, версиониране, достъп, базиран на роли, одитни следи
Отстраняване на проблеми и реакция при инциденти
- Често срещани проблеми: блокирания (deadlocks), изтичане на памет, грешки в процесори
- Анализ на логове, диагностика на грешки и разследване на първопричината
- Стратегии за възстановяване и връщане на потоци
Практическа лабораторна работа: Реалистично внедряване на конвейер за данни
- Изграждане на поток от край до край: приемане, трансформация, доставка
- Внедряване на обработка на грешки, обратно налягане и скалиране
- Тестване на производителността и настройка на конвейера
Обобщение и следващи стъпки
Изисквания
- Опит с командния ред на Linux
- Основно разбиране на мрежови концепции и системи за данни
- Познания за потоци от данни или ETL концепции
Аудитория
- Системни администратори
- Инженери по данни
- Разработчици
- DevOps специалисти
Отзиви от участници (7)
Практически упражнения. Класът трябваше да бъде на 5 дни, но и 3 дни помогнаха значително за разяснение на много въпроси, които имах от работата с NiFi.
James - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Смятах, че темпото на тренера беше задоволително. Той не остави никой студент назад с подхода си. Беше много поддържащ към нас НОВАЦИТЕ, които може да не са имали ролята на системен администратор или инфраструктурен специалист по време на кariерата си, или възстановиха тези умения от предходен период на кариерата си.
Pamdrea Ivory - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Ми ми хареса практическата част. Тя ми помогна по-ефективно да запаметявам информацията, извършвайки предложените упражнения. Освен това, способността на инструктора да комуникира с целия клас ме направи по-уютно да задавам въпроси за неща, които не разбирах.
Leila - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Сценарии за употреба и примери за създаване на данни потоци с NiFi. Работихме над разрешаването на обикновени проблеми и скрити сложности.
Nelson - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Обичах структурата. На първия ден се запознахме с основите на NiFi, концепции, приложения и т.н. На втория ден приложихме знанията от първия ден, създавайки потоци за изпълнение на конкретни сценарии. На третия ден разгледахме NiFi Registry, версионно управление, многопотребителска поддръжка и проведохме Q&A.
Adam - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Ми ми хареса както той обясни за NiFi и колко е мощен. По същество, можете да го използвате за всяка инфраструктура и да използвате много различни компютърни езици. Бях също радостно удивен, че успяхме да решим проблема с обновяването на сертификата NiFi, който имахме с Truststore.
Joachim Martin - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
общи познания и възможностите, които обучението предлага относно инструмента.
Nalfis Tobar - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
