Съдържание и теми, включени в курса
Основи на NiFi и потоците от данни
- Данни в движение срещу данни в покой: концепции и предизвикателства
- Архитектура на NiFi: ядра, контролер на потоци, проверка на произход и бюлетин
- Ключови компоненти: процесори, връзки, контролери и проверка на произход
Контекст на големи данни и интеграция
- Роля на NiFi в екосистемите за големи данни (Hadoop, Kafka, облачно съхранение)
- Преглед на HDFS, MapReduce и съвременни алтернативи
- Случаи на употреба: поглъщане на потоци, препращане на логове, конвейери за събития
Инсталация, конфигурация и настройка на клъстер
- Инсталиране на NiFi в режим на един възел и в режим на клъстер
- Конфигурация на клъстер: роли на възлите, Zookeeper и балансиране на натоварването
- Оркестриране на внедрявания на NiFi: използване на Ansible, Docker или Helm
Проектиране и управление на потоци от данни
- Маршрутизиране, филтриране, разделяне и обединяване на потоци
- Конфигурация на процесори (InvokeHTTP, QueryRecord, PutDatabaseRecord и др.)
- Работа със схеми, обогатяване и операции по трансформация
- Обработка на грешки, връзки за повторен опит и обратно налягане
Интеграционни сценарии
- Свързване към бази данни, системи за съобщения, REST API
- Поточно предаване към аналитични системи: Kafka, Elasticsearch или облачно съхранение
- Интеграция със Splunk, Prometheus или конвейери за логове
Наблюдение, възстановяване и проверка на произход
- Използване на NiFi потребителския интерфейс, метрики и визуализатор на произхода
- Проектиране на автономно възстановяване и грациозна обработка на откази
- Резервни копия, версиониране на потоци и управление на промените
Настройка на производителността и оптимизация
- Настройка на JVM, heap, пулове от нишки и параметри на клъстериране
- Оптимизиране на дизайна на потоците за намаляване на тесните места
- Изолиране на ресурси, приоритизиране на потоци и контрол на пропускателната способност
Най-добри практики и управление
- Документиране на потоци, стандарти за именуване, модулен дизайн
- Сигурност: TLS, удостоверяване, контрол на достъпа, криптиране на данни
- Контрол на промените, версиониране, достъп, базиран на роли, одитни следи
Отстраняване на проблеми и реакция при инциденти
- Често срещани проблеми: блокирания, изтичания на памет, грешки в процесорите
- Анализ на логове, диагностика на грешки и разследване на първопричините
- Стратегии за възстановяване и връщане на потоци назад
Практическа лаборатория: реалистична реализация на конвейер за данни
- Изграждане на поток от край до край: поглъщане, трансформация, доставка
- Внедряване на обработка на грешки, обратно налягане и мащабиране
- Тестване на производителността и настройка на конвейера
Обобщение и следващи стъпки
Изисквания
- Опит с команден ред на Linux
- Основно разбиране на мрежи и системи за данни
- Запознатост с концепции за потоци от данни или ETL
Аудитория
- Системни администратори
- Инженери по данни
- Разработчици
- DevOps специалисти
Отзиви от участници (7)
Практически упражнения. Класът трябваше да бъде на 5 дни, но и 3 дни помогнаха значително за разяснение на много въпроси, които имах от работата с NiFi.
James - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Смятах, че темпото на тренера беше задоволително. Той не остави никой студент назад с подхода си. Беше много поддържащ към нас НОВАЦИТЕ, които може да не са имали ролята на системен администратор или инфраструктурен специалист по време на кariерата си, или възстановиха тези умения от предходен период на кариерата си.
Pamdrea Ivory - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Ми ми хареса практическата част. Тя ми помогна по-ефективно да запаметявам информацията, извършвайки предложените упражнения. Освен това, способността на инструктора да комуникира с целия клас ме направи по-уютно да задавам въпроси за неща, които не разбирах.
Leila - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Сценарии за употреба и примери за създаване на данни потоци с NiFi. Работихме над разрешаването на обикновени проблеми и скрити сложности.
Nelson - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Обичах структурата. На първия ден се запознахме с основите на NiFi, концепции, приложения и т.н. На втория ден приложихме знанията от първия ден, създавайки потоци за изпълнение на конкретни сценарии. На третия ден разгледахме NiFi Registry, версионно управление, многопотребителска поддръжка и проведохме Q&A.
Adam - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
Ми ми хареса както той обясни за NiFi и колко е мощен. По същество, можете да го използвате за всяка инфраструктура и да използвате много различни компютърни езици. Бях също радостно удивен, че успяхме да решим проблема с обновяването на сертификата NiFi, който имахме с Truststore.
Joachim Martin - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
общи познания и възможностите, които обучението предлага относно инструмента.
Nalfis Tobar - BHG Financial
Курс - Apache NiFi for Administrators
Машинен превод
