Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Преговор на основите на Apache Airflow
- Основни концепции: DAG, оператори и поток на изпълнение
- Архитектура и компоненти на Airflow
- Разбиране на разширени случаи на употреба и работни потоци
Създаване на персонализирани оператори
- Разбиране на анатомията на оператор в Airflow
- Разработване на персонализирани оператори за специфични задачи
- Тестване и отстраняване на грешки при персонализирани оператори
Персонализирани hooks и сензори
- Внедряване на hooks за интеграция с външни системи
- Създаване на сензори за наблюдение на външни тригери
- Подобряване на интерактивността на работния поток с персонализирани сензори
Разработване на добавки за Airflow
- Разбиране на архитектурата на добавките
- Проектиране на добавки за разширяване на функционалността на Airflow
- Най-добри практики за управление и внедряване на добавки
Интегриране на Airflow с външни системи
- Свързване на Airflow с бази данни, API и облачни услуги
- Използване на Airflow за ETL работни потоци и обработка на данни в реално време
- Управление на зависимости между Airflow и външни системи
Разширено отстраняване на грешки и наблюдение
- Използване на логове и метрики на Airflow за отстраняване на проблеми
- Конфигуриране на известия и нотификации за проблеми с работния поток
- Използване на външни инструменти за наблюдение с Airflow
Оптимизиране на производителността и скалируемостта
- Мащабиране на Airflow с Celery и Kubernetes Executors
- Оптимизиране на използването на ресурси в сложни работни потоци
- Стратегии за висока наличност и устойчивост на грешки
Казуси и приложения от реалния свят
- Изследване на разширени случаи на употреба в data engineering и DevOps
- Казус: Внедряване на персонализиран оператор за широкомащабен ETL
- Най-добри практики за управление на работни потоци на корпоративно ниво
Обобщение и следващи стъпки
Изисквания
- Задълбочено разбиране на основите на Apache Airflow, включително DAG, оператори и архитектура на изпълнение
- Уверени умения в програмирането с Python
- Опит в интегрирането на системи за данни и оркестрация на работни потоци
Аудитория
- Data инженери
- DevOps инженери
- Софтуерни архитекти
21 Часа
Отзиви от участници (1)
Инструкторът адаптираше обучението според нивото на участниците и отговаряше на всички въпроси. Той беше много комуникативен, а взаимодействието с него беше лесно. Истински оцених формата на обучението, която включваше много практически упражнения. Общо казано, това беше много ангажираща и добре организирана сесия.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Курс - Apache Airflow: Building and Managing Data Pipelines
Машинен превод