Съдържание и теми, включени в курса
Въведение в Apache Airflow
- Какво е оркестрация на работни потоци
- Основни функции и предимства на Apache Airflow
- Подобрения в Airflow 2.x и преглед на екосистемата
Архитектура и основни концепции
- Планировчик, уеб сървър и работни процеси
- DAG-ове, задачи и оператори
- Изпълнители и бекенди (Local, Celery, Kubernetes)
Инсталация и настройка
- Инсталиране на Airflow в локални и облачни среди
- Конфигуриране на Airflow с различни изпълнители
- Настройка на бази данни за метаданни и връзки
Навигация в потребителския интерфейс и CLI на Airflow
- Изследване на уеб интерфейса на Airflow
- Наблюдение на DAG изпълнения, задачи и логове
- Използване на Airflow CLI за администриране
Създаване и управление на DAG-ове
- Създаване на DAG-ове с TaskFlow API
- Използване на оператори, сензори и куки
- Управление на зависимости и интервали за планиране
Интегриране на Airflow с услуги за данни и облак
- Свързване с бази данни, API-та и опашки за съобщения
- Изпълнение на ETL потоци с Airflow
- Облачни интеграции: оператори за AWS, GCP, Azure
Наблюдение и наблюдаемост
- Логове на задачите и наблюдение в реално време
- Метрики с Prometheus и Grafana
- Известяване и уведомления чрез имейл или Slack
Осигуряване на сигурност на Apache Airflow
- Контрол на достъп на база роли (RBAC)
- Удостоверяване с LDAP, OAuth и SSO
- Управление на тайни с Vault и облачни хранилища за тайни
Мащабиране на Apache Airflow
- Паралелизъм, конкурентност и опашки за задачи
- Използване на CeleryExecutor и KubernetesExecutor
- Внедряване на Airflow върху Kubernetes с Helm
Най-добри практики за производствена среда
- Контрол на версиите и CI/CD за DAG-ове
- Тестване и дебъгване на DAG-ове
- Поддържане на надеждност и производителност в мащаб
Отстраняване на проблеми и оптимизация
- Дебъгване на неуспешни DAG-ове и задачи
- Оптимизиране на производителността на DAG-ове
- Често срещани капани и как да ги избегнем
Обобщение и следващи стъпки
Изисквания
- Опит с програмиране на Python
- Запознатост с концепции за инженеринг на данни или DevOps
- Разбиране на ETL или оркестрация на работни потоци
Аудитория
- Учени по данни
- Инженери по данни
- Инженери по DevOps и инфраструктура
- Софтуерни разработчици
Отзиви от участници (7)
Инструкторът адаптираше обучението според нивото на участниците и отговаряше на всички въпроси. Той беше много комуникативен, а взаимодействието с него беше лесно. Истински оцених формата на обучението, която включваше много практически упражнения. Общо казано, това беше много ангажираща и добре организирана сесия.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Курс - Apache Airflow: Building and Managing Data Pipelines
Машинен превод
Обучението беше отлично. Много полезна теория и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше отлично по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше отлично по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
