Съдържание и теми, включени в курса
Въведение в Apache Airflow
- Какво е оркестрация на работни потоци
- Основни функции и предимства на Apache Airflow
- Подобрения в Airflow 2.x и преглед на екосистемата
Архитектура и основни концепции
- Процеси на планировчика, уеб сървъра и работните процеси
- DAG, задачи и оператори
- Изпълнители и бекенди (Local, Celery, Kubernetes)
Инсталиране и настройка
- Инсталиране на Airflow в локални и облачни среди
- Конфигуриране на Airflow с различни изпълнители
- Настройка на бази данни за метаданни и връзки
Навигация в потребителския интерфейс и CLI на Airflow
- Разглеждане на уеб интерфейса на Airflow
- Наблюдение на DAG изпълнения, задачи и регистрационни файлове
- Използване на Airflow CLI за администриране
Създаване и управление на DAG
- Създаване на DAG с помощта на TaskFlow API
- Използване на оператори, сензори и кукички
- Управление на зависимости и интервали на планиране
Интегриране на Airflow с услуги за данни и облачни услуги
- Свързване с бази данни, API и опашки за съобщения
- Изпълнение на ETL потоци с Airflow
- Облачни интеграции: AWS, GCP, Azure оператори
Наблюдение и наблюдаемост
- Регистрационни файлове на задачи и наблюдение в реално време
- Метрики с Prometheus и Grafana
- Предупреждения и известия чрез имейл или Slack
Осигуряване на сигурността на Apache Airflow
- Контрол на достъпа, базиран на роли (RBAC)
- Удостоверяване с LDAP, OAuth и SSO
- Управление на тайни с Vault и облачни хранилища за тайни
Мащабиране на Apache Airflow
- Паралелизъм, конкурентност и опашки за задачи
- Използване на CeleryExecutor и KubernetesExecutor
- Внедряване на Airflow в Kubernetes с Helm
Най-добри практики за производствена среда
- Контрол на версиите и CI/CD за DAG
- Тестване и отстраняване на грешки в DAG
- Поддържане на надеждност и производителност в голям мащаб
Отстраняване на неизправности и оптимизация
- Отстраняване на грешки при неуспешни DAG и задачи
- Оптимизиране на производителността на DAG
- Често срещани капани и как да ги избегнем
Обобщение и следващи стъпки
Изисквания
- Опит с програмиране на Python
- Познаване на концепциите за data engineering или DevOps
- Разбиране на ETL или оркестрация на работни потоци
Аудитория
- Специалисти по данни
- Инженери по данни
- DevOps и инфраструктурни инженери
- Софтуерни разработчици
Отзиви от участници (7)
Инструкторът адаптираше обучението според нивото на участниците и отговаряше на всички въпроси. Той беше много комуникативен, а взаимодействието с него беше лесно. Истински оцених формата на обучението, която включваше много практически упражнения. Общо казано, това беше много ангажираща и добре организирана сесия.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Курс - Apache Airflow: Building and Managing Data Pipelines
Машинен превод
Обучението беше отлично. Много полезна теория и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше отлично по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше отлично по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
Обучението беше точно по всички аспекти. Полезни теоретични аспекти и упражнения.
Vladimir - PUBLIC COURSE
Курс - Apache Airflow
Машинен превод
