Съдържание и теми, включени в курса
Преговор на основите на Apache Airflow
- Основни концепции: DAG-ове, задачи и оператори
- Архитектура и компоненти на Airflow
- Обобщение на типични случаи на употреба и работни потоци
Оптимизиране на производителността на работния поток
- Идентифициране на тесни места в Airflow тръбопроводи
- Техники за оптимизация на ниво задача
- Използване на повторни опити, паралелизъм и конкурентност на задачи
Управление на сложни зависимости
- Дефиниране на динамични зависимости в работни потоци
- Справяне с условни и разклоняващи се работни потоци
- Ефективно използване на групи задачи и под-DAG-ове
Разширени функции на Apache Airflow
- Създаване на персонализирани оператори и куки
- Внедряване на сензори за външни задействания
- Интегриране на услуги и плъгини на трети страни
Мащабиране на внедрявания на Apache Airflow
- Подходи за хоризонтално и вертикално мащабиране
- Използване на Celery Executors за разпределено изпълнение
- Най-добри практики за мащабиране в облачни среди
Мониторинг и отстраняване на грешки в работни потоци
- Конфигуриране на логване и предупреждения за мониторинг на работния поток
- Използване на потребителския интерфейс и командния ред на Airflow за отстраняване на неизправности
- Идентифициране и разрешаване на често срещани проблеми при внедрявания на Airflow
Осигуряване на сигурност в Apache Airflow
- Удостоверяване и контрол на достъпа в Airflow
- Защита на чувствителни данни и конфигурации на средата
- Внедряване на одитни следи за работни потоци
Корпоративни сценарии за употреба и най-добри практики
- Проектиране на стабилни работни потоци за производствени среди
- Използване на Airflow за инженеринг на данни и ETL тръбопроводи
- Разглеждане на казуси от реалния свят за мащабируеми внедрявания на Airflow
Обобщение и следващи стъпки
Изисквания
- Основни познания по Apache Airflow
- Познаване на програмирането с Python и концепциите за оркестриране на работни потоци
- Опит в управлението и внедряването на приложения в Linux среди
Аудитория
- Инженери по данни
- DevOps специалисти
- Софтуерни разработчици
Отзиви от участници (1)
Инструкторът адаптираше обучението според нивото на участниците и отговаряше на всички въпроси. Той беше много комуникативен, а взаимодействието с него беше лесно. Истински оцених формата на обучението, която включваше много практически упражнения. Общо казано, това беше много ангажираща и добре организирана сесия.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Курс - Apache Airflow: Building and Managing Data Pipelines
Машинен превод