Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Преглед на Apache Airflow Основи
- Основни концепции: DAG, задачи и оператори
- Архитектура и компоненти на въздушния поток
- Резюме на обичайните случаи на употреба и работни процеси
Оптимизиране на производителността на работния процес
- Идентифициране на тесните места в тръбопроводите на въздушния поток
- Техники за оптимизация на ниво задача
- Използване на повторни опити за задачи, паралелизъм и едновременност
Управление на сложни зависимости
- Дефиниране на динамични зависимости в работните процеси
- Работа с условни и разклоняващи се работни потоци
- Ефективно използване на групи задачи и под-DAG
Разширени функции в Apache Airflow
- Създаване на потребителски оператори и кукички
- Внедряване на сензори за външни тригери
- Интегриране на услуги и плъгини на трети страни
Мащабиране Apache Airflow Внедрявания
- Подходи за хоризонтално и вертикално мащабиране
- Използване на Celery Executors за разпределено изпълнение
- Най-добри практики за мащабиране в облачни среди
Работни потоци за наблюдение и отстраняване на грешки
- Конфигуриране на регистриране и предупреждения за наблюдение на работния процес
- Използване на потребителския интерфейс на Airflow и CLI за отстраняване на неизправности
- Идентифициране и разрешаване на често срещани проблеми при внедряването на Airflow
Обезопасяване Apache Airflow
- Удостоверяване и контрол на достъпа в Airflow
- Защита на чувствителни данни и конфигурации на средата
- Внедряване на одитни пътеки за работни потоци
Предприятия Use Case и най-добри практики
- Проектиране на стабилни работни процеси за производствени среди
- Използване на Airflow за инженеринг на данни и ETL тръбопроводи
- Проучване на казуси от реалния свят на мащабируеми внедрявания на Airflow
Обобщение и следващи стъпки
Изисквания
- Основни познания по Apache Airflow
- Познаване на Python концепции за програмиране и оркестрация на работния процес
- Опит в управлението и внедряването на приложения в Linux среди
Публика
- Инженери по данни
- DevOps професионалисти
- Разработчици на софтуер
21 Часа