План на курса

Преглед на Apache Airflow Основи

  • Основни концепции: DAG, задачи и оператори
  • Архитектура и компоненти на въздушния поток
  • Резюме на обичайните случаи на употреба и работни процеси

Оптимизиране на производителността на работния процес

  • Идентифициране на тесните места в тръбопроводите на въздушния поток
  • Техники за оптимизация на ниво задача
  • Използване на повторни опити за задачи, паралелизъм и едновременност

Управление на сложни зависимости

  • Дефиниране на динамични зависимости в работните процеси
  • Работа с условни и разклоняващи се работни потоци
  • Ефективно използване на групи задачи и под-DAG

Разширени функции в Apache Airflow

  • Създаване на потребителски оператори и кукички
  • Внедряване на сензори за външни тригери
  • Интегриране на услуги и плъгини на трети страни

Мащабиране Apache Airflow Внедрявания

  • Подходи за хоризонтално и вертикално мащабиране
  • Използване на Celery Executors за разпределено изпълнение
  • Най-добри практики за мащабиране в облачни среди

Работни потоци за наблюдение и отстраняване на грешки

  • Конфигуриране на регистриране и предупреждения за наблюдение на работния процес
  • Използване на потребителския интерфейс на Airflow и CLI за отстраняване на неизправности
  • Идентифициране и разрешаване на често срещани проблеми при внедряването на Airflow

Обезопасяване Apache Airflow

  • Удостоверяване и контрол на достъпа в Airflow
  • Защита на чувствителни данни и конфигурации на средата
  • Внедряване на одитни пътеки за работни потоци

Предприятия Use Case и най-добри практики

  • Проектиране на стабилни работни процеси за производствени среди
  • Използване на Airflow за инженеринг на данни и ETL тръбопроводи
  • Проучване на казуси от реалния свят на мащабируеми внедрявания на Airflow

Обобщение и следващи стъпки

Изисквания

  • Основни познания по Apache Airflow
  • Познаване на Python концепции за програмиране и оркестрация на работния процес
  • Опит в управлението и внедряването на приложения в Linux среди

Публика

  • Инженери по данни
  • DevOps професионалисти
  • Разработчици на софтуер
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории