Свържете се с нас

Съдържание и теми, включени в курса

Преговор на основите на Apache Airflow

  • Основни концепции: DAG, оператори и поток на изпълнение
  • Архитектура и компоненти на Airflow
  • Разбиране на разширени случаи на употреба и работни потоци

Създаване на персонализирани оператори

  • Разбиране на анатомията на оператор в Airflow
  • Разработване на персонализирани оператори за специфични задачи
  • Тестване и отстраняване на грешки при персонализирани оператори

Персонализирани hooks и сензори

  • Внедряване на hooks за интеграция с външни системи
  • Създаване на сензори за наблюдение на външни тригери
  • Подобряване на интерактивността на работния поток с персонализирани сензори

Разработване на добавки за Airflow

  • Разбиране на архитектурата на добавките
  • Проектиране на добавки за разширяване на функционалността на Airflow
  • Най-добри практики за управление и внедряване на добавки

Интегриране на Airflow с външни системи

  • Свързване на Airflow с бази данни, API и облачни услуги
  • Използване на Airflow за ETL работни потоци и обработка на данни в реално време
  • Управление на зависимости между Airflow и външни системи

Разширено отстраняване на грешки и наблюдение

  • Използване на логове и метрики на Airflow за отстраняване на проблеми
  • Конфигуриране на известия и нотификации за проблеми с работния поток
  • Използване на външни инструменти за наблюдение с Airflow

Оптимизиране на производителността и скалируемостта

  • Мащабиране на Airflow с Celery и Kubernetes Executors
  • Оптимизиране на използването на ресурси в сложни работни потоци
  • Стратегии за висока наличност и устойчивост на грешки

Казуси и приложения от реалния свят

  • Изследване на разширени случаи на употреба в data engineering и DevOps
  • Казус: Внедряване на персонализиран оператор за широкомащабен ETL
  • Най-добри практики за управление на работни потоци на корпоративно ниво

Обобщение и следващи стъпки

Изисквания

  • Задълбочено разбиране на основите на Apache Airflow, включително DAG, оператори и архитектура на изпълнение
  • Уверени умения в програмирането с Python
  • Опит в интегрирането на системи за данни и оркестрация на работни потоци

Аудитория

  • Data инженери
  • DevOps инженери
  • Софтуерни архитекти
 21 Часа

Брой участници


Цена за участник

Отзиви от участници (1)

Предстоящи Курсове

Свързани Kатегории