Курс за обучение по Уъркшоп за миграция към Databricks: От съхранени процедури към Lakehouse (5-дневен интензив)

Въведение, цели и стратегия за миграция

• Цели на курса, съответствие с профила на участниците и критерии за успех
• Високостепенни подходи за миграция и съображения за риска
• Настройка на работни пространства, хранилища и лабораторни набори от данни

Ден 1 — Основи на миграцията и архитектура

• Концепции за Lakehouse, преглед на Delta Lake и архитектура на Databricks
• Разлики между SMP и MPP и последици за миграцията
• Проектиране на Medallion (Bronze→Silver→Gold) и преглед на Unity Catalog

Лабораторно упражнение Ден 1 — Трансформиране на съхранена процедура

• Практическа миграция на примерна съхранена процедура към notebook
• Трансформиране на временни таблици и курсори в DataFrame трансформации
• Валидиране и сравнение с оригиналния изход

Ден 2 — Разширени възможности на Delta Lake и инкрементално зареждане

• ACID транзакции, журнали на транзакциите, версиониране и Time Travel
• Auto Loader, модели MERGE INTO, upserts и еволюция на схемата
• OPTIMIZE, VACUUM, Z-ORDER, партициониране и настройка на съхранението

Лабораторно упражнение Ден 2 — Инкрементално поглъщане и оптимизация

• Внедряване на поглъщане с Auto Loader и MERGE работни потоци
• Прилагане на OPTIMIZE, Z-ORDER и VACUUM; валидиране на резултатите
• Измерване на подобрения в производителността при четене и запис

Ден 3 — SQL в Databricks, производителност и отстраняване на грешки

• Аналитични SQL функции: прозоречни функции, функции от по-висок ред, работа с JSON/масиви
• Разчитане на Spark UI, DAGs, shuffles, stages, tasks и диагностика на тесни места
• Модели за настройка на заявки: broadcast joins, hints, кеширане и намаляване на spill

Лабораторно упражнение Ден 3 — Преработка на SQL и настройка на производителността

• Преработка на тежък SQL процес в оптимизиран Spark SQL
• Използване на следи от Spark UI за идентифициране и отстраняване на проблеми с изкривяване и shuffle
• Бенчмарк на състоянието преди и след и документиране на стъпките за настройка

Ден 4 — Тактически PySpark: Замяна на процедурна логика

• Модел на изпълнение на Spark: драйвер, изпълнители, мързеливо оценяване и стратегии за партициониране
• Трансформиране на цикли и курсори във векторизирани операции с DataFrame
• Модуляризация, UDFs/pandas UDFs, widgets и библиотеки за многократна употреба

Лабораторно упражнение Ден 4 — Преработка на процедурни скриптове

• Преработка на процедурен ETL скрипт в модулни PySpark notebooks
• Въвеждане на параметризация, тестове от тип unit и функции за многократна употреба
• Преглед на кода и прилагане на чеклист с най-добри практики

Ден 5 — Оркестрация, цялостен пайплайн и най-добри практики

• Databricks Workflows: дизайн на задачи, зависимости между задачи, тригери и обработка на грешки
• Проектиране на инкрементални Medallion пайплайни с правила за качество и валидация на схемата
• Интеграция с Git (GitHub/Azure DevOps), CI и стратегии за тестване на PySpark логика

Лабораторно упражнение Ден 5 — Изграждане на пълен цялостен пайплайн

• Сглобяване на Bronze→Silver→Gold пайплайн, оркестриран с Workflows
• Внедряване на логване, одитиране, повторни опити и автоматизирани валидации
• Изпълнение на целия пайплайн, валидиране на изходите и подготовка на бележки за внедряване

Операционализация, управление и готовност за продукционна среда

• Управление с Unity Catalog, произход на данните и най-добри практики за контрол на достъпа
• Модели за разходи, оразмеряване на клъстери, автомащабиране и конкурентност на задачи
• Чеклистове за внедряване, стратегии за откат и създаване на runbook

Финален преглед, трансфер на знания и следващи стъпки

• Презентации на участниците за миграционната работа и научените уроци
• Анализ на пропуските, препоръчителни последващи дейности и предаване на обучителни материали
• Препратки, допълнителни пътеки за обучение и опции за поддръжка