Курс за обучение по Kafka за администратори

Основи на администрирането на Kafka

• Мястото на Kafka в съвременната платформа за данни и типични производствени отговорности
• Основни концепции за операторите: брокери, теми, дялове, отмествания, потребителски групи
• Основи на репликацията: лидери и последователи, синхронизирани реплики, компромиси с наличността
• Оперативни акценти на Kafka и обща терминология, използвана в ръководствата за действие

KRaft режим и дизайн на клъстера

• Основи на KRaft: контролери, кворум на метаданните, избори и защо това е важно от оперативна гледна точка
• Планиране на внедряването: оразмеряване спрямо пропускателна способност, дялове, задържане и растеж
• Роли и разположение на възлите: комбинирани срещу специални контролери, съображения за домейни на грешки
• Лабораторно упражнение: проверка на KRaft метаданни, валидиране на здравето на кворума и интерпретиране на логове на контролера

Инсталиране, конфигурация и ежедневни операции

• Подходи за инсталиране (пакети, tarball, контейнери) и какво да се стандартизира в корпоративни среди
• Ключова конфигурация на брокера, която оказва влияние върху надеждността: слушатели, репликация, директории за логове, задържане
• Безопасни операции на услугите: ред на стартиране, плавно изключване и проверки за валидация
• Лабораторно упражнение: внедряване на клъстер с множество възли, проверка на регистрацията на брокерите и потвърждаване на базовата способност за създаване и консумиране

Управление на теми, дялове и разполагане на данни

• Жизнен цикъл на темите чрез Kafka CLI: създаване, описание, актуализиране на конфигурации, изтриване
• Избор на дялове и фактори на репликация за реални натоварвания, включително често срещани анти-модели
• Преразпределяне и балансиране: кога да премествате дялове и как безопасно да проверявате напредъка
• Лабораторно упражнение: създаване на теми, задействане на преразпределяне на дял, симулиране на прекъсване на брокер и потвърждаване на възстановяването

Осигуряване на Kafka за продукционна среда

• TLS за трафик между клиенти и между брокери: сертификати, вериги на доверие и стъпки за валидиране
• Автентикация със SASL: избор на общи механизми и избягване на грешна конфигурация
• Авторизация с ACL: модели с минимални привилегии за администратори, издатели и консуматори
• Лабораторно упражнение: активиране на TLS и SASL, валидиране на свързаността на клиента и прилагане на ACL за роли на приложения

Наблюдаемост, надеждност и отстраняване на проблеми

• Основи на наблюдението: здраве на контролера, недостатъчно реплицирани дялове, латентност на заявките, насищане на диска и мрежата
• Логове и метрики: четене на логове на брокера и излагане на метрики чрез JMX експортер към общи стекове за наблюдаемост
• Оперативни ръководства: последователни рестарти, безопасни промени в конфигурацията, справяне с пълен диск и проблеми с ISR
• Лабораторно упражнение: създаване на минимален набор от аларми, диагностициране на влошено състояние на клъстер и възстановяване на здравословна репликация

Надстройки и готовност за възстановяване при бедствие

• Планиране на надстройка на Kafka: проверки за съвместимост, етапно внедряване и подход за връщане назад
• Очаквания за архивиране и възстановяване: какво може да се архивира, какво не може и основи на възстановяване на конфигурацията
• Преглед на репликацията между клъстери и кога да се използва MirrorMaker 2 за DR и миграции
• Заключение: оперативен контролен списък, артефакти за предаване и следващи стъпки за продукционно внедряване