Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
План на курса
Въведение
- Apache Beam срещу MapReduce, Spark Streaming, Kafka Streaming, Storm и Flink
Инсталиране и конфигуриране Apache Beam
Преглед на Apache Beam функции и архитектура
- Beam Model, SDK, Beam Pipeline Runners Разпределени бек-ендове за обработка
Разбиране на модела Apache Beam Programming.
- Как се изпълнява тръбопровод
Изпълнение на примерен конвейер
- Подготовка на WordCount pipeline Локално изпълнение на Pipeline
Проектиране на тръбопровод
- Планиране на структурата, избор на трансформации и определяне на входните и изходните методи
Създаване на тръбопровода
- Писане на програмата на драйвера и дефиниране на тръбопровода Използване на Apache Beam класове Набори от данни, трансформации, I/O, кодиране на данни и др.
Изпълнение на тръбопровода
- Изпълнение на тръбопровода локално, на отдалечени машини и в публичен облак Избор на runner Конфигурации, специфични за runner
Тестване и отстраняване на грешки Apache Beam
- Използване на съвети за типове за емулиране на статично писане Управление на Python зависимости на конвейера
Обработка на ограничени и неограничени набори от данни
- Прозорци и тригери
Направете вашите тръбопроводи годни за многократна употреба и поддръжка
Създайте нови източници на данни и приемници
- Apache Beam API за източник и приемник
Интегриране на Apache Beam с други Big Data системи
- Apache Hadoop, Apache Spark, Apache Kafka
Отстраняване на неизправности
Обобщение и заключение
Изисквания
- Опит с Python програмиране.
- Опит с командния ред на Linux.
Публика
- Разработчици
14 Hours
Oтзиви от потребители (1)
Sufficient hands on, trainer is knowledgable