План на курса

Въведение

    Apache Beam срещу MapReduce, Spark Streaming, Kafka Streaming, Storm и Flink

Инсталиране и конфигуриране Apache Beam

Преглед на Apache Beam функции и архитектура

    Beam Model, SDK, Beam Pipeline Runners Разпределени бек-ендове за обработка

Разбиране на модела Apache Beam Programming.

    Как се изпълнява тръбопровод

Изпълнение на примерен конвейер

    Подготовка на WordCount pipeline Локално изпълнение на Pipeline

Проектиране на тръбопровод

    Планиране на структурата, избор на трансформации и определяне на входните и изходните методи

Създаване на тръбопровода

    Писане на програмата на драйвера и дефиниране на тръбопровода Използване на Apache Beam класове Набори от данни, трансформации, I/O, кодиране на данни и др.

Изпълнение на тръбопровода

    Изпълнение на тръбопровода локално, на отдалечени машини и в публичен облак Избор на runner Конфигурации, специфични за runner

Тестване и отстраняване на грешки Apache Beam

    Използване на съвети за типове за емулиране на статично писане Управление на Python зависимости на конвейера

Обработка на ограничени и неограничени набори от данни

    Прозорци и тригери

Направете вашите тръбопроводи годни за многократна употреба и поддръжка

Създайте нови източници на данни и приемници

    Apache Beam API за източник и приемник

Интегриране на Apache Beam с други Big Data системи

    Apache Hadoop, Apache Spark, Apache Kafka

Отстраняване на неизправности

Обобщение и заключение

Изисквания

  • Опит с Python програмиране.
  • Опит с командния ред на Linux.

Публика

  • Разработчици
 14 Hours

Брой участници



Цена за участник

Oтзиви от потребители (1)

Свързани Kурсове

Building Kafka Solutions with Confluent

14 Hours

Stream Processing with Kafka Streams

7 Hours

Samza for Stream Processing

14 Hours

Apache Flink Fundamentals

28 Hours

Apache Storm

28 Hours

Apache Apex: Processing Big Data-in-Motion

21 Hours

Свързани Kатегории