План на курса
Въведение
Преглед на Spark Streaming функции и архитектура
- Поддържани източници на данни Основни API
Подготовка на околната среда
- Зависимости Spark и стрийминг контекст Свързване с Kafka
Обработка на съобщения
- Разбор на входящи съобщения като JSON ETL процеси Стартиране на поточния контекст
Изпълнение на Windowed Stream Processing
- Интервал на плъзгане Конфигурация на доставка на контролна точка Стартиране на средата
Създаване на прототип на кода за обработка
- Свързване към тема на Kafka Извличане на JSON от източник на данни с помощта на Paw Variations и допълнителна обработка
Поточно предаване на кода
- Променливи за контрол на работата Дефиниране на стойности, които да съответстват на функциите и условията
Придобиване на поточен изход
- Броячи Kafka изход (съвпадащи и несъвпадащи)
Отстраняване на неизправности
Обобщение и заключение
Изисквания
- Опит с Python и Apache Kafka
- Познаване на платформи за обработка на потоци
Публика
- Инженери по данни
- Учени по данни
- Програмисти
Oтзиви от потребители (5)
Примери/упражнения, перфектно адаптирани към нашата област
Luc - CS Group
Course - Scaling Data Analysis with Python and Dask
Machine Translated
Обучителят беше много на разположение, за да отговори на всички въпроси, които задавах
Caterina - Stamtech
Course - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Course - Build REST APIs with Python and Flask
Трансфер на практически знания и опит на обучителя.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Course - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.