Курс за обучение по A Practical Introduction to Stream Processing
Stream Processing refers to the real-time processing of "data in motion", that is, performing computations on data as it is being received. Such data is read as continuous streams from data sources such as sensor events, website user activity, financial trades, credit card swipes, click streams, etc. Stream Processing frameworks are able to read large volumes of incoming data and provide valuable insights almost instantaneously.
In this instructor-led, live training (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.
By the end of this training, participants will be able to:
- Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
- Understand and select the most appropriate framework for the job.
- Process of data continuously, concurrently, and in a record-by-record fashion.
- Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
- Integrate the most appropriate stream processing library with enterprise applications and microservices.
Audience
- Developers
- Software architects
Format of the Course
- Part lecture, part discussion, exercises and heavy hands-on practice
Notes
- To request a customized training for this course, please contact us to arrange.
План на курса
Introduction
- Stream processing vs batch processing
- Analytics-focused stream processing
Overview Frameworks and Programming Languages
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Comparison of Features and Strengths of Each Framework
Overview of Data Sources
- Live data as a series of events over time
- Historical data sources
Deployment Options
- In the cloud (AWS, etc.)
- On premise (private cloud, etc.)
Getting Started
- Setting up the Development Environment
- Installing and Configuring
- Assessing Your Data Analysis Needs
Operating a Streaming Framework
- Integrating the Streaming Framework with Big Data Tools
- Event Stream Processing (ESP) vs Complex Event Processing (CEP)
- Transforming the Input Data
- Inspecting the Output Data
- Integrating the Stream Processing Framework with Existing Applications and Microservices
Troubleshooting
Summary and Conclusion
Изисквания
- Programming experience in any language
- An understanding of Big Data concepts (Hadoop, etc.)
Отворените курсове за обучение изискват 5+ участника.
Курс за обучение по A Practical Introduction to Stream Processing - Booking
Курс за обучение по A Practical Introduction to Stream Processing - Enquiry
A Practical Introduction to Stream Processing - Консултантско запитване
Консултантско запитване
Отзиви от потребители (1)
Достъпен практическо обучение, треньорът е компетентен
Chris Tan
Курс - A Practical Introduction to Stream Processing
Машинен превод
Предстоящи Курсове
Свързани Kурсове
Apache Kafka Connect
7 часаТози воден курс, живо обучение в България (онлайн или на местопризовно място) е насочен към програмисти, които искат да интегрират Apache Kafka с съществуващи бази данни и приложения за обработка, анализ и т.н.
Към края на обучението участниците ще могат да:
- Използвайте Kafka Connect за изтегляне на голяма количество данни от база данни в теми на Kafka.
- Превеждайте логически данни, генерирани от сървъри на приложения, в теми на Kafka.
- Направете всички събраните данни налични за стрийм обработка.
- Експортирайте данни от теми на Kafka в вторични системи за съхраняване и анализ.
Building Kafka Solutions with Confluent
14 часаТова обучение с преподавател (онлайн или на място) е предназначено за инженери, които искат да използват Confluent (дистрибуция на Kafka), за да построят и управляват платформа за обработка на реално време за своите приложения.
По завършването на това обучение, участниците ще могат да:
- Инсталират и конфигурират платформата Confluent.
- Ползват управляващите инструменти и услуги на Confluent, за да работят с Kafka по-лесно.
- Съхраняват и обработват входящите потоци от данни.
- Оптимизират и управляват кластери на Kafka.
- Осигуряват защита на потоците от данни.
Формат на обучението
- Интерактивна лекция и дискусия.
- Много упражнения и практика.
- Ръчно изпълнение в жив лабораторен окръжението.
Опции за персонализиране на курса
- Този курс е базиран на отворения източник Confluent: Confluent Open Source.
- За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да обмислим условията.
Бълвене на данни с Apache Kafka
7 часаApache Kafka е разпределена стрийming платформа. Де факто тя е стандарт за изграждане на данни пайлини и решава много различни задачи във връзка с обработката на данни: може да се използва като съобщителен черпилник, разпределено дневник, стрийming процесор и т.н.
Ще започнем с теорията зад данните пайлини в общия случай, след което ще продължим с основните концепции на Kafka. Ще разгледаме също важни компоненти като Kafka Streams и Kafka Connect.
Разпределено съобщаване с Apache Kafka
14 часаТози курс е за предприятия архитекти, разработчици, системни администратори и всички, коito искат да разберат и използват система за дистрибуирано съобщаване с висока пропускаемост. Ако имате по-специфични изисквания (например само системна администрация), този курс може да бъде адаптиран, за да отговаря по-добре на вашите нужди.
Kafka за Администратори
21 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към системни администратори, които желаят да настроят, разположат, управляват и оптимизират Kafka клъстер от корпоративен клас.
До края на това обучение участниците ще могат:
- Настройте и администрирайте Kafka Cluster.
- Оценете предимствата и недостатъците на внедряването на Kafka локално срещу в облака.
- Разположете и наблюдавайте Kafka с помощта на различни инструменти за локална и облачна среда.
Apache Kafka за разработчици
21 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици на средно ниво, които желаят да разработват приложения за големи данни с Apache Kafka.
До края на това обучение участниците ще могат:
- Разработете производителите и потребителите на Kafka да изпращат и четат данни от Kafka. Интегрирайте Kafka с външни системи с помощта на Kafka Connect. Пишете стрийминг приложения с Kafka Streams & ksqlDB. Интегрирайте клиентско приложение на Kafka с Confluent Cloud за базирани на облак внедрявания на Kafka. Придобийте практически опит чрез практически упражнения и случаи на използване в реалния свят.
Apache Kafka за програмисти на Python
7 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери по данни, учени по данни и програмисти, които желаят да използват Apache Kafka функции в поточно предаване на данни с Python.
До края на това обучение участниците ще могат да използват Apache Kafka за наблюдение и управление на условията в непрекъснати потоци от данни, използвайки Python програмиране.
Безопасност за Apache Kafka
7 часаТози воден от инструктор обучаващ курс в България (онлайн или на място) е насочен към софтуерни тествери, които искат да внедят мерки за мрежова сигурност в приложение Apache Kafka.
По завършване на обучението участниците ще могат да:
- Разгъщане на Apache Kafka върху облачен сървър.
- Внедряване на SSL криптиране за предотвратяване на атаки.
- Добавяне на ACL аутентикация за отслежване и контрол на потребителски достъп.
- Гарантира, че вярните клиенти имат достъп до кластери Kafka с SSL и SASL аутентикация.
Апачи Кафка и Спринг Бут
7 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици на средно ниво, които желаят да научат основите на Kafka и да го интегрират с Spring Boot.
До края на това обучение участниците ще могат:
- Разберете Кафка и неговата архитектура.
- Научете как да инсталирате, конфигурирате и настройвате основна среда на Kafka.
- Интегрирайте Kafka с Spring Boot.
Stream Processing with Kafka Streams
7 часаKafka Streams е клиентска библиотека за изграждане на приложения и микросервизи, чиито данни се прехвърлят към и от системата за комуникация Kafka. Традиционно Apache Kafka се ползва с Apache Spark или Apache Storm за обработване на данните между изтеглителите на съобщения и потребителите им. Чрез извикване на API-то на Kafka Streams вътре в приложение, данните могат да бъдат обработени директно в Kafka, без нужда от прехвърляне към отделен кластер за обработка.
В този обучаван курс под ръководството на инструктор, участниците ще научат как да интегрират Kafka Streams в набор от примерни приложения на Java, които прехвърлят данни към и от Apache Kafka за потокова обработка.
Към края на обучението участниците ще могат да:
- Разберат функционалностите и предимствата на Kafka Streams спрямо други фреймворки за потокова обработка
- Обработват данни от потоци директно в кластер на Kafka
- Пишат приложение или микросервиз на Java или Scala, които интегрират с Kafka и Kafka Streams
- Пишат компактен код, който преобразува входящите теми от Kafka в изходящи теми на Kafka
- Градят, пакетират и развиват приложението
Публика
- Разработчици
Формат на курса
- Част лекция, част дискусия, упражнения и много практика с активно участие
Забележки
- За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да го организираме
Administration of Kafka Topic
14 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към системни администратори от ниво начинаещи до средно ниво, които желаят да се научат как ефективно да управляват темите на Kafka за ефективно поточно предаване и обработка на данни.
До края на това обучение участниците ще могат:
- Разберете основите и архитектурата на темата за Кафка.
- Създавайте, конфигурирайте и управлявайте теми на Kafka.
- Наблюдавайте темите на Kafka за здраве, производителност и наличност.
- Приложете мерки за сигурност за темите на Kafka.
SMACK Stack за Науки за Данни
14 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към специалисти по данни, които желаят да използват стека SMACK за изграждане на платформи за обработка на данни за решения за големи данни.
До края на това обучение участниците ще могат:
- Внедрете архитектура на тръбопровод за данни за обработка на големи данни.
- Разработете клъстерна инфраструктура с Apache Mesos и Docker.
- Анализирайте данните с Spark и Scala.
- Управлявайте неструктурирани данни с Apache Cassandra.
Python and Spark за големи данни (PySpark)
21 часаВ това водено от инструктор обучение на живо в България участниците ще се научат как да използват Python и Spark заедно, за да анализират големи данни, докато работят върху практически упражнения.
До края на това обучение участниците ще могат:
- Научете как да използвате Spark с Python за анализ на Big Data.
- Работете върху упражнения, които имитират случаи от реалния свят.
- Използвайте различни инструменти и техники за анализ на големи данни, използвайки PySpark.
Микросъобслужвания с Spring Cloud и Kafka
21 часаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да трансформират традиционната архитектура в архитектура, базирана на силно едновременни микроуслуги, използвайки Spring Cloud, Kafka, Docker, Kubernetes и Redis.
До края на това обучение участниците ще могат:
- Настройте необходимата среда за разработка за изграждане на микроуслуги.
- Проектиране и внедряване на висококонкурентна екосистема за микроуслуги, използвайки Spring Cloud, Kafka, Redis, Docker и Kubernetes.
- Трансформирайте монолитни и SOA услуги в архитектура, базирана на микроуслуги.
- Възприемете подход DevOps за разработване, тестване и пускане на софтуер.
- Осигурете висока едновременност между микроуслугите в производството.
- Наблюдавайте микроуслугите и прилагайте стратегии за възстановяване.
- Извършете настройка на производителността.
- Научете за бъдещите тенденции в архитектурата на микроуслугите.
Stratio: Rocket и Intelligence модули с PySpark
14 часаStratio е платформа, ориентирана към данни, която интегрира големи данни, ИИ и управление в едно решение. Нейните модули Rocket и Intelligence позволяват бързо изследване на данни, трансформация и напреднати анализи в корпоративни среди.
Това обучение, водено от инструктор (онлайн или на място), е предназначено за професионалисти на данни с средно ниво, които искат да използват модулите Rocket и Intelligence в Stratio ефективно с PySpark, със фокус върху циклични структури, потребителски определени функции и напреднати данни логики.
До края на това обучение участниците ще могат да:
- Навигация и работа с платформата Stratio с модулите Rocket и Intelligence.
- Прилагане на PySpark в контекста на взимане, трансформация и анализ на данни.
- Използване на цикъл и условна логика за контрол на работните процеси на данни и задачи за инженеринг на характеристики.
- Създаване и управление на потребителски определени функции (UDFs) за повтарящи се операции с данни в PySpark.
Формат на курса
- Интерактивни лекции и дискусии.
- Много упражнения и практика.
- Практически имплементации в среда на живо лаборатория.
Опции за персонализация на курса
- За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да организирате.