Курс за обучение по A Practical Introduction to Stream Processing
Поточната обработка се отнася до обработката в реално време на „данни в движение“, т.е. извършване на изчисления върху данните, докато се получават. Такива данни се четат като непрекъснати потоци от източници на данни като събития на сензори, потребителска активност на уебсайтове, финансови сделки, плъзгания на кредитни карти, потоци от кликвания и т.н. Рамките за обработка на потоци са в състояние да четат големи обеми входящи данни и да предоставят ценна информация почти мигновено.
В това обучение на живо, ръководено от инструктор (на място или дистанционно), участниците ще се научат как да настройват и интегрират различни Stream Processing рамки със съществуващи системи за съхранение на големи данни и свързани софтуерни приложения и микроуслуги.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте различни Stream Processing рамки, като Spark Streaming и Kafka Streaming. Разберете и изберете най-подходящата рамка за работата. Обработка на данни непрекъснато, едновременно и по начин запис по запис. Интегрирайте Stream Processing решения със съществуващи бази данни, хранилища за данни, езера от данни и др. Интегрирайте най-подходящата библиотека за обработка на потоци с корпоративни приложения и микроуслуги.
Публика
- Разработчици Софтуерни архитекти
Формат на курса
- Част лекция, част дискусия, упражнения и тежка практическа практика
Бележки
- За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да уговорим.
План на курса
Въведение
- Обработка на поток срещу групова обработка Обработка на поток, фокусирана върху Анализ
Общ преглед Рамки и Programming езици
- Spark Streaming (Scala) Kafka Streaming (Java) Flink Storm Сравнение на характеристиките и силните страни на всяка рамка
Преглед на източниците на данни
- Данни на живо като поредица от събития във времето Източници на исторически данни
Опции за разполагане
- В облака (AWS и т.н.) На място (частен облак и т.н.)
Приготвяме се да започнем
- Настройване на средата за разработка Инсталиране и конфигуриране Оценяване на вашите Data Analysis нужди
Работа с рамка за поточно предаване
- Интегриране на рамката за поточно предаване с инструменти за големи данни Събитие Stream Processing (ESP) срещу обработка на сложни събития (CEP) Трансформиране на входните данни Проверка на изходните данни Интегриране на Stream Processing рамката със съществуващи приложения и микроуслуги
Отстраняване на неизправности
Обобщение и заключение
Изисквания
- Programming опит във всеки език
- Разбиране на концепциите за големи данни (Hadoop и др.)
Отворените курсове за обучение изискват 5+ участници.
Курс за обучение по A Practical Introduction to Stream Processing - Booking
Курс за обучение по A Practical Introduction to Stream Processing - Enquiry
A Practical Introduction to Stream Processing - Консултантско запитване
Консултантско запитване
Oтзиви от потребители (1)
Sufficient hands on, trainer is knowledgable
Chris Tan
Курс - A Practical Introduction to Stream Processing
Предстоящи Курсове
Свързани Kурсове
Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
21 ЧасаТози курс е предназначен за разработчици и специалисти по данни, които искат да разберат и внедрят изкуствения интелект в своите приложения. Специален фокус е върху анализа на данни, разпределения изкуствен интелект и обработката на естествен език.
Apache Kafka Connect
7 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да интегрират Apache Kafka със съществуващи бази данни и приложения за обработка, анализ и т.н.
До края на това обучение участниците ще могат:
- Използвайте Kafka Connect, за да внесете големи количества данни от база данни в теми на Kafka.
- Внесете данни от логовете, генерирани от приложени сървъри, в теми на Kafka.
- Make всякакъв събрана данни за потокова обработка.
- Експортирайте данни от теми на Kafka в вторични системи за съхранение и анализ.
Unified Batch and Stream Processing with Apache Beam
14 ЧасаApache Beam е унифициран програмен модел с отворен код за дефиниране и изпълнение на паралелни канали за обработка на данни. Силата му се крие в способността му да изпълнява както партидни, така и поточни тръбопроводи, като изпълнението се извършва от един от поддържаните бек-ендове за разпределена обработка на Beam: Apache Apex, Apache Flink, Apache Spark и Google Cloud Dataflow. Apache Beam е полезен за ETL (извличане, трансформиране и зареждане) задачи като преместване на данни между различни носители за съхранение и източници на данни, трансформиране на данни в по-желан формат и зареждане на данни в нова система.
В това обучение на живо, ръководено от инструктор (на място или дистанционно), участниците ще научат как да внедрят Apache Beam SDK в Java или Python приложение, което дефинира тръбопровод за обработка на данни за разлагане на голям набор от данни на по-малки парчета за независима, паралелна обработка.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Apache Beam.
- Използвайте един модел за програмиране, за да извършите както пакетна, така и поточна обработка от тяхното Java или Python приложение.
- Изпълнете конвейери в множество среди.
Формат на курса
- Част лекция, част дискусия, упражнения и тежка практическа практика
Забележка
- Този курс ще бъде достъпен Scala в бъдеще. Моля, свържете се с нас, за да уговорим.
Building Kafka Solutions with Confluent
14 ЧасаДо края на това обучение участниците ще могат:
- Инсталират и конфигурират платформата Confluent.
- Използват инструменти и услуги за управление на Confluent, за да управляват Kafka по-лесно.
- Съхраняват и обработват входящи данни от потоци.
- Оптимизират и управляват кластери на Kafka.
- Защитават потоци на данни.
Формат на курса
- Интерактивна лекция и дискусия.
- Много упражнения и практика.
- Практически изпълнение в среда на жива лаборатория.
Опции за персонализиране на курса
- Курсът е базиран на отворения код от Confluent: Confluent Open Source.
- За заявка за персонализирано обучение за този курс, моля свържете се с нас за уреждане.
Apache Flink Fundamentals
28 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) представя принципите и подходите зад обработката на разпределен поток и пакетна обработка на данни и превежда участниците през създаването на приложение за стрийминг на данни в реално време в Apache Flink.
До края на това обучение участниците ще могат:
- Настройте среда за разработване на приложения за анализ на данни.
- Разберете как работи библиотеката за обработка на графики (Gelly) на Apache Flink.
- Пакетирайте, изпълнявайте и наблюдавайте Flink-базирани, устойчиви на грешки приложения за поточно предаване на данни.
- Управлявайте различни натоварвания.
- Извършвайте разширен анализ.
- Настройте Flink клъстер с множество възли.
- Измерете и оптимизирайте производителността.
- Интегрирайте Flink с различни Big Data системи.
- Сравнете възможностите на Flink с тези на други рамки за обработка на големи данни.
Introduction to Graph Computing
28 ЧасаВ това водено от инструктор обучение на живо в България участниците ще научат за технологичните предложения и подходите за внедряване за обработка на графични данни. Целта е да се идентифицират обекти от реалния свят, техните характеристики и взаимоотношения, след това да се моделират тези взаимоотношения и да се обработят като данни с помощта на Graph Computing (известен също като Graph Analytics) подход. Започваме с широк преглед и се ограничаваме до конкретни инструменти, докато преминаваме през поредица от казуси, практически упражнения и внедрявания на живо.
До края на това обучение участниците ще могат:
- Разберете как данните от графиката се поддържат и преминават.
- Изберете най-добрата рамка за дадена задача (от бази данни с графики до рамки за пакетна обработка.)
- Приложете Hadoop, Spark, GraphX и Pregel за извършване на графични изчисления в много машини паралелно.
- Вижте реални проблеми с големи данни от гледна точка на графики, процеси и обхождания.
Apache Kafka for Python Programmers
7 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери по данни, учени по данни и програмисти, които желаят да използват Apache Kafka функции в поточно предаване на данни с Python.
До края на това обучение участниците ще могат да използват Apache Kafka за наблюдение и управление на условията в непрекъснати потоци от данни, използвайки Python програмиране.
Stream Processing with Kafka Streams
7 ЧасаKafka Streams е библиотека от страна на клиента за изграждане на приложения и микроуслуги, чиито данни се предават към и от система за съобщения Kafka. Традиционно Apache Kafka разчита на Apache Spark или Apache Storm за обработка на данни между създателите на съобщения и потребителите. Чрез извикване на API на Kafka Streams от приложение, данните могат да се обработват директно в Kafka, заобикаляйки необходимостта от изпращане на данните към отделен клъстер за обработка.
В това водено от инструктор обучение на живо участниците ще се научат как да интегрират Kafka Streams в набор от примерни Java приложения, които предават данни към и от Apache Kafka за обработка на потоци.
До края на това обучение участниците ще могат:
- Да разберат характеристиките и предимствата на Kafka Streams спрямо други платформи за обработка на потоци
- Да обработват потокови данни директно в кластер на Kafka
- Да напишат Java или Scala приложение или микрослужба, която се интегрира с Kafka и Kafka Streams
- Да пишат компактен код, който преобразува входни теми на Kafka в изходни теми на Kafka
- Да създават, пакетират и разпространяват приложението
Публика
- Разработчици
Формат на курса
- Част лекции, част дискусии, упражнения и много практически упражнения
Бележки
- За запитване на персонализиран обучаващ курс за този курс, моля свържете се с нас, за да уредим
Confluent KSQL
7 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да приложат Apache Kafka поточно обработване без писане на код.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Confluent KSQL.
- Настройте тръбопровод за обработка на потоци, като използвате само SQL команди (без Java или Python кодиране).
- Извършвайте филтриране на данни, трансформации, агрегации, обединения, прозорци и сесии изцяло в SQL.
- Проектирайте и разположете интерактивни, непрекъснати заявки за поточно предаване на ETL и анализи в реално време.
Apache NiFi for Administrators
21 ЧасаВ това водено от инструктор обучение на живо в България (на място или дистанционно), участниците ще се научат как да внедряват и управляват Apache NiFi в лабораторна среда на живо.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Apachi NiFi.
- Извличайте, трансформирайте и управлявайте данни от различни, разпределени източници на данни, включително бази данни и големи езера от данни.
- Автоматизирайте потоците от данни.
- Активиране на поточно анализиране.
- Приложете различни подходи за поглъщане на данни.
- Трансформирайте Big Data и в бизнес прозрения.
Apache NiFi for Developers
7 ЧасаВ това водено от инструктор обучение на живо в България, участниците ще научат основите на базираното на поток програмиране, докато разработват редица демонстрационни разширения, компоненти и процесори, използвайки Apache NiFi.
До края на това обучение участниците ще могат:
- Разберете концепциите за архитектурата и потока от данни на NiFi.
- Разработвайте разширения с помощта на NiFi и API на трети страни.
- Персонализирано разработване на собствен процесор Apache Nifi.
- Поглъщайте и обработвайте данни в реално време от различни и необичайни файлови формати и източници на данни.
Python and Spark for Big Data (PySpark)
21 ЧасаВ това водено от инструктор обучение на живо в България участниците ще се научат как да използват Python и Spark заедно, за да анализират големи данни, докато работят върху практически упражнения.
До края на това обучение участниците ще могат:
- Научете как да използвате Spark с Python за анализ на Big Data.
- Работете върху упражнения, които имитират случаи от реалния свят.
- Използвайте различни инструменти и техники за анализ на големи данни, използвайки PySpark.
Spark Streaming with Python and Kafka
7 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери по данни, учени по данни и програмисти, които желаят да използват Spark Streaming функции при обработка и анализ на данни в реално време.
До края на това обучение участниците ще могат да използват Spark Streaming за обработка на потоци от данни на живо за използване в бази данни, файлови системи и табла за управление на живо.
Apache Spark MLlib
35 ЧасаMLlib е библиотеката за машинно обучение (ML) на Spark. Целта му е да направи практическото машинно обучение мащабируемо и лесно. Състои се от общи алгоритми и помощни програми за обучение, включително класификация, регресия, клъстериране, съвместно филтриране, намаляване на размерността, както и примитиви за оптимизация от по-ниско ниво и приложни програмни интерфейси за конвейер от по-високо ниво.
Разделя се на два пакета:
- spark.mllib съдържа оригиналния API, изграден върху RDD. spark.ml предоставя API от по-високо ниво, изграден върху DataFrames за конструиране на ML тръбопроводи.
Публика
Този курс е насочен към инженери и разработчици, които искат да използват вградена машинна библиотека за Apache Spark