Курс за обучение по Потоково предаване на данни и обработка в реално време

Аудитория:

Курсът е предназначен за ИТ специалисти, търсещи решение за съхранение и обработка на големи данни в среда на разпределена система.

Goал:

Дълбоки знания в управление на Hadoop кластери.

Този курс с инструкторско ръководство, провеждан в онлайн или на място, е предназначен за данни научни специалисти и инженери на средно ниво, които искат да използват Google Colab и Apache Spark за обработка и анализ на големи данни.

До края на този курс участниците ще бъдат способни да:

• Настроят среда за големи данни с Google Colab и Spark.
• Обработват и анализират големи набори данни ефективно с Apache Spark.
• Визуализират големи данни в съвместна среда.
• Интегрират Apache Spark с инструменти базирани на облак.

Анализът на големи данни включва процеса по разглеждане на голями обеми различни набори от данни с цел откриване на корелации, скрити модели и друга полезна информация.

Индустрията на здравеопазването има масивни обеми сложни иерархични медицински и клинични данни. Применяването на анализ на големи данни върху медизинските данни има голям потенциал за извличане на инсайтове, които могат да улучшат доставянето на медицински услуги. Въпреки това, обемите на тези набори от данни представят големи предизвикателства за анализ и практически приложения в клинична среда.

В този курс под водене на инструктор (удалено), участниците ще научат как да извършват анализ на големи данни в здравеопазването, докато преминават през серия от практически упражнения.

Към края на това обучение участниците ще могат да:

• Инсталират и конфигурират инструменти за анализ на големи данни като Hadoop MapReduce и Spark
• Разбираща се природата на медицинските данни
• Прилагат методи за работа с големи данни за обработване на медицински данни
• Изучават системите и алгоритмите за анализ на големи данни в контекста на здравните приложения

Целева група

• Разработчици
• Аналисти на данни

Формат на курса

• Частично лекция, частично дискусия, упражнения и много практически занятия.

Бележка

• За да поискате персонализирано обучение за този курс, моля се свържете с нас, за да го организираме.

Apache Hadoop е най-популярният фреймворк за обработка на данни върху кластери от сървъри. В този три (опционално, четири) дневен курс участниците ще научат за бизнес предимствата и приложенията за Hadoop и екосистемата му, как да планират развой и растеж на кластера, как да инсталират, поддържат, мониторират, диагностицират и оптимизират Hadoop. Те ще се запознаят и с масов заред на данни в кластера, ще се сдобият с знания за различни Hadoop дистрибуции и ще упражняват инсталация и управление на инструменти от екосистемата на Hadoop. Курсът завършва с обсъждане на сигурността на кластера с Kerberos.

“… Материалите са добре подготовени и покриват изчерпателно. Лабораторията беше много полезна и добре организирана”— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Целева група

администратори на Hadoop

Формат

лекции и практични упражнения, приблизително баланс 60% лекции, 40% упражнения.

Apache Hadoop е най-популярната платформа за обработка на големи данни в кластери от сървъри. Този курс ще представи на разработчиците различните компоненти (HDFS, MapReduce, Pig, Hive и HBase) в екосистемата на Hadoop.

Apache Hadoop е един от най-популярните фреймворки за обработка на големи данни в кластери от сървъри. Този курс разглежда управлението на данни в HDFS, разширен Pig, Hive и HBase. Теоретичните знания за тези продвинати програмни техники ще бъдат полезни за опитните разработчици по Hadoop.

Публика: разработчици

Продължителност: три дни

Формат: лекции (50%) и praktični упражнения (50%).

Целева аудитория:

Този курс е предназначен да разкрие тайновете на технологиите за големи данни/Hadoop и да покаже, че те не са трудни за разбиране.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към системни администратори, които желаят да научат как да настройват, разгръщат и управляват Hadoop клъстери в своята организация.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте Apache Hadoop.
• Разберете четирите основни компонента в екосистемата Hadoop: HDFS, MapReduce, YARN и Hadoop Common.
• Използвайте Hadoop Distributed File System (HDFS), за да мащабирате клъстер до стотици или хиляди възли.
• Настройте HDFS да работи като машина за съхранение за локални внедрявания на Spark.
• Настройте Spark за достъп до алтернативни решения за съхранение като Amazon S3 и NoSQL системи за бази данни като Redis, Elasticsearch, Couchbase, Aerospike и др.
• Извършване на административни задачи като осигуряване, управление, наблюдение и защита на Apache Hadoop клъстер.

Този курс представя HBase – NoSQL хранилище, работещо върху Hadoop. Курсът е предназначен за разработчици, които ще използват HBase за разработка на приложения, както и за администратори, които ще управляват кластери на HBase.

Ще проведем разработчика през архитектурата на HBase, моделиране на данни и разработка на приложения върху HBase. Ще обсъдим и използването на MapReduce с HBase, както и някои административни теми, свързани с оптимизация на производителността. Курсът е много практически с множество лабораторни упражнения.

Продължителност : 3 дни

Целева аудитория : Разработчици  & Администратори

Apache NiFi е отворен източник, базиращ се на потоково управление на данни и обработка на събития. Платформата поддържа автоматизирано, реално-времево маршрутно управление, трансформация и системна медиация между различни системи, като предоставя уеб-базирана потребителска среда и детайлно управление.

Това обучение с инструктор (на място или на разстояние) е насочено към администратори и инженери на среден ниво, които искат да използват, управляват, защитават и оптимизират потоковете на данни в Apache NiFi в продуктивна среда.

Към края на обучението участниците ще могат да:

• Инсталират, конфигурират и поддържат кластери на Apache NiFi.
• Проектират и управляват потокове от различни източници и приемници.
• Реализират автоматизация, маршрутизация и логика за трансформация на потока.
• Оптимизират производителността, мониторират операции и разрешават проблеми.

Формат на курса

• Интерактивен урок с дискусия за реални архитектури.
• Лабораторни практики: изграждане, използване и управление на потокове.
• Упражнения в контекст на реална лаборатория.

Опции за персонализация на курса

• За да поискате персонализирано обучение за този курс, моля свържете се с нас.

В това водено от инструктор обучение на живо в България, участниците ще научат основите на базираното на поток програмиране, докато разработват редица демонстрационни разширения, компоненти и процесори, използвайки Apache NiFi.

До края на това обучение участниците ще могат:

• Разберете концепциите за архитектурата и потока от данни на NiFi.
• Разработвайте разширения с помощта на NiFi и API на трети страни.
• Персонализирано разработване на собствен процесор Apache Nifi.
• Поглъщайте и обработвайте данни в реално време от различни и необичайни файлови формати и източници на данни.

Тази тренировка предоставя практическо въведение в изграждането на мащабируеми потоци за обработка на данни и машинно обучение, използвайки PySpark. Участниците научават как работи Apache Spark в съвременните екосистеми за еднотни данни и как ефективно да обработват големи набори от данни, използвайки принципите на разпределените изчисления.

В това водено от инструктор обучение на живо в България участниците ще се научат как да използват Python и Spark заедно, за да анализират големи данни, докато работят върху практически упражнения.

До края на това обучение участниците ще могат:

• Научете как да използвате Spark с Python за анализ на Big Data.
• Работете върху упражнения, които имитират случаи от реалния свят.
• Използвайте различни инструменти и техники за анализ на големи данни, използвайки PySpark.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да използват и интегрират Spark, Hadoop и Python за обработка, анализиране и трансформиране на големи и сложни масиви от данни.

До края на това обучение участниците ще могат:

• Настройте необходимата среда, за да започнете да обработвате големи данни със Spark, Hadoop и Python.
• Разберете характеристиките, основните компоненти и архитектурата на Spark и Hadoop.
• Научете как да интегрирате Spark, Hadoop и Python за обработка на големи данни.
• Разгледайте инструментите в екосистемата на Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka и Flume).
• Изградете системи за препоръки за съвместно филтриране, подобни на Netflix, YouTube, Amazon, Spotify и Google.
• Използвайте Apache Mahout за мащабиране на алгоритми за машинно обучение.

Stratio е платформа, насочена към данни, която интегрира големи данни, ИИ и управление в едно решение. Нейните модули Rocket и Intelligence подпомагат бързото разглеждане на данни, трансформацията и напредналата аналитика в предприемачски среди.

Това обучение под ръководството на инструктор (онлайн или на място) е насочено към средно ниво специалисти по данни, които искат да използват модулите Rocket и Intelligence в Stratio ефективно с PySpark, като фокусират върху циклични структури, потребителски дефинирани функции (UDFs) и напреднала логика на данни.

По края на обучението участниците ще могат да:

• Навигирам и работя в платформата Stratio, използвайки модулите Rocket и Intelligence.
• Применявам PySpark за ингестинг, трансформация и анализ на данни.
• Използвам цикли и условна логика за контрол на рабочите процеси с данни и задачите по извличане на характеристики (feature engineering).
• Създавам и управлявам потребителски дефинирани функции (UDFs) за повторно използване на операции с данни в PySpark.

Формат на курса

• Интерактивно предаване и дискусия.
• Много упражнения и практика.
• Работа в реална лабораторна среда.

Опции за персонализация на курса

• За да заявите персонализирано обучение за този курс, моля свържете се с нас за организиране.