Курс за обучение по Spark for Developers
ОБЕКТИВЕН:
Този курс ще представи Apache Spark. Студентите ще научат как Spark се вписва в екосистемата на Big Data и как да използват Spark за анализ на данни. Курсът обхваща обвивка на Spark за интерактивен анализ на данни, вътрешни елементи на Spark, API на Spark, Spark SQL, поточно предаване на Spark и машинно обучение и graphX.
ПУБЛИКА :
Разработчици / анализатори на данни
План на курса
- Scala primer Бързо въведение в Scala Labs : Запознаване със Scala Spark Basics Предистория и история Spark и Hadoop Spark концепции и архитектура Spark eco system (ядро, spark sql, mlib, стрийминг) Labs : Инсталиране и стартиране на Spark Първи поглед върху Spark Работещ Spark в локален режим Spark web UI Spark shell Анализиране на набор от данни – част 1 Инспектиране на RDDs Labs: Spark shell изследване на RDD RDDs концепции Разделения RDD Операции / трансформации RDD типове двойка ключ-стойност RDD MapReduce на RDD Лабораторни работи за кеширане и постоянство: създаване и проверка на RDD; Кеширане на RDD Програмиране на Spark API Въведение в Spark API / RDD API Изпращане на първата програма в Spark Отстраняване на грешки / регистриране Свойства на конфигурацията Лабораторни работи: Програмиране в Spark API, Подаване на задания Поддръжка на Spark SQL SQL в Spark Dataframes Дефиниране на таблици и импортиране на набори от данни Запитване на данни рамки, използващи SQL Формати за съхранение: JSON / Parquet Labs: Създаване и запитване на рамки с данни; оценяване на формати на данни MLlib MLlib въведение MLlib алгоритми Лабораторни упражнения: Писане на MLib приложения GraphX GraphX преглед на библиотеката GraphX APIs Лабораторни дейности: Обработка на графични данни с помощта на Spark Spark Streaming Общ преглед на поточно предаване Оценяване на платформи за поточно предаване Операции за поточно предаване Операции с плъзгащи се прозорци Лабораторни дейности: Писане на приложения за стрийминг на spark Spark и Hadoop Hadoop Intro ( HDFS / YARN) Hadoop + Spark архитектура Изпълнение на Spark на Hadoop YARN Обработка на HDFS файлове с помощта на Spark Spark Производителност и настройка Излъчване на променливи Акумулатори Управление на паметта и кеширане Операции на Spark Внедряване на Spark в производство Примерни шаблони за внедряване Конфигурации Мониторинг Отстраняване на неизправности
Изисквания
ПРЕДПОСТАВКИ
запознаване с езика Java / Scala / Python (нашите лаборатории в Scala и Python) основно разбиране на средата за разработка на Linux (навигация в командния ред / редактиране на файлове с помощта на VI или nano)
Отворените курсове за обучение изискват 5+ участници.
Курс за обучение по Spark for Developers - Booking
Курс за обучение по Spark for Developers - Enquiry
Spark for Developers - Консултантско запитване
Консултантско запитване
Oтзиви от потребители (6)
Doing similar exercises different ways really help understanding what each component (Hadoop/Spark, standalone/cluster) can do on its own and together. It gave me ideas on how I should test my application on my local machine when I develop vs when it is deployed on a cluster.
Thomas Carcaud - IT Frankfurt GmbH
Курс - Spark for Developers
Ajay was very friendly, helpful and also knowledgable about the topic he was discussing.
Biniam Guulay - ICE International Copyright Enterprise Germany GmbH
Курс - Spark for Developers
Ernesto did a great job explaining the high level concepts of using Spark and its various modules.
Michael Nemerouf
Курс - Spark for Developers
The trainer made the class interesting and entertaining which helps quite a bit with all day training.
Ryan Speelman
Курс - Spark for Developers
We know a lot more about the whole environment.
John Kidd
Курс - Spark for Developers
Richard is very calm and methodical, with an analytic insight - exactly the qualities needed to present this sort of course.
Kieran Mac Kenna
Курс - Spark for Developers
Предстоящи Курсове
Свързани Kурсове
Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
21 ЧасаТози курс е предназначен за разработчици и специалисти по данни, които искат да разберат и внедрят изкуствения интелект в своите приложения. Специален фокус е върху анализа на данни, разпределения изкуствен интелект и обработката на естествен език.
Big Data Analytics with Google Colab and Apache Spark
14 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към специалисти по данни и инженери на средно ниво, които желаят да използват Google Colab и Apache Spark за обработка и анализ на големи данни.
До края на това обучение участниците ще могат:
- Настройте среда с големи данни с помощта на Google Colab и Spark.
- Обработвайте и анализирайте ефективно големи набори от данни с Apache Spark.
- Визуализирайте големи данни в среда за сътрудничество.
- Интегрирайте Apache Spark с облачни инструменти.
Big Data Analytics in Health
21 ЧасаАнализът на големи данни включва процеса на изследване на големи количества разнообразни набори от данни, за да се разкрият корелации, скрити модели и други полезни прозрения.
Здравната индустрия разполага с огромно количество сложни разнородни медицински и клинични данни. Прилагането на анализ на големи данни върху здравни данни представлява огромен потенциал за извличане на прозрения за подобряване на предоставянето на здравни грижи. Огромността на тези набори от данни обаче поставя големи предизвикателства в анализите и практическите приложения в клинична среда.
В това водено от инструктор обучение на живо (дистанционно) участниците ще се научат как да извършват анализ на големи данни в здравеопазването, докато преминават през поредица от практически лабораторни упражнения на живо.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте инструменти за анализ на големи данни като Hadoop MapReduce и Spark Разбирайте характеристиките на медицинските данни Прилагайте техники за големи данни за работа с медицински данни Изучавайте системи и алгоритми за големи данни в контекста на здравни приложения
Публика
- Разработчици Учени по данни
Формат на курса
- Част лекция, част дискусия, упражнения и тежка практическа практика.
Забележка
- За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да уговорим.
Introduction to Graph Computing
28 ЧасаВ това водено от инструктор обучение на живо в България участниците ще научат за технологичните предложения и подходите за внедряване за обработка на графични данни. Целта е да се идентифицират обекти от реалния свят, техните характеристики и взаимоотношения, след това да се моделират тези взаимоотношения и да се обработят като данни с помощта на Graph Computing (известен също като Graph Analytics) подход. Започваме с широк преглед и се ограничаваме до конкретни инструменти, докато преминаваме през поредица от казуси, практически упражнения и внедрявания на живо.
До края на това обучение участниците ще могат:
- Разберете как данните от графиката се поддържат и преминават.
- Изберете най-добрата рамка за дадена задача (от бази данни с графики до рамки за пакетна обработка.)
- Приложете Hadoop, Spark, GraphX и Pregel за извършване на графични изчисления в много машини паралелно.
- Вижте реални проблеми с големи данни от гледна точка на графики, процеси и обхождания.
Hadoop and Spark for Administrators
35 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към системни администратори, които желаят да научат как да настройват, разгръщат и управляват Hadoop клъстери в своята организация.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Apache Hadoop.
- Разберете четирите основни компонента в екосистемата Hadoop: HDFS, MapReduce, YARN и Hadoop Common.
- Използвайте Hadoop Distributed File System (HDFS), за да мащабирате клъстер до стотици или хиляди възли.
- Настройте HDFS да работи като машина за съхранение за локални внедрявания на Spark.
- Настройте Spark за достъп до алтернативни решения за съхранение като Amazon S3 и NoSQL системи за бази данни като Redis, Elasticsearch, Couchbase, Aerospike и др.
- Извършване на административни задачи като осигуряване, управление, наблюдение и защита на Apache Hadoop клъстер.
Hortonworks Data Platform (HDP) for Administrators
21 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) представя Hortonworks Data Platform (HDP) и превежда участниците през внедряването на решението Spark + Hadoop.
До края на това обучение участниците ще могат:
- Използвайте Hortonworks за надеждно изпълнение на Hadoop в голям мащаб.
- Обединете възможностите за сигурност, управление и операции на Hadoop с гъвкавите аналитични работни процеси на Spark.
- Използвайте Hortonworks, за да проучите, валидирате, сертифицирате и поддържате всеки от компонентите в проект на Spark.
- Обработвайте различни видове данни, включително структурирани, неструктурирани, в движение и в покой.
A Practical Introduction to Stream Processing
21 ЧасаВ това водено от инструктор обучение на живо в България (на място или дистанционно), участниците ще се научат как да настройват и интегрират различни Stream Processing рамки със съществуващи системи за съхранение на големи данни и свързани софтуерни приложения и микроуслуги.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте различни Stream Processing рамки, като Spark Streaming и Kafka Streaming.
- Разберете и изберете най-подходящата рамка за работата.
- Обработване на данни непрекъснато, едновременно и по начин запис по запис.
- Интегрирайте Stream Processing решения със съществуващи бази данни, хранилища за данни, езера от данни и др.
- Интегрирайте най-подходящата библиотека за обработка на потоци с корпоративни приложения и микроуслуги.
SMACK Stack for Data Science
14 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към специалисти по данни, които желаят да използват стека SMACK за изграждане на платформи за обработка на данни за решения за големи данни.
До края на това обучение участниците ще могат:
- Внедрете архитектура на тръбопровод за данни за обработка на големи данни.
- Разработете клъстерна инфраструктура с Apache Mesos и Docker.
- Анализирайте данните с Spark и Scala.
- Управлявайте неструктурирани данни с Apache Cassandra.
Apache Spark Fundamentals
21 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери, които желаят да настроят и внедрят Apache Spark система за обработка на много големи количества данни.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Apache Spark.
- Бързо обработвайте и анализирайте много големи набори от данни.
- Разберете разликата между Apache Spark и Hadoop MapReduce и кога да използвате кое.
- Интегрирайте Apache Spark с други инструменти за машинно обучение.
Administration of Apache Spark
35 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към начинаещи до системни администратори на средно ниво, които желаят да разположат, поддържат и оптимизират клъстери на Spark.
До края на това обучение участниците ще могат:
- Инсталирайте и конфигурирайте Apache Spark в различни среди.
- Управлявайте ресурсите на клъстера и наблюдавайте приложенията на Spark.
- Оптимизирайте производителността на клъстерите Spark.
- Приложете мерки за сигурност и осигурете висока наличност.
- Отстраняване на грешки и отстраняване на често срещани проблеми със Spark.
Apache Spark in the Cloud
21 ЧасаКривата на обучение на Apache Spark бавно се увеличава в началото, необходими са много усилия, за да се получи първата възвръщаемост. Този курс има за цел да премине през първата трудна част. След преминаването на този курс участниците ще разберат основите на Apache Spark, ще разграничат ясно RDD от DataFrame, ще научат Python и Scala API, ще разберат изпълнителите и задачите и т.н. Следвайки най-добрите практики, този курс силно се фокусира върху внедряването в облак, Databricks и AWS. Студентите също ще разберат разликите между AWS EMR и AWS Glue, една от най-новите услуги на Spark на AWS.
ПУБЛИКА:
Инженер по данни, DevOps, Учен по данни
Scaling Data Pipelines with Spark NLP
14 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към учени и разработчици на данни, които желаят да използват Spark NLP, изграден върху Apache Spark, за разработване, внедряване и мащабиране на обработка на текст на естествен език модели и тръбопроводи.
До края на това обучение участниците ще могат:
- Настройте необходимата среда за разработка, за да започнете изграждането на NLP тръбопроводи с Spark NLP.
- Разберете характеристиките, архитектурата и ползите от използването на Spark NLP.
- Използвайте предварително обучените модели, налични в Spark NLP, за да реализирате обработка на текст.
- Научете как да създавате, обучавате и мащабирате Spark NLP модели за проекти от производствен клас.
- Прилагайте класификация, изводи и анализ на настроенията върху случаи на употреба в реалния свят (клинични данни, прозрения за поведението на клиентите и т.н.).
Python and Spark for Big Data (PySpark)
21 ЧасаВ това водено от инструктор обучение на живо в България участниците ще се научат как да използват Python и Spark заедно, за да анализират големи данни, докато работят върху практически упражнения.
До края на това обучение участниците ще могат:
- Научете как да използвате Spark с Python за анализ на Big Data.
- Работете върху упражнения, които имитират случаи от реалния свят.
- Използвайте различни инструменти и техники за анализ на големи данни, използвайки PySpark.
Python, Spark, and Hadoop for Big Data
21 ЧасаТова водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да използват и интегрират Spark, Hadoop и Python за обработка, анализиране и трансформиране на големи и сложни масиви от данни.
До края на това обучение участниците ще могат:
- Настройте необходимата среда, за да започнете да обработвате големи данни със Spark, Hadoop и Python.
- Разберете характеристиките, основните компоненти и архитектурата на Spark и Hadoop.
- Научете как да интегрирате Spark, Hadoop и Python за обработка на големи данни.
- Разгледайте инструментите в екосистемата на Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka и Flume).
- Изградете системи за препоръки за съвместно филтриране, подобни на Netflix, YouTube, Amazon, Spotify и Google.
- Използвайте Apache Mahout за мащабиране на алгоритми за машинно обучение.
Apache Spark MLlib
35 ЧасаMLlib е библиотеката за машинно обучение (ML) на Spark. Целта му е да направи практическото машинно обучение мащабируемо и лесно. Състои се от общи алгоритми и помощни програми за обучение, включително класификация, регресия, клъстериране, съвместно филтриране, намаляване на размерността, както и примитиви за оптимизация от по-ниско ниво и приложни програмни интерфейси за конвейер от по-високо ниво.
Разделя се на два пакета:
- spark.mllib съдържа оригиналния API, изграден върху RDD. spark.ml предоставя API от по-високо ниво, изграден върху DataFrames за конструиране на ML тръбопроводи.
Публика
Този курс е насочен към инженери и разработчици, които искат да използват вградена машинна библиотека за Apache Spark