Big Data обучение в Варна

Този курс с инструкторско ръководство, провеждан в онлайн или на място, е предназначен за данни научни специалисти и инженери на средно ниво, които искат да използват Google Colab и Apache Spark за обработка и анализ на големи данни.

До края на този курс участниците ще бъдат способни да:

• Настроят среда за големи данни с Google Colab и Spark.
• Обработват и анализират големи набори данни ефективно с Apache Spark.
• Визуализират големи данни в съвместна среда.
• Интегрират Apache Spark с инструменти базирани на облак.

Stratio е платформа, насочена към данни, която интегрира големи данни, ИИ и управление в едно решение. Нейните модули Rocket и Intelligence подпомагат бързото разглеждане на данни, трансформацията и напредналата аналитика в предприемачски среди.

Това обучение под ръководството на инструктор (онлайн или на място) е насочено към средно ниво специалисти по данни, които искат да използват модулите Rocket и Intelligence в Stratio ефективно с PySpark, като фокусират върху циклични структури, потребителски дефинирани функции (UDFs) и напреднала логика на данни.

По края на обучението участниците ще могат да:

• Навигирам и работя в платформата Stratio, използвайки модулите Rocket и Intelligence.
• Применявам PySpark за ингестинг, трансформация и анализ на данни.
• Използвам цикли и условна логика за контрол на рабочите процеси с данни и задачите по извличане на характеристики (feature engineering).
• Създавам и управлявам потребителски дефинирани функции (UDFs) за повторно използване на операции с данни в PySpark.

Формат на курса

• Интерактивно предаване и дискусия.
• Много упражнения и практика.
• Работа в реална лабораторна среда.

Опции за персонализация на курса

• За да заявите персонализирано обучение за този курс, моля свържете се с нас за организиране.

Data Warehousing е практиката за проектиране, изграждане и управление на централизирани репозитории с данни, които подкрепят анализа, докладването и преходите решения.

Това обучение, водено от инструктор (онлайн или на място), е насочено към средно ниво специалисти по данни, които желаят да моделират дименсионните данни, изграждат надежди ETL и ELT пайплайнове, и оптимизирам аналитичните задачи.

По завършване на това обучение, участниците ще могат да:

• Обясняват основните концепции и архитектурата в Data Warehousing.
• Проектират дименсионни модели и избират между звездна и снежнофлочеста схеми.
• Изграждат и координират ETL и ELT пайплайнове надеждо.
• Различават OLTP и OLAP задачи и оптимизират за анализ.

Формат на Курса

• Интерактивна лекция и дискусия.
• Много упражнения и практика.
• Практическа имплементация в реална лаборатория.

Опции за Персонализиране на Курса

• За да запитате за персонализирано обучение за този курс, моля свържете се с нас, за да организираме.

Участниците, които завършат това водено от инструктор обучение на живо в Варна, ще придобият практическо разбиране в реалния свят на Big Data и свързаните с него технологии, методологии и инструменти.

Участниците ще имат възможност да приложат тези знания на практика чрез практически упражнения. Груповото взаимодействие и обратната връзка с инструктора са важен компонент на класа.

Курсът започва с въведение в елементарните концепции на Big Data, след което преминава към езиците за програмиране и методологиите, използвани за изпълнение Data Analysis. И накрая, обсъждаме инструментите и инфраструктурата, които позволяват Big Data съхранение, разпределена обработка и Scalaспособност.

Greenplum е един отворен източник за масово параллелно обработване (MPP) на платформа за данни, предназначена за анализи и големи среди, работящи с данни.

Този курс с инструктор, който е онлайн или на място, е предназначен за технически потребители с среден до напреднал уровень, които искат да разберат вътрешната архитектура на Greenplum, да създават оптимизирани модели за данни и да приложат високопроизводително SQL в разпределени среди.

До края на този курс участниците ще могат да:

• Разберат архитектурата на Greenplum с разделен нищо и модела за параллелизъм.
• Проектират разпределени структури на таблици и партиции, оптимизирани за извличане на запрос.
• Използват стратегии за индексиране, формати на съхранение и физически техники за проектиране.
• Интерпретират плана EXPLAIN и оптимизират запрашите с помощта на добри практики.

Формат на курса

• Интерактивна лекция и дискусия.
• Много упражнения и практика.
• Практически имплементации в живо лабораторно среди.

Опции за персонализиране на курса

• За да поставите запрос за персонализиран курс за този курс, моля свържете се с нас, за да уредим.

Greenplum е масивна параллелна платформа за обработка на данни с отворен код, базирана на PostgreSQL, проектирана за напредна аналитика и големите данни.

Този курс с инструктор, проведен онлайн или на място, е насочен към администратори с среден ниво, които искат да инсталират, конфигурират и управляват средите на Greenplum ефективно, включително управление на систематични обновления и библиотеки.

До края на този курс, участниците ще могат да:

• Инсталират и конфигурират продуктивен кластер Greenplum.
• Управляват систематични обновления и приложат заплати безопасно.
• Управляват библиотеките на Greenplum за аналитика и разширения.
• Диагностицират и мониторират системи Greenplum.

Формат на курса

• Интерактивна лекция и дискусия.
• Практично използване на Greenplum в контролирана лабораторна среда.
• Насочени упражнения със фокус върху настройката на кластери, процесите за обновление и разширения на системата.

Опции за персонализиране на курса

• За да попитате персонализиран тренинг за този курс, базиран на вашата среда или платформа за данни, моля, свържете се с нас, за да уредите.

Това обучение, водено от инструктор (онлайн или на място), е направено за напреднали специалисти в областта на данните, които искат да оптимизират работите по обработка на данни, да осигурят целостта на данните и да реализират робустни решения за езера от данни, които могат да справят с комплексностите на съвременните приложения за големи данни.

До края на това обучение участниците ще могат да:

• Придобият дълбоко разбиране на архитектурата на Iceberg, включително управление на метаданни и разпоред на файлове.
• Конфигурират Iceberg за оптимална производителност в различни среди и да го интегрират с множество двигатели за обработка на данни.
• Управляват големи масови табели на Iceberg, извършват сложни промени в схемите и справят с еволюцията на партициите.
• Осъществят техники за оптимизиране на производителността на запитванията и ефективността на сканирането на данни за големи набори данни.
• Реализират механизми за осигуряване на съвместимост на данни, управление на транзакционни гаранции и справяне с неуспехи в разпределени среди.

Товата тренировка с инструктор, провеждана на живо (онлайн или на място), е насочена към начинаещи професионалисти в областта на данните, които желаят да придобият знанията и уменията, необходими за ефективното използване на Apache Iceberg за управление на големи данни, осигуряване на цялостността на данните и оптимизиране на процесите за обработка на данни.

До края на тази тренировка участниците ще бъдат способни да:

• Придобиват пълно разбиране на архитектурата, функциите и предимствата на Apache Iceberg.
• Учат за формати на таблици, разделяне, еволюция на схемите и възможности за пътуване във времето.
• Инсталират и конфигурират Apache Iceberg в различни среди.
• Създават, управляват и манипулират с таблици на Iceberg.
• Разбират процеса на миграция на данни от други формати на таблици към Iceberg.

Това обучение, водено от инструктор (онлайн или на място), е насочено към IT професионалисти с среден ниво, които искат да подобрят уменията си в областта на архитектура на данни, управление на данни, облачно изчисление и технологии за обработка на големи данни, за да управляват и анализират ефективно големи набори от данни за миграция на данни в организациите си.

До края на това обучение участниците ще бъдат способни да:

• Разберат основните концепции и компоненти на различни архитектури на данни.
• Придобият пълно разбиране на принципите на управление на данни и тяхната важност в регулаторни среди.
• Имплементират и управляват рамки за управление на данни, като Dama и Togaf.
• Използват облачни платформи за ефективно съхранение, обработка и управление на данни.

Товато обучение, проведено от инструктор (онлайн или на място), е насочено към данни инженерi с междуредов опит, които искат да научат как да използват Azure Data Lake Storage Gen2 за ефективни решения за анализ на данни.

След завършване на това обучение участниците ще могат да:

• Разберат архитектурата и основните характеристики на Azure Data Lake Storage Gen2.
• Оптимизират съхранението и достъпа до данни за цена и производителност.
• Интегрират Azure Data Lake Storage Gen2 с други услуги на Azure за анализ и обработка на данни.
• Разработват решения с использоване на API на Azure Data Lake Storage Gen2.
• Решават общи проблеми и оптимизират стратегии за съхранение.

Това водено от инструктор обучение на живо в Варна (онлайн или на място) е насочено към разработчици, които желаят да използват и интегрират Spark, Hadoop и Python за обработка, анализиране и трансформиране на големи и сложни масиви от данни.

До края на това обучение участниците ще могат:

• Настройте необходимата среда, за да започнете да обработвате големи данни със Spark, Hadoop и Python.
• Разберете характеристиките, основните компоненти и архитектурата на Spark и Hadoop.
• Научете как да интегрирате Spark, Hadoop и Python за обработка на големи данни.
• Разгледайте инструментите в екосистемата на Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka и Flume).
• Изградете системи за препоръки за съвместно филтриране, подобни на Netflix, YouTube, Amazon, Spotify и Google.
• Използвайте Apache Mahout за мащабиране на алгоритми за машинно обучение.

Big Data и Продвинути Анализи представлява приложението на сложни техники и инструменти за анализ на големи, сложни набори данни за получаване на действени инсайти и стратегически решения.

Този курс с инструктор (онлайн или на място) е насочен към данни професионалисти с напреднали знания, които искат да използват най-новите аналитични методи и технологии за големи данни за прогнозни, предписанни и реално време анализи.

До края на този курс участниците ще могат да:

• Проектират и имплементират големи, масови обработки на данни за структурирани и неструктурирани данни.
• Прилагат напреднали техники за машинно обучение и дълбоко обучение на големи набори данни.
• Използват разпределено изчисляване за реално време анализи и ток на данни.
• Интегрират анализ на големи данни в системи за бизнес интелиджънс и взимане на решения.

Формат на Курса

• Интерактивна лекция и дискусия.
• Много упражнения и практика.
• Практическа имплементация в среда с реално обучение.

Опции за Персонализация на Курса

• За заплащане на персонализиран тренинг за този курс, моля свържете се с нас, за да уредим.

Това управляемо, живо обучение в Варна (онлайн или на място) е насочено към IT професионалисти с средно ниво, които искат да имат всестранно разбиране за IBM DataStage както от административна, така и от разработническа гледна точка, като това им позволява да управляват и използват този инструмент ефективно във различните работни места.

По завършване на обучението участниците ще могат:

• Разбиране на основните концепции на DataStage.
• Научете как да инсталирате, конфигурирате и управлявате околнини за DataStage ефективно.
• Свързане с различни източници на данни и извличане на данни ефективно от бази данни, плоски файлове и външни източници.
• Приложаване на ефективни методики за зареждане на данни.

Това водено от инструктор обучение на живо в Варна (онлайн или на място) е насочено към начинаещи до системни администратори на средно ниво, които желаят да разположат, поддържат и оптимизират клъстери на Spark.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте Apache Spark в различни среди.
• Управлявайте ресурсите на клъстера и наблюдавайте приложенията на Spark.
• Оптимизирайте производителността на клъстерите Spark.
• Приложете мерки за сигурност и осигурете висока наличност.
• Отстраняване на грешки и отстраняване на често срещани проблеми със Spark.

В това водено от инструктор обучение на живо в Варна участниците ще се научат как да използват Python и Spark заедно, за да анализират големи данни, докато работят върху практически упражнения.

До края на това обучение участниците ще могат:

• Научете как да използвате Spark с Python за анализ на Big Data.
• Работете върху упражнения, които имитират случаи от реалния свят.
• Използвайте различни инструменти и техники за анализ на големи данни, използвайки PySpark.

Постижените напредък в технологиите и увеличаващото се количество информация променят начина, по който бизнесът се провежда в много индустрии, включително държавата. Темпото на генерирането и цифров архивирането на данни в държавните структури расте поради бързия растеж на мобилните устройства и приложения, умни сензори и устройства, облачни изчислителни решения и порталите за граждани. С увеличаването на цифровата информация, управлението, обработката, съхраняването, сигурността и разпределянето стават по-сложни. Новите инструменти за забележаване, търсене, откриване и анализ помагат на организацията да извлича сведения от неструктурираната й информация. Пазарът на държавата е в точка на преразorks, осъзнавайки, че информацията е стратегически актив, и държавата трябва да защитава, използва и анализира както структурираните, така и неструктурираните данни, за да посрещне по-ефективно мисиите си. Докато държавните ръководители стремят да създадат организации, подкрепени от данни, те подготвят основата за връзките между събитията, хората, процесите и информацията.

Високостойностните държавни решения ще бъдат създадени чрез комбинирането на най-преразorksите технологии:

• Мобилни устройства и приложения
• Облачни услуги
• Технологии за бизнес в социалните мрежи и бизнес-съобщества
• Big Data и анализ

Big Data е едно от интелигентните решения за индустрията и позволява на държавата да взема по-добри решения, действайки на основата на модели, обявени чрез анализ на големи обеми данни — свързани или неразделно, структурирани или неструктурирани.

Но постигането на тези успехи изисква много повече от просто събиране на гигантски количества данни. „Забележаването на тези обеми Big Data изисква високотехнологично програмно и хардърворе, които могат да анализират и извличат полезна информация от огромни и разнородни потоци данни“, написаха Том Калил и Фен Жао от Белия дом — Офис на науката и технологията в публикация в блога на OSTP.

Белият дом предприе крачка за помощ при откриването на тези технологии, като установи Националния инициативен план за разработка и изследвания в областта Big Data през 2012 г. Инициативата включваше над 200 милиона долара за максимизиране на експлозията на Big Data и инструментите, необходими за анализ.

Изпитваните предизвикателства от Big Data са почти толкова смели, колкото обещанията му са поощрващи. Ефективното съхраняване на данни е едно от тези предизвикателства. Както винаги, бюджетите са ограничени, така че държавните агенции трябва да минимизират цената за съхранение на данни по мегабайт и да запазят данните под лесен достъп, така че потребителите могат да ги получават в нужния момент и формат. Резервно копирането на гигантски количества данни увеличава предизвикателството.

Ефективният анализ на данните е друг голям предизвик. Много агенции използват комерсиални инструменти, които им позволяват да премахнат горите от данни, откривайки тенденции, които могат да ги помогнат да работят по-ефективно. (Недавно проведен опит на MeriTalk показа, че федералните ръководители за ИТ мислят, че Big Data може да помага на агенциите да спестят над 500 милиарда долара, като същевременно изпълняват задачи по мисията си.).

Потребността за анализ на данните води и до разработването на специализирани инструменти за Big Data. Например, Групата за компютърни данни и анализа на Националната лаборатория „Ок Ридж“ направила системата си за анализ на данни Piranha налична за други агенции. Системата помогнала на медицините изследователи да открият връзка, която може да предупреди лекарите за аневризми на бедената артерия преди техното появяване. Тя се използва и за повседневни задачи, като преминаването през резюмета за свързване на кандидатите за работни места с управляващите лица.

В това водено от инструктор обучение на живо в Варна участниците ще научат нагласата, с която да подходят Big Data към технологиите, да оценят тяхното въздействие върху съществуващите процеси и политики и да внедрят тези технологии с цел идентифициране на престъпна дейност и предотвратяване на престъпления. Ще бъдат разгледани казуси от правоприлагащи организации по целия свят, за да се получи представа за техните подходи за осиновяване, предизвикателства и резултати.

До края на това обучение участниците ще могат:

• Комбинирайте Big Data технологията с традиционните процеси за събиране на данни, за да съставите една история по време на разследване.
• Внедрете индустриални решения за съхранение и обработка на големи данни за анализ на данни.
• Подгответе предложение за приемане на най-адекватните инструменти и процеси за позволяване на основан на данни подход към наказателното разследване.

Big Data е термин, който се отнася до решения, предназначени за съхранение и обработка на големи набори от данни. Първоначално разработени от Google, тези решения за големи данни се развиха и вдъхновиха други подобни проекти, много от които са достъпни като отворен код. R е популярен език за програмиране във финансовата индустрия.

Обхват на курса

Този курс предлага практически и структуриран въведение в изграждането на системи за потоково предаване на данни в реално време. Разглежда основните концепции, архитектурни модели и индустриални инструменти, използвани за обработка на непрекъснати данни в мащаб. Участниците ще научат как да проектират, внедряват и оптимизират потоци с използване на съвременни фреймворки. Курсът преминава от фундаментални идеи към практически приложения, позволявайки на учащите да изграждат готови за производствена употреба решения в реално време уверен и ефективно.

Формат на обучението

• Сесии с инструктори с ръководени обяснения

• Преглед на концепции с реални примери

• Практически демонстрации и кодиране

• Постепенни лаби, свързани с ежедневните теми

• Интерактивни дискусии и въпроси и отговори

Цели на курса

• Разбиране на концепциите за потоково предаване на данни и архитектурата на системите

• Разликовай между моделите за обработка на партиди и потоци

• Проектиране на мащабируеми и устойчиви на грешки потоци

• Работа с разпределени инструменти и фреймворки за потоци

• Прилагане на времева обработка на събития, прозорци и състояния в потоци

Изграждане и оптимизиране на решения за данни в реално време за бизнес случаи

Apache Hadoop е най-популярният фреймворк за обработка на данни върху кластери от сървъри. В този три (опционално, четири) дневен курс участниците ще научат за бизнес предимствата и приложенията за Hadoop и екосистемата му, как да планират развой и растеж на кластера, как да инсталират, поддържат, мониторират, диагностицират и оптимизират Hadoop. Те ще се запознаят и с масов заред на данни в кластера, ще се сдобият с знания за различни Hadoop дистрибуции и ще упражняват инсталация и управление на инструменти от екосистемата на Hadoop. Курсът завършва с обсъждане на сигурността на кластера с Kerberos.

“… Материалите са добре подготовени и покриват изчерпателно. Лабораторията беше много полезна и добре организирана”— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Целева група

администратори на Hadoop

Формат

лекции и практични упражнения, приблизително баланс 60% лекции, 40% упражнения.

Apache NiFi е отворен източник, базиращ се на потоково управление на данни и обработка на събития. Платформата поддържа автоматизирано, реално-времево маршрутно управление, трансформация и системна медиация между различни системи, като предоставя уеб-базирана потребителска среда и детайлно управление.

Това обучение с инструктор (на място или на разстояние) е насочено към администратори и инженери на среден ниво, които искат да използват, управляват, защитават и оптимизират потоковете на данни в Apache NiFi в продуктивна среда.

Към края на обучението участниците ще могат да:

• Инсталират, конфигурират и поддържат кластери на Apache NiFi.
• Проектират и управляват потокове от различни източници и приемници.
• Реализират автоматизация, маршрутизация и логика за трансформация на потока.
• Оптимизират производителността, мониторират операции и разрешават проблеми.

Формат на курса

• Интерактивен урок с дискусия за реални архитектури.
• Лабораторни практики: изграждане, използване и управление на потокове.
• Упражнения в контекст на реална лаборатория.

Опции за персонализация на курса

• За да поискате персонализирано обучение за този курс, моля свържете се с нас.

В това водено от инструктор обучение на живо в Варна, участниците ще научат основите на базираното на поток програмиране, докато разработват редица демонстрационни разширения, компоненти и процесори, използвайки Apache NiFi.

До края на това обучение участниците ще могат:

• Разберете концепциите за архитектурата и потока от данни на NiFi.
• Разработвайте разширения с помощта на NiFi и API на трети страни.
• Персонализирано разработване на собствен процесор Apache Nifi.
• Поглъщайте и обработвайте данни в реално време от различни и необичайни файлови формати и източници на данни.

Тази тренировка предоставя практическо въведение в изграждането на мащабируеми потоци за обработка на данни и машинно обучение, използвайки PySpark. Участниците научават как работи Apache Spark в съвременните екосистеми за еднотни данни и как ефективно да обработват големи набори от данни, използвайки принципите на разпределените изчисления.

Това обучение, водено от инструктор (в реално време или на място), е насочено към инженери, които искат да конфигурират и внедрят системата Apache Spark за обработка на много големи данни.

По завершването на това обучение участниците ще могат:

• Инсталират и конфигурират Apache Spark.
• Бързо обработват и анализират много големи данни.
• Разберат разликата между Apache Spark и Hadoop MapReduce, както и кога да използват всяка от тях.
• Интегрират Apache Spark с други инструменти за машинно учене.

Кривата на обучение на Apache Spark бавно се увеличава в началото, необходими са много усилия, за да се получи първата възвръщаемост. Този курс има за цел да премине през първата трудна част. След преминаването на този курс участниците ще разберат основите на Apache Spark, ще разграничат ясно RDD от DataFrame, ще научат Python и Scala API, ще разберат изпълнителите и задачите и т.н. Следвайки най-добрите практики, този курс силно се фокусира върху внедряването в облак, Databricks и AWS. Студентите също ще разберат разликите между AWS EMR и AWS Glue, една от най-новите услуги на Spark на AWS.

ПУБЛИКА:

Инженер по данни, DevOps, Учен по данни

Spark SQL е модулът на Apache Spark за работа с структурирани и неструктурирани данни. Spark SQL предоставя информация за структурата на данните, както и за извършваното изчисление. Тази информация може да бъде използвана за оптимизация. Две общи сценария за употреба на Spark SQL са:
- изпълнение на SQL заявки.
- четене на данни от съществуваща инсталация на Hive.

В този воден от инструктор обучаващ курс (на място или онлайн), участниците ще научат как да анализират различни типове набори от данни, използвайки Spark SQL.

По завършването на този курс, участниците ще могат:

• Да инсталират и конфигурират Spark SQL.
• Да анализират данни с използване на Spark SQL.
• Да извършват заявки към набори от данни в различни формати.
• Да визуализират данните и резултатите от заявките.

Формат на курса

• Интерактивно предаване с дискусия.
• Много упражнения и практика.
• Приложение в реална лабораторна среда.

Опции за персонализиране на курса

• За да поискате персонализирано обучение за този курс, моля, свържете се с нас, за да организираме.

Този под ръководството на инструктор жив тренинг в Варна (онлайн или на място) е насочен към технически специалисти, които искат да използват Talend Open Studio for Big Data за улесняване процеса на прочитане и обработка на големи данни.

По завършването на този тренинг, участниците ще могат да:

• Инсталират и конфигурират Talend Open Studio for Big Data.
• Връзки с големи данни системи като Cloudera, HortonWorks, MapR, Amazon EMR и Apache.
• Разбиращи и настройката на компонентите за големи данни и конекторите в Open Studio.
• Конфигурират параметри за автоматично генериране на MapReduce код.
• Използват интерфейса с перетъгване и пускане на Open Studio за изпълнение на задачи Hadoop.
• Прототипират канали за големи данни.
• Автоматизират проекти за интеграция на големи данни.