План на курса
Въведение в Google Colab и Apache Spark
- Общ преглед на Google Colab
- Въведение в Apache Spark
- Настройване на Spark в Google Colab
Обработка на данни с Apache Spark
- Работа с RDD и DataFrames
- Зареждане и обработка на големи набори от данни
- Използване на Spark SQL за запитване към структурирани данни
Разширен анализ със Spark
- Машинно обучение със Spark MLlib
- Извършване на анализ на данни в реално време
- Разпределено изчисление със Spark
Визуализация и Collaboration в Google Colab
- Интегриране на Colab с популярни библиотеки за визуализация
- Съвместни работни процеси с преносими компютри Colab
- Споделяне и експортиране на резултати
Оптимизиране Big Data на работните процеси
- Тунинг Spark за производителност
- Оптимизиране на използването на паметта и съхранението
- Мащабиране на работни потоци за големи набори от данни
Big Data в облака
- Интегриране на Google Colab с инструменти, базирани на облак
- Използване на облачно хранилище за големи данни
- Работа със Spark в разпределени облачни среди
Казуси и най-добри практики
- Преглед на реални приложения за големи данни
- Казуси с използване на Apache Spark и Colab
- Най-добри практики за анализ на големи данни
Обобщение и следващи стъпки
Изисквания
- Основни познания за концепциите за науката за данни
- Познаване на Apache Spark
- Python умения за програмиране
Публика
- Учени по данни
- Инженери по данни
- Изследователи, работещи с големи данни
Oтзиви от потребители (5)
Разнообразни практически упражнения ни позволиха да се запознаем с действието на програмата. Goясни обяснения и интеграция на теоретични концепции и как те са свързани с практическото им приложение.
Ian - Archeoworks Inc.
Курс - ArcGIS Fundamentals
Машинен превод
Лабораторно упражнение
Tse Kiat - ST Engineering Training & Simulation Systems Pte. Ltd.
Курс - Automated Monitoring with Zabbix
Машинен превод
Всички теми, които той покрива, включително и примери. И обясни как те са полезни в нашата ежедневна работа.
madduri madduri - Boskalis Singapore Pte Ltd
Курс - QGIS for Geographic Information System
Машинен превод
Хареса ми стила на Пабло, факта, че той покриваше много теми от дизайна на отчети, персонализиране с html до прилагане на прости ML алгоритми. Goот баланс теоретична информация / упражнения. Пабло наистина обхвана всички теми, които ме интересуваха, и даде изчерпателни отговори на въпросите ми.
Cristian Tudose - SC Automobile Dacia SA
Курс - Advanced Data Analysis with TIBCO Spotfire
Машинен превод
Практично приложение на Spotfire и всички базови функции.
Michael Capili - STMicroelectronics, Inc.
Курс - Introduction to Spotfire
Машинен превод