План на курса
Введение в Google Colab и Apache Spark
- Обзор на Google Colab
- Введение в Apache Spark
- Настройка на Spark в Google Colab
Обработка на данни с Apache Spark
- Работа с RDDs и DataFrames
- Зареждане и обработка на големи набори данни
- Използване на Spark SQL за заявки за структурирани данни
Разширени анализи с Spark
- Машинно обучение с Spark MLlib
- Извършване на анализи на данни в реално време
- Разпределени изчисления с Spark
Визуализация и Collaboration в Google Colab
- Интегриране на Colab с популярни библиотеки за визуализация
- Колaborative работни процеси с Colab ноутбуци
- Споделяне и износване на резултати
Оптимизиране на Big Data работни процеси
- Настройка на Spark за постигане на производителност
- Оптимизиране на използването на памет и съхранение
- Масштабиране на работни процеси за големи набори данни
Big Data в облака
- Интегриране на Google Colab с инструменти, базирани на облака
- Използване на облачно съхранение за големи данни
- Работа с Spark в разпределени облачни среди
Примери и добри практики
- Преглед на реални приложения на големи данни
- Примери с използване на Apache Spark и Colab
- Добри практики за анализи на големи данни
Резюме и следващи стъпки
Изисквания
- Основни знания за концепциите на науката за данни
- Знакомство с Apache Spark
- Python умения за програмиране
Целева аудитория
- Научни работници по данни
- Инженери по данни
- Изследователи, работещи с големи данни
Отзиви от потребители (4)
Работните примери ни позволиха да усетим какво е работа с програмата. Добри обяснения и интеграция на теоретични концепции и както те се свързват с практически приложения.
Ian - Archeoworks Inc.
Курс - ArcGIS Fundamentals
Машинен превод
Всички теми, които той разгледа, включително и примерите. Обясни също как те ни помагат в нашата дневна работа.
madduri madduri - Boskalis Singapore Pte Ltd
Курс - QGIS for Geographic Information System
Машинен превод
Наистина се насладих на обучението. Намерих всички модули да бъдат приложими за проблемите, които се опитвам да решя на работа. Интеграцията на обучението с тетради Jupyter беше впечатляваща.
Mark Firmin - Environment and Climate Change Canada
Курс - Python for Geographic Information System (GIS)
Машинен превод
Това, което повече всичко ми хареса в обучението, беше организацията и местоположението
Hamid Tuama - Ability with Innovation General Contracting (DMCC Branch)
Курс - ArcGIS for Spatial Analysis
Машинен превод