Съдържание и теми, включени в курса
Въведение в Google Colab и Apache Spark
- Общ преглед на Google Colab
- Въведение в Apache Spark
- Настройка на Spark в Google Colab
Обработка на данни с Apache Spark
- Работа с RDD и DataFrames
- Зареждане и обработка на големи масиви от данни
- Използване на Spark SQL за заявки към структурирани данни
Разширен анализ със Spark
- Машинно обучение с Spark MLlib
- Извършване на анализ на данни в реално време
- Разпределени изчисления със Spark
Визуализация и съвместна работа в Google Colab
- Интегриране на Colab с популярни библиотеки за визуализация
- Работни потоци за съвместна работа с тетрадките на Colab
- Споделяне и експортиране на резултати
Оптимизиране на работни потоци за големи данни
- Настройка на Spark за производителност
- Оптимизиране на използването на памет и хранилище
- Мащабиране на работни потоци за големи масиви от данни
Големи данни в облака
- Интегриране на Google Colab с облачно базирани инструменти
- Използване на облачно хранилище за големи данни
- Работа със Spark в разпределени облачни среди
Казуси и добри практики
- Преглед на реални приложения за работа с големи данни
- Казуси с използване на Apache Spark и Colab
- Добри практики за анализ на големи данни
Обобщение и следващи стъпки
Изисквания
- Основни познания по концепции в науката за данните
- Запознатост с Apache Spark
- Умения за програмиране на Python
Аудитория
- Специалисти по данни
- Инженери на данни
- Изследователи, работещи с големи данни
Отзиви от участници (3)
Как да използвате отворени сателитни данни за реални приложения
Tshering Dorji - Druk Holding and Investments
Курс - Advanced Geographic Information Systems (GIS)
Машинен превод
Извършване на упражнения
Joe Pang - Lands Department, Hong Kong
Курс - QGIS for Geographic Information System
Машинен превод
Работните примери ни позволиха да усетим какво е работа с програмата. Добри обяснения и интеграция на теоретични концепции и както те се свързват с практически приложения.
Ian - Archeoworks Inc.
Курс - ArcGIS Fundamentals
Машинен превод