План на курса
Основи на интензивно използване на данни Platform Engineering
- Въведение в приложенията с интензивно използване на данни
- Предизвикателства при проектирането на платформи за големи данни
- Преглед на архитектурите за обработка на данни
Моделиране на данни и Management
- Принципи на моделиране на данни за мащабируемост
- Опции за съхранение на данни и оптимизация
- Управление на жизнения цикъл на данните в разпределена среда
Big Data Рамки за обработка
- Преглед на инструментите за обработка на големи данни (Hadoop, Spark, Flink)
- Пакетна срещу поточна обработка
- Създаване на тръбопровод за обработка на големи данни
Платформи за анализ в реално време
- Архитектиране за анализи в реално време
- Машини за обработка на потоци (Kafka Streams, Apache Storm)
- Изграждане на табла и визуализации в реално време
Оркестрация на тръбопровода за данни
- Управление на работния процес с Apache Airflow и др
- Автоматизиране на тръбопроводи за данни за ефективност
- Мониторинг и известяване за тръбопроводи за данни
Сигурност и съответствие на платформата
- Най-добри практики за сигурност за платформи за данни
- Гарантиране на поверителност на данните и съответствие с нормативните изисквания
- Внедряване на сигурни контроли за достъп до данни
Настройка и оптимизиране на производителността
- Техники за оптимизиране на пропускателната способност и латентността на данните
- Стратегии за мащабиране за платформи с интензивно използване на данни
- Бенчмаркинг и мониторинг на ефективността
Казуси и най-добри практики
- Анализиране на успешни реализации на платформа за данни
- Научени уроци от лидерите в индустрията
- Нововъзникващи тенденции в инженерството на платформи с интензивно използване на данни
Проект Capstone
- Проектиране на платформено решение за приложение с интензивно използване на данни
- Внедряване на прототип на тръбопровода за обработка на данни
- Оценка на производителността и скалируемостта на платформата
Обобщение и следващи стъпки
Изисквания
- Разбиране на основни структури от данни и алгоритми
- Опит с програмиране Java, Scala или Python.
- Запознаване с основните концепции за бази данни и SQL
Публика
- Разработчици на софтуер
- Инженери по данни
- Технически изводи
Oтзиви от потребители (3)
I am getting the correct level of understanding I need to assist in my day to day work
Wasfi Adams
Course - Impacted Function Point (IFP)
The trainer was super engaging and made sure we understand through questioning and affirmations. Even though the content was overwhelming, the trainer broke it down well and made content easily accessible for later reference.
Zaid Amerika
Course - Unit of Software Measurement Parameterization (UMSP)
Everything was built up from a basic level while progressing quick enough to prevent anyone getting bored.