Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Всяка сесия е с продължителност 2 часа
Ден 1: Сесия 1: Бизнес преглед защо бизнес разузнаване с големи данни в правителството
- Казуси от NIH, DoE
- Степен на адаптация на големи данни в правителствените агенции и как те синхронизират бъдещата си дейност около предсказващи анализи с големи данни
- Области на широкомащабно приложение в Министерство на отбраната, АНС, IRS, USDA и др.
- Свързване на големи данни с наследени данни
- Основно разбиране за активиращите технологии в предсказващия анализ
- Интеграция на данни и визуализация чрез табла
- Управление на измами
- Генериране на бизнес правила/откриване на измами
- Откриване и профилиране на заплахи
- Анализ на разходите и ползите за внедряване на големи данни
Ден 1: Сесия 2: Въведение в големи данни-1
- Основни характеристики на големите данни - обем, разнообразие, скорост и достоверност. MPP архитектура за обем.
- Складове за данни – статична схема, бавно развиващ се набор от данни
- MPP бази данни като Greenplum, Exadata, Teradata, Netezza, Vertica и др.
- Решения, базирани на Hadoop – без условия за структурата на набора от данни.
- Типичен модел: HDFS, MapReduce (обработка), извличане от HDFS
- Пакетна обработка - подходяща за аналитични/неинтерактивни цели
- Обем: CEP поточни данни
- Типични избори – CEP продукти (напр. Infostreams, Apama, MarkLogic и др.)
- По-малко готови за производствена среда – Storm/S4
- NoSQL бази данни – (колонни и ключ-стойност): Най-подходящи като аналитично допълнение към склад за данни/база данни
Ден 1: Сесия 3: Въведение в големи данни-2
NoSQL решения
- KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- KV Store (Йерархичен) - GT.m, Cache
- KV Store (Подреден) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Tuple Store - Gigaspaces, Coord, Apache River
- Обектна база данни - ZopeDB, DB40, Shoal
- Документен магазин - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-бази данни, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Широк колонен магазин - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Разновидности на данни: Въведение в проблемите с почистването на данни при големи данни
- RDBMS – статична структура/схема, не насърчава гъвкава, проучвателна среда.
- NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точна схема преди съхранението
- Проблеми с почистването на данни
Ден 1: Сесия 4: Въведение в големи данни-3: Hadoop
- Кога да изберем Hadoop?
- СТРУКТУРИРАНИ - Корпоративните складове за данни/бази данни могат да съхраняват огромни обеми данни (срещу разходи), но налагат структура (не е подходящо за активно проучване)
- ПОЛУСТРУКТУРИРАНИ данни – трудно за обработка с традиционни решения (СД/БД)
- Складирането на данни = ОГРОМНО усилие и статично дори след внедряване
- За разнообразие и обем от данни, обработвани на стандартен хардуер – HADOOP
- Необходим стандартен хардуер за създаване на Hadoop клъстер
Въведение в Map Reduce /HDFS
- MapReduce – разпределяне на изчисления върху множество сървъри
- HDFS – осигуряване на локална достъпност на данните за изчислителния процес (с резервиране)
- Данни – могат да бъдат неструктурирани/без схема (за разлика от RDBMS)
- Разработчикът е отговорен да осмисли данните
- Програмиране на MapReduce = работа с Java (плюсове/минуси), ръчно зареждане на данни в HDFS
Ден 2: Сесия 1: Екосистема на големи данни - Изграждане на ETL за големи данни: вселена от инструменти за големи данни - кой да използвате и кога?
- Hadoop срещу други NoSQL решения
- За интерактивен, произволен достъп до данни
- Hbase (колонно-ориентирана база данни) върху Hadoop
- Произволен достъп до данни, но с наложени ограничения (макс. 1 PB)
- Не е добра за ad-hoc анализи, добра за логване, броене, времеви редове
- Sqoop - Импортиране от бази данни в Hive или HDFS (JDBC/ODBC достъп)
- Flume – Поточни данни (напр. лог данни) в HDFS
Ден 2: Сесия 2: Система за управление на големи данни
- Подвижни части, изчислителни възли стартират/отказват: ZooKeeper - За конфигурационни/координационни/именуващи услуги
- Сложен пайплайн/работен поток: Oozie – управление на работен поток, зависимости, последователно свързване
- Внедряване, конфигурация, управление на клъстер, ъпгрейд и др. (системно администриране): Ambari
- В облак: Whirr
Ден 2: Сесия 3: Предсказващи анализи в бизнес разузнаването -1: Фундаментални техники и бизнес разузнаване, базирано на машинно обучение:
- Въведение в машинното обучение
- Изучаване на класификационни техники
- Бейсово предсказване - подготовка на обучителен файл
- Метод на опорните вектори
- KNN p-Tree алгебра и вертикално извличане
- Невронна мрежа
- Проблем с голям брой променливи при големи данни - Случайна гора (RF)
- Проблем с автоматизацията на големи данни – Мултимоделен ансамбъл RF
- Автоматизация чрез Soft10-M
- Инструмент за текстов анализ - Treeminer
- Гъвкаво обучение
- Обучение, базирано на агенти
- Разпределено обучение
- Въведение в инструменти с отворен код за предсказващ анализ: R, Rapidminer, Mahut
Ден 2: Сесия 4: Екосистема на предсказващите анализи-2: Често срещани проблеми с предсказващия анализ в правителството
- Анализ на прозрения
- Визуализационен анализ
- Структуриран предсказващ анализ
- Неструктуриран предсказващ анализ
- Профилиране на заплахи/измамници/доставчици
- Двигател за препоръки
- Откриване на модели
- Откриване на правила/сценарии – неуспех, измама, оптимизация
- Откриване на първопричина
- Анализ на тоналност
- CRM анализ
- Мрежови анализ
- Текстов анализ
- Технологично подпомогнат преглед
- Анализ на измами
- Анализ в реално време
Ден 3: Сесия 1: Мащабируем анализ в реално време върху Hadoop
- Защо обичайните аналитични алгоритми се провалят в Hadoop/HDFS
- Apache Hama - за групово синхронно разпределено изчисление
- Apache SPARK - за клъстерни изчисления за анализ в реално време
- CMU Graphics Lab2 - Графово базиран асинхронен подход към разпределени изчисления
- KNN p-Алгебрично базиран подход от Treeminer за намаляване на хардуерните разходи за операции
Ден 3: Сесия 2: Инструменти за електронно разкриване и криминалистика
- Електронно разкриване върху големи данни срещу наследени данни – сравнение на разходите и производителността
- Предсказващо кодиране и технологично подпомогнат преглед (TAR)
- Демонстрация на живо на TAR продукт (vMiner), за да се разбере как TAR работи за по-бързо разкриване
- По-бързо индексиране чрез HDFS – скорост на данните
- NLP или Обработка на естествен език – различни техники и продукти с отворен код
- Електронно разкриване на чужди езици - технология за обработка на чужди езици
Ден 3: Сесия 3: Бизнес разузнаване с големи данни за киберсигурност – Разбиране на пълния 360-градусов изглед от бързото събиране на данни до идентифицирането на заплахи
- Разбиране на основите на анализа на сигурността – повърхност за атака, неправилна конфигурация на сигурността, защити на хоста
- Мрежова инфраструктура / Голям канал за данни / ETL за отговор за анализ в реално време
- Прескриптивен срещу предсказващ – Фиксиран, базиран на правила срещу автоматично откриване на правила за заплахи от метаданни
Ден 3: Сесия 4: Големи данни в USDA: Приложение в селското стопанство
- Въведение в IoT (Интернет на нещата) за селското стопанство - базирани на сензори големи данни и контрол
- Въведение в сателитните изображения и тяхното приложение в селското стопанство
- Интегриране на сензорни и изобразителни данни за плодородие на почвата, препоръки за отглеждане и прогнозиране
- Селскостопанско застраховане и големи данни
- Прогнозиране на загубите на реколта
Ден 4: Сесия 1: Бизнес разузнаване за предотвратяване на измами от големи данни в правителството - Анализ на измами:
- Основна класификация на анализа на измами - базиран на правила срещу предсказващ анализ
- Надзиравано срещу ненадзиравано машинно обучение за откриване на модели на измами
- Измами от доставчици/наднормено таксуване за проекти
- Измами с Medicare и Medicaid - техники за откриване на измами при обработка на искове
- Измами с възстановяване на пътни разходи
- Измами с възстановяване на данъци от IRS
- Ще бъдат представени казуси и демонстрация на живо, където има налични данни.
Ден 4: Сесия 2: Анализ на социални медии - Събиране и анализ на разузнавателна информация
- ETL API за големи данни за извличане на данни от социални медии
- Текст, изображения, метаданни и видео
- Анализ на тоналност от потока на социалните медии
- Контекстуално и неконтекстуално филтриране на потока от социални медии
- Табло за социални медии за интегриране на разнообразни социални медии
- Автоматизирано профилиране на профили в социалните медии
- Ще бъде представена демонстрация на живо на всеки анализ чрез инструмента Treeminer.
Ден 4: Сесия 3: Анализ на големи данни при обработка на изображения и видео потоци
- Техники за съхранение на изображения в големи данни - Решение за съхранение на данни, надвишаващи петабайти
- LTFS и LTO
- GPFS-LTFS (Слоесто решение за съхранение на големи изобразителни данни)
- Основи на анализа на изображения
- Разпознаване на обекти
- Сегментиране на изображения
- Проследяване на движение
- 3-D реконструкция на изображения
Ден 4: Сесия 4: Приложения на големи данни в NIH:
- Нововъзникващи области на биоинформатиката
- Метагеномика и проблеми с извличането на големи данни
- Предсказващ анализ с големи данни за фармакогеномика, метаболомика и протеомика
- Големи данни в последващия геномен процес
- Приложение на предсказващ анализ с големи данни в общественото здравеопазване
Табло за големи данни за бърза достъпност на разнообразни данни и визуализация:
- Интеграция на съществуваща платформа за приложения с табло за големи данни
- Управление на големи данни
- Казус за табло за големи данни: Tableau и Pentaho
- Използване на приложение за големи данни за предоставяне на услуги, базирани на местоположение, в правителството
- Система за проследяване и управление
Ден 5: Сесия 1: Как да обосновем внедряването на бизнес разузнаване с големи данни в организация:
- Определяне на ROI за внедряване на големи данни
- Казуси за спестяване на време на анализатори за събиране и подготовка на данни – увеличение на производителността
- Казуси за приход от спестяване на разходи за лицензирани бази данни
- Приход от услуги, базирани на местоположение
- Спестяване от предотвратяване на измами
- Интегриран подход с електронни таблици за изчисляване на приблизителните разходи срещу приходите/спестяванията от внедряване на големи данни.
Ден 5: Сесия 2: Стъпка по стъпка процедура за замяна на наследена система за данни със система за големи данни:
- Разбиране на практическа пътна карта за миграция към големи данни
- Каква е важната информация, необходима преди архитектиране на внедряване на големи данни
- Какви са различните начини за изчисляване на обема, скоростта, разнообразието и достоверността на данните
- Как да оценим растежа на данните
- Казуси
Ден 5: Сесия 4: Преглед на доставчиците на големи данни и преглед на техните продукти. Сесия за въпроси и отговори:
- Accenture
- APTEAN (Formerly CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (Formerly 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (Part of EMC)
Изисквания
- Основни познания за бизнес операциите и системите от данни в правителството в тяхната област
- Основно разбиране за SQL/Oracle или релационни бази данни
- Основно разбиране за статистика (на ниво електронни таблици)
35 Часа
Отзиви от участници (1)
Способността на тренера да съобрази курса с изискванията на организацията, а не просто да го предоставя заради самия факт на предаването му.
Masilonyane - Revenue Services Lesotho
Курс - Big Data Business Intelligence for Govt. Agencies
Машинен превод