Курс за обучение по Бизнес интелигентност с големи данни за правителствени агенции

Всяка сесия е с продължителност 2 часа

Ден 1: Сесия 1: Бизнес преглед защо бизнес интелигентността с големи данни е важна за правителството

• Казуси от NIH, DoE
• Темп на адаптиране на големите данни в правителствените агенции и как те съгласуват бъдещите си операции с предсказващите анализи на големи данни
• Широкомащабни области на приложение в DoD, NSA, IRS, USDA и др.
• Свързване на големи данни с наследени данни
• Основно разбиране на базовите технологии в предсказващите анализи
• Интеграция на данни и визуализация на табла
• Управление на измами
• Генериране на бизнес правила/откриване на измами
• Откриване и профилиране на заплахи
• Анализ разходи-ползи за внедряване на големи данни

Ден 1: Сесия 2: Въведение в големите данни - 1

• Основни характеристики на големите данни — обем, разнообразие, скорост и достоверност. MPP архитектура за обем.
• Складове за данни – статична схема, бавно развиващи се набори от данни
• MPP бази данни като Greenplum, Exadata, Teradata, Netezza, Vertica и др.
• Решения, базирани на Hadoop – без условия за структурата на набора от данни.
• Типичен модел: HDFS, MapReduce (обработка), извличане от HDFS
• Пакетен режим – подходящ за аналитични/неинтерактивни задачи
• Обем: CEP поточни данни
• Типични избори – CEP продукти (напр. Infostreams, Apama, MarkLogic и др.)
• По-малко производствено готови – Storm/S4
• NoSQL бази данни – (колонни и ключ-стойност): най-подходящи като аналитично допълнение към склада за данни/базата данни

Ден 1: Сесия 3: Въведение в големите данни - 2

NoSQL решения

• KV хранилище - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV хранилище - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV хранилище (йерархично) - GT.m, Cache
• KV хранилище (подредено) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV кеш - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple хранилище - Gigaspaces, Coord, Apache River
• Обектна база данни - ZopeDB, DB40, Shoal
• Документно хранилище - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-бази данни, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Широко колонно хранилище - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Разновидности на данни: Въведение в проблемите с почистването на данни при големи данни

• RDBMS – статична структура/схема, не насърчава гъвкава, изследователска среда.
• NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точна схема преди съхранението
• Проблеми с почистването на данни

Ден 1: Сесия 4: Въведение в големите данни - 3: Hadoop

• Кога да изберем Hadoop?
• СТРУКТУРИРАНИ - Корпоративните складове за данни/бази данни могат да съхраняват огромни данни (срещу разходи), но налагат структура (не е подходящо за активно изследване)
• ПОЛУСТРУКТУРИРАНИ данни – трудно постижимо с традиционни решения (DW/DB)
• Съхранението на данни = ОГРОМНИ усилия и статичност дори след внедряване
• За разнообразие и обем на данни, обработвани на стандартен хардуер – HADOOP
• Необходим стандартен хардуер за създаване на Hadoop клъстер

Въведение в Map Reduce / HDFS

• MapReduce – разпределени изчисления върху множество сървъри
• HDFS – прави данните локално достъпни за изчислителния процес (с излишък)
• Данните – могат да бъдат неструктурирани/без схема (за разлика от RDBMS)
• Отговорност на разработчика е да осмисли данните
• Програмиране на MapReduce = работа с Java (плюсове/минуси), ръчно зареждане на данни в HDFS

Ден 2: Сесия 1: Екосистема на големите данни - Изграждане на ETL за големи данни: вселената от инструменти за големи данни - кой кога да използваме?

• Hadoop срещу други NoSQL решения
• За интерактивен, произволен достъп до данни
• Hbase (колонно ориентирана база данни) върху Hadoop
• Произволен достъп до данни, но с ограничения (макс. 1 PB)
• Не е подходящ за ad-hoc анализи, подходящ за логове, броене, времеви серии
• Sqoop - Импортиране от бази данни в Hive или HDFS (JDBC/ODBC достъп)
• Flume – Поточни данни (напр. лог данни) в HDFS

Ден 2: Сесия 2: Система за управление на големи данни

• Движещи се части, изчислителни възли стартират/отказват: ZooKeeper - За конфигурация/координация/услуги за именуване
• Сложен конвейер/работен поток: Oozie – управление на работен поток, зависимости, верижно свързване
• Внедряване, конфигуриране, управление на клъстери, надграждане и др. (системна администрация): Ambari
• В облак: Whirr

Ден 2: Сесия 3: Предсказващи анализи в бизнес интелигентността - 1: Основни техники и BI, базиран на машинно обучение:

• Въведение в машинното обучение
• Изучаване на техники за класификация
• Байесово прогнозиране - подготовка на обучителен файл
• Метод на опорните вектори
• KNN p-Tree алгебра и вертикално извличане
• Невронна мрежа
• Проблем с голям брой променливи при големи данни - Случайна гора (RF)
• Проблем с автоматизацията на големи данни – Многомоделен ансамбъл RF
• Автоматизация чрез Soft10-M
• Инструмент за текстов анализ - Treeminer
• Гъвкаво обучение
• Обучение, базирано на агенти
• Разпределено обучение
• Въведение в инструменти с отворен код за предсказващи анализи: R, Rapidminer, Mahut

Ден 2: Сесия 4: Екосистема на предсказващите анализи - 2: Често срещани проблеми с предсказващите анализи в правителството

• Анализ на прозрения
• Визуализационен анализ
• Структуриран предсказващ анализ
• Неструктуриран предсказващ анализ
• Профилиране на заплахи/измамници/доставчици
• Препоръчителен двигател
• Откриване на модели
• Откриване на правила/сценарии – неуспех, измама, оптимизация
• Откриване на първопричини
• Анализ на настроения
• CRM анализ
• Мрежов анализ
• Текстов анализ
• Преглед, подпомогнат от технологии
• Анализ на измами
• Анализ в реално време

Ден 3: Сесия 1: Анализ в реално време и мащабируем анализ върху Hadoop

• Защо обичайните аналитични алгоритми се провалят в Hadoop/HDFS
• Apache Hama - за групови синхронни разпределени изчисления
• Apache SPARK - за клъстерни изчисления за анализ в реално време
• CMU Graphics Lab2 - Графово базиран асинхронен подход към разпределените изчисления
• KNN p-алгебра подход от Treeminer за намалени хардуерни разходи за експлоатация

Ден 3: Сесия 2: Инструменти за електронно разкриване и криминалистика

• Електронно разкриване при големи данни срещу наследени данни – сравнение на разходи и производителност
• Предсказващо кодиране и преглед, подпомогнат от технологии (TAR)
• Демонстрация на живо на TAR продукт (vMiner) за разбиране как TAR работи за по-бързо разкриване
• По-бързо индексиране чрез HDFS – скорост на данните
• NLP или обработка на естествен език – различни техники и продукти с отворен код
• Електронно разкриване на чужди езици - технология за обработка на чужди езици

Ден 3: Сесия 3: BI с големи данни за киберсигурност – Разбиране на пълния 360-градусов поглед от бързото събиране на данни до идентифицирането на заплахи

• Разбиране на основите на анализа на сигурността - повърхност на атака, неправилна конфигурация на сигурността, защити на хоста
• Мрежова инфраструктура / Голям тръбопровод за данни / ETL за отговор за анализ в реално време
• Предписващ срещу предсказващ – Фиксирани правила срещу автоматично откриване на правила за заплахи от метаданни

Ден 3: Сесия 4: Големи данни в USDA: Приложение в селското стопанство

• Въведение в IoT (Интернет на нещата) за селското стопанство - базирани на сензори големи данни и контрол
• Въведение в сателитните изображения и тяхното приложение в селското стопанство
• Интегриране на сензорни и изображения данни за плодородие на почвата, препоръки за отглеждане и прогнозиране
• Селскостопанско застраховане и големи данни
• Прогнозиране на загубите на реколта

Ден 4: Сесия 1: BI за предотвратяване на измами от големи данни в правителството - Анализ на измами:

• Основна класификация на анализа на измами - базиран на правила срещу предсказващ анализ
• Контролирано срещу неконтролирано машинно обучение за откриване на модели на измами
• Измами от доставчици/надценяване на проекти
• Измами с Medicare и Medicaid - техники за откриване на измами при обработка на искове
• Измами с възстановяване на пътни разходи
• Измами с възстановяване на данъци от IRS
• Казуси и демонстрация на живо ще бъдат представени, когато има налични данни.

Ден 4: Сесия 2: Анализ на социални медии - Събиране и анализ на разузнавателна информация

• ETL API за големи данни за извличане на данни от социални медии
• Текст, изображения, метаданни и видео
• Анализ на настроения от потока на социалните медии
• Контекстуално и неконтекстуално филтриране на потока от социални медии
• Табло за социални медии за интегриране на разнообразни социални медии
• Автоматизирано профилиране на профили в социалните медии
• Демонстрация на живо на всеки анализ ще бъде дадена чрез инструмента Treeminer.

Ден 4: Сесия 3: Анализ на големи данни при обработка на изображения и видео потоци

• Техники за съхранение на изображения при големи данни - Решение за съхранение на данни, надхвърлящи петабайти
• LTFS и LTO
• GPFS-LTFS (Слоесто решение за съхранение на големи изображения данни)
• Основи на анализа на изображения
• Разпознаване на обекти
• Сегментация на изображения
• Проследяване на движение
• 3-D реконструкция на изображения

Ден 4: Сесия 4: Приложения на големи данни в NIH:

• Нововъзникващи области на биоинформатиката
• Метагеномика и проблеми с извличането на големи данни
• Предсказващ анализ на големи данни за фармакогеномика, метаболомика и протеомика
• Големи данни в процесите на геномиката надолу по веригата
• Приложение на предсказващия анализ на големи данни в общественото здраве

Табло за големи данни за бърз достъп до разнообразни данни и визуализация:

• Интегриране на съществуващата приложна платформа с таблото за големи данни
• Управление на големи данни
• Казус на табло за големи данни: Tableau и Pentaho
• Използване на приложения за големи данни за насърчаване на услуги, базирани на местоположение, в правителството
• Система за проследяване и управление

Ден 5: Сесия 1: Как да обосновем внедряването на BI с големи данни в организацията:

• Определяне на ROI за внедряване на големи данни
• Казуси за спестяване на време на анализаторите за събиране и подготовка на данни – повишаване на производителността
• Казуси за приходи от спестяване на лицензирани разходи за бази данни
• Приходи от услуги, базирани на местоположение
• Спестявания от предотвратяване на измами
• Интегриран подход с електронни таблици за изчисляване на приблизителните разходи спрямо приходите/спестяванията от внедряването на големи данни.

Ден 5: Сесия 2: Стъпка по стъпка процедура за замяна на наследената система за данни със система за големи данни:

• Разбиране на практическа пътна карта за миграция към големи данни
• Каква важна информация е необходима преди проектирането на внедряване на големи данни
• Какви са различните начини за изчисляване на обема, скоростта, разнообразието и достоверността на данните
• Как да оценим растежа на данните
• Казуси

Ден 5: Сесия 4: Преглед на доставчиците на големи данни и преглед на техните продукти. Сесия за въпроси и отговори:

• Accenture
• APTEAN (предишно CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (предишно 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (част от EMC)