Свържете се с нас

Съдържание и теми, включени в курса

Всяка сесия е с продължителност 2 часа

Ден 1: Сесия 1: Бизнес преглед защо бизнес разузнаване с големи данни в правителството

  • Казуси от NIH, DoE
  • Степен на адаптация на големи данни в правителствените агенции и как те синхронизират бъдещата си дейност около предсказващи анализи с големи данни
  • Области на широкомащабно приложение в Министерство на отбраната, АНС, IRS, USDA и др.
  • Свързване на големи данни с наследени данни
  • Основно разбиране за активиращите технологии в предсказващия анализ
  • Интеграция на данни и визуализация чрез табла
  • Управление на измами
  • Генериране на бизнес правила/откриване на измами
  • Откриване и профилиране на заплахи
  • Анализ на разходите и ползите за внедряване на големи данни

Ден 1: Сесия 2: Въведение в големи данни-1

  • Основни характеристики на големите данни - обем, разнообразие, скорост и достоверност. MPP архитектура за обем.
  • Складове за данни – статична схема, бавно развиващ се набор от данни
  • MPP бази данни като Greenplum, Exadata, Teradata, Netezza, Vertica и др.
  • Решения, базирани на Hadoop – без условия за структурата на набора от данни.
  • Типичен модел: HDFS, MapReduce (обработка), извличане от HDFS
  • Пакетна обработка - подходяща за аналитични/неинтерактивни цели
  • Обем: CEP поточни данни
  • Типични избори – CEP продукти (напр. Infostreams, Apama, MarkLogic и др.)
  • По-малко готови за производствена среда – Storm/S4
  • NoSQL бази данни – (колонни и ключ-стойност): Най-подходящи като аналитично допълнение към склад за данни/база данни

Ден 1: Сесия 3: Въведение в големи данни-2

NoSQL решения

  • KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
  • KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
  • KV Store (Йерархичен) - GT.m, Cache
  • KV Store (Подреден) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
  • KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
  • Tuple Store - Gigaspaces, Coord, Apache River
  • Обектна база данни - ZopeDB, DB40, Shoal
  • Документен магазин - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-бази данни, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
  • Широк колонен магазин - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Разновидности на данни: Въведение в проблемите с почистването на данни при големи данни

  • RDBMS – статична структура/схема, не насърчава гъвкава, проучвателна среда.
  • NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точна схема преди съхранението
  • Проблеми с почистването на данни

Ден 1: Сесия 4: Въведение в големи данни-3: Hadoop

  • Кога да изберем Hadoop?
  • СТРУКТУРИРАНИ - Корпоративните складове за данни/бази данни могат да съхраняват огромни обеми данни (срещу разходи), но налагат структура (не е подходящо за активно проучване)
  • ПОЛУСТРУКТУРИРАНИ данни – трудно за обработка с традиционни решения (СД/БД)
  • Складирането на данни = ОГРОМНО усилие и статично дори след внедряване
  • За разнообразие и обем от данни, обработвани на стандартен хардуер – HADOOP
  • Необходим стандартен хардуер за създаване на Hadoop клъстер

Въведение в Map Reduce /HDFS

  • MapReduce – разпределяне на изчисления върху множество сървъри
  • HDFS – осигуряване на локална достъпност на данните за изчислителния процес (с резервиране)
  • Данни – могат да бъдат неструктурирани/без схема (за разлика от RDBMS)
  • Разработчикът е отговорен да осмисли данните
  • Програмиране на MapReduce = работа с Java (плюсове/минуси), ръчно зареждане на данни в HDFS

Ден 2: Сесия 1: Екосистема на големи данни - Изграждане на ETL за големи данни: вселена от инструменти за големи данни - кой да използвате и кога?

  • Hadoop срещу други NoSQL решения
  • За интерактивен, произволен достъп до данни
  • Hbase (колонно-ориентирана база данни) върху Hadoop
  • Произволен достъп до данни, но с наложени ограничения (макс. 1 PB)
  • Не е добра за ad-hoc анализи, добра за логване, броене, времеви редове
  • Sqoop - Импортиране от бази данни в Hive или HDFS (JDBC/ODBC достъп)
  • Flume – Поточни данни (напр. лог данни) в HDFS

Ден 2: Сесия 2: Система за управление на големи данни

  • Подвижни части, изчислителни възли стартират/отказват: ZooKeeper - За конфигурационни/координационни/именуващи услуги
  • Сложен пайплайн/работен поток: Oozie – управление на работен поток, зависимости, последователно свързване
  • Внедряване, конфигурация, управление на клъстер, ъпгрейд и др. (системно администриране): Ambari
  • В облак: Whirr

Ден 2: Сесия 3: Предсказващи анализи в бизнес разузнаването -1: Фундаментални техники и бизнес разузнаване, базирано на машинно обучение:

  • Въведение в машинното обучение
  • Изучаване на класификационни техники
  • Бейсово предсказване - подготовка на обучителен файл
  • Метод на опорните вектори
  • KNN p-Tree алгебра и вертикално извличане
  • Невронна мрежа
  • Проблем с голям брой променливи при големи данни - Случайна гора (RF)
  • Проблем с автоматизацията на големи данни – Мултимоделен ансамбъл RF
  • Автоматизация чрез Soft10-M
  • Инструмент за текстов анализ - Treeminer
  • Гъвкаво обучение
  • Обучение, базирано на агенти
  • Разпределено обучение
  • Въведение в инструменти с отворен код за предсказващ анализ: R, Rapidminer, Mahut

Ден 2: Сесия 4: Екосистема на предсказващите анализи-2: Често срещани проблеми с предсказващия анализ в правителството

  • Анализ на прозрения
  • Визуализационен анализ
  • Структуриран предсказващ анализ
  • Неструктуриран предсказващ анализ
  • Профилиране на заплахи/измамници/доставчици
  • Двигател за препоръки
  • Откриване на модели
  • Откриване на правила/сценарии – неуспех, измама, оптимизация
  • Откриване на първопричина
  • Анализ на тоналност
  • CRM анализ
  • Мрежови анализ
  • Текстов анализ
  • Технологично подпомогнат преглед
  • Анализ на измами
  • Анализ в реално време

Ден 3: Сесия 1: Мащабируем анализ в реално време върху Hadoop

  • Защо обичайните аналитични алгоритми се провалят в Hadoop/HDFS
  • Apache Hama - за групово синхронно разпределено изчисление
  • Apache SPARK - за клъстерни изчисления за анализ в реално време
  • CMU Graphics Lab2 - Графово базиран асинхронен подход към разпределени изчисления
  • KNN p-Алгебрично базиран подход от Treeminer за намаляване на хардуерните разходи за операции

Ден 3: Сесия 2: Инструменти за електронно разкриване и криминалистика

  • Електронно разкриване върху големи данни срещу наследени данни – сравнение на разходите и производителността
  • Предсказващо кодиране и технологично подпомогнат преглед (TAR)
  • Демонстрация на живо на TAR продукт (vMiner), за да се разбере как TAR работи за по-бързо разкриване
  • По-бързо индексиране чрез HDFS – скорост на данните
  • NLP или Обработка на естествен език – различни техники и продукти с отворен код
  • Електронно разкриване на чужди езици - технология за обработка на чужди езици

Ден 3: Сесия 3: Бизнес разузнаване с големи данни за киберсигурност – Разбиране на пълния 360-градусов изглед от бързото събиране на данни до идентифицирането на заплахи

  • Разбиране на основите на анализа на сигурността – повърхност за атака, неправилна конфигурация на сигурността, защити на хоста
  • Мрежова инфраструктура / Голям канал за данни / ETL за отговор за анализ в реално време
  • Прескриптивен срещу предсказващ – Фиксиран, базиран на правила срещу автоматично откриване на правила за заплахи от метаданни

Ден 3: Сесия 4: Големи данни в USDA: Приложение в селското стопанство

  • Въведение в IoT (Интернет на нещата) за селското стопанство - базирани на сензори големи данни и контрол
  • Въведение в сателитните изображения и тяхното приложение в селското стопанство
  • Интегриране на сензорни и изобразителни данни за плодородие на почвата, препоръки за отглеждане и прогнозиране
  • Селскостопанско застраховане и големи данни
  • Прогнозиране на загубите на реколта

Ден 4: Сесия 1: Бизнес разузнаване за предотвратяване на измами от големи данни в правителството - Анализ на измами:

  • Основна класификация на анализа на измами - базиран на правила срещу предсказващ анализ
  • Надзиравано срещу ненадзиравано машинно обучение за откриване на модели на измами
  • Измами от доставчици/наднормено таксуване за проекти
  • Измами с Medicare и Medicaid - техники за откриване на измами при обработка на искове
  • Измами с възстановяване на пътни разходи
  • Измами с възстановяване на данъци от IRS
  • Ще бъдат представени казуси и демонстрация на живо, където има налични данни.

Ден 4: Сесия 2: Анализ на социални медии - Събиране и анализ на разузнавателна информация

  • ETL API за големи данни за извличане на данни от социални медии
  • Текст, изображения, метаданни и видео
  • Анализ на тоналност от потока на социалните медии
  • Контекстуално и неконтекстуално филтриране на потока от социални медии
  • Табло за социални медии за интегриране на разнообразни социални медии
  • Автоматизирано профилиране на профили в социалните медии
  • Ще бъде представена демонстрация на живо на всеки анализ чрез инструмента Treeminer.

Ден 4: Сесия 3: Анализ на големи данни при обработка на изображения и видео потоци

  • Техники за съхранение на изображения в големи данни - Решение за съхранение на данни, надвишаващи петабайти
  • LTFS и LTO
  • GPFS-LTFS (Слоесто решение за съхранение на големи изобразителни данни)
  • Основи на анализа на изображения
  • Разпознаване на обекти
  • Сегментиране на изображения
  • Проследяване на движение
  • 3-D реконструкция на изображения

Ден 4: Сесия 4: Приложения на големи данни в NIH:

  • Нововъзникващи области на биоинформатиката
  • Метагеномика и проблеми с извличането на големи данни
  • Предсказващ анализ с големи данни за фармакогеномика, метаболомика и протеомика
  • Големи данни в последващия геномен процес
  • Приложение на предсказващ анализ с големи данни в общественото здравеопазване

Табло за големи данни за бърза достъпност на разнообразни данни и визуализация:

  • Интеграция на съществуваща платформа за приложения с табло за големи данни
  • Управление на големи данни
  • Казус за табло за големи данни: Tableau и Pentaho
  • Използване на приложение за големи данни за предоставяне на услуги, базирани на местоположение, в правителството
  • Система за проследяване и управление

Ден 5: Сесия 1: Как да обосновем внедряването на бизнес разузнаване с големи данни в организация:

  • Определяне на ROI за внедряване на големи данни
  • Казуси за спестяване на време на анализатори за събиране и подготовка на данни – увеличение на производителността
  • Казуси за приход от спестяване на разходи за лицензирани бази данни
  • Приход от услуги, базирани на местоположение
  • Спестяване от предотвратяване на измами
  • Интегриран подход с електронни таблици за изчисляване на приблизителните разходи срещу приходите/спестяванията от внедряване на големи данни.

Ден 5: Сесия 2: Стъпка по стъпка процедура за замяна на наследена система за данни със система за големи данни:

  • Разбиране на практическа пътна карта за миграция към големи данни
  • Каква е важната информация, необходима преди архитектиране на внедряване на големи данни
  • Какви са различните начини за изчисляване на обема, скоростта, разнообразието и достоверността на данните
  • Как да оценим растежа на данните
  • Казуси

Ден 5: Сесия 4: Преглед на доставчиците на големи данни и преглед на техните продукти. Сесия за въпроси и отговори:

  • Accenture
  • APTEAN (Formerly CDC Software)
  • Cisco Systems
  • Cloudera
  • Dell
  • EMC
  • GoodData Corporation
  • Guavus
  • Hitachi Data Systems
  • Hortonworks
  • HP
  • IBM
  • Informatica
  • Intel
  • Jaspersoft
  • Microsoft
  • MongoDB (Formerly 10Gen)
  • MU Sigma
  • Netapp
  • Opera Solutions
  • Oracle
  • Pentaho
  • Platfora
  • Qliktech
  • Quantum
  • Rackspace
  • Revolution Analytics
  • Salesforce
  • SAP
  • SAS Institute
  • Sisense
  • Software AG/Terracotta
  • Soft10 Automation
  • Splunk
  • Sqrrl
  • Supermicro
  • Tableau Software
  • Teradata
  • Think Big Analytics
  • Tidemark Systems
  • Treeminer
  • VMware (Part of EMC)

Изисквания

  • Основни познания за бизнес операциите и системите от данни в правителството в тяхната област
  • Основно разбиране за SQL/Oracle или релационни бази данни
  • Основно разбиране за статистика (на ниво електронни таблици)
 35 Часа

Брой участници


Цена за участник

Отзиви от участници (1)

Предстоящи Курсове

Свързани Kатегории