Свържете се с нас

Съдържание и теми, включени в курса

Ден 01

Преглед на бизнес разузнаването с големи данни за анализ на криминално разузнаване

  • Казуси от правоприлагането – Прогнозна полицейска дейност
  • Степен на приемане на големите данни в правоприлагащите агенции и как те нагаждат бъдещите си операции около прогнозния анализ на големи данни
  • Възникващи технологични решения като сензори за изстрели, видео от наблюдение и социални медии
  • Използване на технологията за големи данни за смекчаване на информационното претоварване
  • Интерфейс на големи данни с наследени данни
  • Основно разбиране на активиращите технологии в прогнозния анализ
  • Интеграция на данни и визуализация с табла
  • Управление на измами
  • Бизнес правила и откриване на измами
  • Откриване и профилиране на заплахи
  • Анализ на разходите и ползите при внедряване на големи данни

Въведение в големите данни

  • Основни характеристики на големите данни – Обем, Разнообразие, Скорост и Достоверност.
  • MPP (Масово паралелна обработка) архитектура
  • Складове за данни – статична схема, бавно развиващ се набор от данни
  • MPP бази данни: Greenplum, Exadata, Teradata, Netezza, Vertica и др.
  • Базирани на Hadoop решения – без условия за структурата на набора от данни.
  • Типичен модел: HDFS, MapReduce (обработка), извличане от HDFS
  • Apache Spark за обработка на потоци
  • Пакетно – подходящо за аналитични/неинтерактивни задачи
  • Обем: CEP поточни данни
  • Типични избори – CEP продукти (напр. Infostreams, Apama, MarkLogic и др.)
  • По-малко готови за продукция – Storm/S4
  • NoSQL бази данни – (колонни и ключ-стойност): Най-подходящи като аналитично допълнение към склад/база данни

NoSQL решения

  • KV хранилище - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
  • KV хранилище - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
  • KV хранилище (Йерархично) - GT.m, Cache
  • KV хранилище (Подредено) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
  • KV кеш - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
  • Tuple хранилище - Gigaspaces, Coord, Apache River
  • Обектна база данни - ZopeDB, DB40, Shoal
  • Документно хранилище - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-бази данни, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
  • Широко колонно хранилище - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Разновидности на данните: Въведение в проблемите с почистването на данни при големи данни

  • RDBMS – статична структура/схема, не насърчава гъвкава, изследователска среда.
  • NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точна схема преди съхранението
  • Проблеми с почистването на данни

Hadoop

  • Кога да изберете Hadoop?
  • СТРУКТУРИРАНИ – Корпоративните складове/бази данни могат да съхраняват огромни данни (срещу цена), но налагат структура (не е подходящо за активно проучване)
  • ПОЛУСТРУКТУРИРАНИ данни – трудно е да се обработят с традиционни решения (DW/DB)
  • Складиране на данни = ОГРОМНО усилие и статично дори след внедряване
  • За разнообразие и обем от данни, обработени на стандартен хардуер – HADOOP
  • Необходим стандартен хардуер за създаване на Hadoop клъстер

Въведение в Map Reduce / HDFS

  • MapReduce – разпределя изчисленията върху множество сървъри
  • HDFS – прави данните локално достъпни за изчислителния процес (с излишък)
  • Данни – могат да бъдат неструктурирани/без схема (за разлика от RDBMS)
  • Отговорност на разработчика е да осмисли данните
  • Програмиране на MapReduce = работа с Java (плюсове/минуси), ръчно зареждане на данни в HDFS

Ден 02

Екосистема на големите данни -- Изграждане на ETL за големи данни (Извличане, Трансформиране, Зареждане) -- Кои инструменти за големи данни да използвате и кога?

  • Hadoop срещу други NoSQL решения
  • За интерактивен, произволен достъп до данни
  • Hbase (колонно ориентирана база данни) върху Hadoop
  • Произволен достъп до данни, но с наложени ограничения (макс. 1 PB)
  • Не е подходящо за ad-hoc анализи, подходящо за логване, броене, времеви серии
  • Sqoop - Импорт от бази данни към Hive или HDFS (JDBC/ODBC достъп)
  • Flume – Поточно предаване на данни (напр. лог данни) в HDFS

Система за управление на големи данни

  • Движещи се части, изчислителни възли стартират/отказват: ZooKeeper - За конфигурация/координация/услуги за именуване
  • Сложен pipeline/работен поток: Oozie – управление на работен поток, зависимости, последователна верига
  • Внедряване, конфигуриране, управление на клъстер, надграждане и др. (системно администриране): Ambari
  • В облак: Whirr

Прогнозен анализ -- Фундаментални техники и бизнес разузнаване, базирано на машинно обучение

  • Въведение в машинното обучение
  • Изучаване на техники за класификация
  • Бейсова прогноза -- подготовка на обучителен файл
  • Метод на опорните вектори
  • KNN p-Tree алгебра и вертикално извличане
  • Невронни мрежи
  • Проблем с големи променливи при големи данни -- Случайна гора (RF)
  • Проблем с автоматизацията на големи данни – Многомоделен ансамбъл RF
  • Автоматизация чрез Soft10-M
  • Инструмент за текстов анализ - Treeminer
  • Гъвкаво обучение
  • Базирано на агенти обучение
  • Разпределено обучение
  • Въведение в инструменти с отворен код за прогнозен анализ: R, Python, Rapidminer, Mahut

Екосистема за прогнозен анализ и нейното приложение в анализа на криминално разузнаване

  • Технология и разследващият процес
  • Анализ на прозрения
  • Визуализационен анализ
  • Структуриран прогнозен анализ
  • Неструктуриран прогнозен анализ
  • Профилиране на заплахи/измамници/доставчици
  • Препоръчителен двигател
  • Откриване на модели
  • Откриване на правила/сценарии – неуспех, измама, оптимизация
  • Откриване на първопричина
  • Анализ на тоналност
  • CRM анализи
  • Мрежови анализи
  • Текстов анализ за извличане на прозрения от разшифровки, свидетелски показания, интернет чатове и др.
  • Технологично подпомогнат преглед
  • Анализи на измами
  • Анализи в реално време

Ден 03

Мащабируеми анализи в реално време върху Hadoop

  • Защо обичайните аналитични алгоритми се провалят в Hadoop/HDFS
  • Apache Hama - за обемно синхронно разпределено изчисление
  • Apache SPARK - за клъстерни изчисления и анализи в реално време
  • CMU Graphics Lab2 - Графово базиран асинхронен подход към разпределеното изчисление
  • KNN p -- Алгебраично базиран подход от Treeminer за намалени хардуерни разходи за операция

Инструменти за eDiscovery и криминалистика

  • eDiscovery върху големи данни срещу наследени данни – сравнение на цена и производителност
  • Прогнозно кодиране и технологично подпомогнат преглед (TAR)
  • Демонстрация на живо на vMiner за разбиране как TAR позволява по-бързо откриване
  • По-бързо индексиране чрез HDFS – Скорост на данните
  • NLP (Обработка на естествен език) – продукти и техники с отворен код
  • eDiscovery на чужди езици -- технология за обработка на чужди езици

Бизнес разузнаване с големи данни за киберсигурност – Получаване на 360-градусов изглед, бързо събиране на данни и идентифициране на заплахи

  • Разбиране на основите на анализа на сигурността -- повърхност за атака, неправилна конфигурация на сигурността, хост защити
  • Мрежова инфраструктура / Голям канал за данни / ETL за отговор за анализи в реално време
  • Предписващ срещу прогнозен – Базиран на фиксирани правила срещу автоматично откриване на правила за заплахи от метаданни

Събиране на разнородни данни за анализ на криминално разузнаване

  • Използване на IoT (Интернет на нещата) като сензори за улавяне на данни
  • Използване на сателитни изображения за домашно наблюдение
  • Използване на данни от наблюдение и изображения за идентифициране на престъпници
  • Други технологии за събиране на данни -- дронове, телесни камери, GPS системи за проследяване и технология за термално изобразяване
  • Комбиниране на автоматизирано извличане на данни с данни, получени от информатори, разпити и проучвания
  • Прогнозиране на престъпна дейност

Ден 04

Бизнес разузнаване за превенция на измами от големи данни в анализа на измами

  • Основна класификация на анализа на измами -- базиран на правила срещу прогнозен анализ
  • Наблюдавано срещу ненаблюдавано машинно обучение за откриване на модели на измами
  • Измами между бизнеси, измами с медицински искове, застрахователни измами, укриване на данъци и пране на пари

Анализ на социални медии -- Събиране и анализ на разузнавателна информация

  • Как социалните медии се използват от престъпниците за организиране, набиране и планиране
  • ETL API за големи данни за извличане на данни от социални медии
  • Текст, изображения, метаданни и видео
  • Анализ на тоналност от потока на социални медии
  • Контекстуално и неконтекстуално филтриране на потока от социални медии
  • Табло за социални медии за интегриране на разнообразни социални медии
  • Автоматизирано профилиране на профил в социална медия
  • Ще бъде дадена демонстрация на живо на всеки анализ чрез инструмента Treeminer

Анализ на големи данни при обработка на изображения и видео потоци

  • Техники за съхранение на изображения в големи данни -- Решение за съхранение на данни, надвишаващи петабайти
  • LTFS (Линейна лентова файлова система) и LTO (Линейна отворена лента)
  • GPFS-LTFS (Обща паралелна файлова система - Линейна лентова файлова система) -- слоесто решение за съхранение на големи данни от изображения
  • Основи на анализа на изображения
  • Разпознаване на обекти
  • Сегментиране на изображения
  • Проследяване на движение
  • 3-D реконструкция на изображения

Биометрия, ДНК и програми за идентификация от следващо поколение

  • Отвъд пръстовите отпечатъци и лицевото разпознаване
  • Разпознаване на реч, проследяване на клавиатурен почерк (анализиране на модела на писане на потребителя) и CODIS (комбинирана ДНК индексна система)
  • Отвъд ДНК съвпадението: използване на криминалистично ДНК фенотипиране за реконструиране на лице от ДНК проби

Табло за големи данни за бърз достъп до разнообразни данни и показване:

  • Интеграция на съществуваща приложна платформа с табло за големи данни
  • Управление на големи данни
  • Казус с табло за големи данни: Tableau и Pentaho
  • Използване на приложение за големи данни за предоставяне на услуги, базирани на местоположение, в правителствения сектор
  • Система за проследяване и управление

Ден 05

Как да обосновете внедряването на бизнес разузнаване с големи данни в организацията:

  • Определяне на ROI (Възвръщаемост на инвестицията) за внедряване на големи данни
  • Казуси за спестяване на време на анализатора при събиране и подготовка на данни – повишаване на продуктивността
  • Печалба от по-ниски разходи за лицензиране на бази данни
  • Печалба от услуги, базирани на местоположение
  • Спестяване на разходи от превенция на измами
  • Интегриран подход с електронни таблици за изчисляване на приблизителни разходи спрямо печалба/спестявания от внедряване на големи данни.

Процедура стъпка по стъпка за замяна на наследена система за данни със система за големи данни

  • Пътна карта за миграция към големи данни
  • Каква критична информация е необходима преди архитектуриране на система за големи данни?
  • Какви са различните начини за изчисляване на Обем, Скорост, Разнообразие и Достоверност на данните
  • Как да се оцени растежът на данните
  • Казуси

Преглед на доставчиците на големи данни и преглед на техните продукти.

  • Accenture
  • APTEAN (Formerly CDC Software)
  • Cisco Systems
  • Cloudera
  • Dell
  • EMC
  • GoodData Corporation
  • Guavus
  • Hitachi Data Systems
  • Hortonworks
  • HP
  • IBM
  • Informatica
  • Intel
  • Jaspersoft
  • Microsoft
  • MongoDB (Formerly 10Gen)
  • MU Sigma
  • Netapp
  • Opera Solutions
  • Oracle
  • Pentaho
  • Platfora
  • Qliktech
  • Quantum
  • Rackspace
  • Revolution Analytics
  • Salesforce
  • SAP
  • SAS Institute
  • Sisense
  • Software AG/Terracotta
  • Soft10 Automation
  • Splunk
  • Sqrrl
  • Supermicro
  • Tableau Software
  • Teradata
  • Think Big Analytics
  • Tidemark Systems
  • Treeminer
  • VMware (Part of EMC)

Сесия за въпроси и отговори

Изисквания

  • Познаване на правоприлагащите процеси и системи за данни
  • Основно разбиране на SQL/Oracle или релационни бази данни
  • Основно разбиране на статистика (на ниво електронна таблица)

Аудитория

  • Специалисти в правоприлагането с технически опит
 35 Часа

Брой участници


Цена за участник

Отзиви от участници (3)

Предстоящи Курсове

Свързани Kатегории