Съдържание и теми, включени в курса
Ден 01
Преглед на бизнес разузнаването с големи данни за анализ на криминално разузнаване
- Казуси от правоприлагането – Прогнозна полицейска дейност
- Степен на приемане на големите данни в правоприлагащите агенции и как те нагаждат бъдещите си операции около прогнозния анализ на големи данни
- Възникващи технологични решения като сензори за изстрели, видео от наблюдение и социални медии
- Използване на технологията за големи данни за смекчаване на информационното претоварване
- Интерфейс на големи данни с наследени данни
- Основно разбиране на активиращите технологии в прогнозния анализ
- Интеграция на данни и визуализация с табла
- Управление на измами
- Бизнес правила и откриване на измами
- Откриване и профилиране на заплахи
- Анализ на разходите и ползите при внедряване на големи данни
Въведение в големите данни
- Основни характеристики на големите данни – Обем, Разнообразие, Скорост и Достоверност.
- MPP (Масово паралелна обработка) архитектура
- Складове за данни – статична схема, бавно развиващ се набор от данни
- MPP бази данни: Greenplum, Exadata, Teradata, Netezza, Vertica и др.
- Базирани на Hadoop решения – без условия за структурата на набора от данни.
- Типичен модел: HDFS, MapReduce (обработка), извличане от HDFS
- Apache Spark за обработка на потоци
- Пакетно – подходящо за аналитични/неинтерактивни задачи
- Обем: CEP поточни данни
- Типични избори – CEP продукти (напр. Infostreams, Apama, MarkLogic и др.)
- По-малко готови за продукция – Storm/S4
- NoSQL бази данни – (колонни и ключ-стойност): Най-подходящи като аналитично допълнение към склад/база данни
NoSQL решения
- KV хранилище - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- KV хранилище - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- KV хранилище (Йерархично) - GT.m, Cache
- KV хранилище (Подредено) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- KV кеш - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Tuple хранилище - Gigaspaces, Coord, Apache River
- Обектна база данни - ZopeDB, DB40, Shoal
- Документно хранилище - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-бази данни, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Широко колонно хранилище - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Разновидности на данните: Въведение в проблемите с почистването на данни при големи данни
- RDBMS – статична структура/схема, не насърчава гъвкава, изследователска среда.
- NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точна схема преди съхранението
- Проблеми с почистването на данни
Hadoop
- Кога да изберете Hadoop?
- СТРУКТУРИРАНИ – Корпоративните складове/бази данни могат да съхраняват огромни данни (срещу цена), но налагат структура (не е подходящо за активно проучване)
- ПОЛУСТРУКТУРИРАНИ данни – трудно е да се обработят с традиционни решения (DW/DB)
- Складиране на данни = ОГРОМНО усилие и статично дори след внедряване
- За разнообразие и обем от данни, обработени на стандартен хардуер – HADOOP
- Необходим стандартен хардуер за създаване на Hadoop клъстер
Въведение в Map Reduce / HDFS
- MapReduce – разпределя изчисленията върху множество сървъри
- HDFS – прави данните локално достъпни за изчислителния процес (с излишък)
- Данни – могат да бъдат неструктурирани/без схема (за разлика от RDBMS)
- Отговорност на разработчика е да осмисли данните
- Програмиране на MapReduce = работа с Java (плюсове/минуси), ръчно зареждане на данни в HDFS
Ден 02
Екосистема на големите данни -- Изграждане на ETL за големи данни (Извличане, Трансформиране, Зареждане) -- Кои инструменти за големи данни да използвате и кога?
- Hadoop срещу други NoSQL решения
- За интерактивен, произволен достъп до данни
- Hbase (колонно ориентирана база данни) върху Hadoop
- Произволен достъп до данни, но с наложени ограничения (макс. 1 PB)
- Не е подходящо за ad-hoc анализи, подходящо за логване, броене, времеви серии
- Sqoop - Импорт от бази данни към Hive или HDFS (JDBC/ODBC достъп)
- Flume – Поточно предаване на данни (напр. лог данни) в HDFS
Система за управление на големи данни
- Движещи се части, изчислителни възли стартират/отказват: ZooKeeper - За конфигурация/координация/услуги за именуване
- Сложен pipeline/работен поток: Oozie – управление на работен поток, зависимости, последователна верига
- Внедряване, конфигуриране, управление на клъстер, надграждане и др. (системно администриране): Ambari
- В облак: Whirr
Прогнозен анализ -- Фундаментални техники и бизнес разузнаване, базирано на машинно обучение
- Въведение в машинното обучение
- Изучаване на техники за класификация
- Бейсова прогноза -- подготовка на обучителен файл
- Метод на опорните вектори
- KNN p-Tree алгебра и вертикално извличане
- Невронни мрежи
- Проблем с големи променливи при големи данни -- Случайна гора (RF)
- Проблем с автоматизацията на големи данни – Многомоделен ансамбъл RF
- Автоматизация чрез Soft10-M
- Инструмент за текстов анализ - Treeminer
- Гъвкаво обучение
- Базирано на агенти обучение
- Разпределено обучение
- Въведение в инструменти с отворен код за прогнозен анализ: R, Python, Rapidminer, Mahut
Екосистема за прогнозен анализ и нейното приложение в анализа на криминално разузнаване
- Технология и разследващият процес
- Анализ на прозрения
- Визуализационен анализ
- Структуриран прогнозен анализ
- Неструктуриран прогнозен анализ
- Профилиране на заплахи/измамници/доставчици
- Препоръчителен двигател
- Откриване на модели
- Откриване на правила/сценарии – неуспех, измама, оптимизация
- Откриване на първопричина
- Анализ на тоналност
- CRM анализи
- Мрежови анализи
- Текстов анализ за извличане на прозрения от разшифровки, свидетелски показания, интернет чатове и др.
- Технологично подпомогнат преглед
- Анализи на измами
- Анализи в реално време
Ден 03
Мащабируеми анализи в реално време върху Hadoop
- Защо обичайните аналитични алгоритми се провалят в Hadoop/HDFS
- Apache Hama - за обемно синхронно разпределено изчисление
- Apache SPARK - за клъстерни изчисления и анализи в реално време
- CMU Graphics Lab2 - Графово базиран асинхронен подход към разпределеното изчисление
- KNN p -- Алгебраично базиран подход от Treeminer за намалени хардуерни разходи за операция
Инструменти за eDiscovery и криминалистика
- eDiscovery върху големи данни срещу наследени данни – сравнение на цена и производителност
- Прогнозно кодиране и технологично подпомогнат преглед (TAR)
- Демонстрация на живо на vMiner за разбиране как TAR позволява по-бързо откриване
- По-бързо индексиране чрез HDFS – Скорост на данните
- NLP (Обработка на естествен език) – продукти и техники с отворен код
- eDiscovery на чужди езици -- технология за обработка на чужди езици
Бизнес разузнаване с големи данни за киберсигурност – Получаване на 360-градусов изглед, бързо събиране на данни и идентифициране на заплахи
- Разбиране на основите на анализа на сигурността -- повърхност за атака, неправилна конфигурация на сигурността, хост защити
- Мрежова инфраструктура / Голям канал за данни / ETL за отговор за анализи в реално време
- Предписващ срещу прогнозен – Базиран на фиксирани правила срещу автоматично откриване на правила за заплахи от метаданни
Събиране на разнородни данни за анализ на криминално разузнаване
- Използване на IoT (Интернет на нещата) като сензори за улавяне на данни
- Използване на сателитни изображения за домашно наблюдение
- Използване на данни от наблюдение и изображения за идентифициране на престъпници
- Други технологии за събиране на данни -- дронове, телесни камери, GPS системи за проследяване и технология за термално изобразяване
- Комбиниране на автоматизирано извличане на данни с данни, получени от информатори, разпити и проучвания
- Прогнозиране на престъпна дейност
Ден 04
Бизнес разузнаване за превенция на измами от големи данни в анализа на измами
- Основна класификация на анализа на измами -- базиран на правила срещу прогнозен анализ
- Наблюдавано срещу ненаблюдавано машинно обучение за откриване на модели на измами
- Измами между бизнеси, измами с медицински искове, застрахователни измами, укриване на данъци и пране на пари
Анализ на социални медии -- Събиране и анализ на разузнавателна информация
- Как социалните медии се използват от престъпниците за организиране, набиране и планиране
- ETL API за големи данни за извличане на данни от социални медии
- Текст, изображения, метаданни и видео
- Анализ на тоналност от потока на социални медии
- Контекстуално и неконтекстуално филтриране на потока от социални медии
- Табло за социални медии за интегриране на разнообразни социални медии
- Автоматизирано профилиране на профил в социална медия
- Ще бъде дадена демонстрация на живо на всеки анализ чрез инструмента Treeminer
Анализ на големи данни при обработка на изображения и видео потоци
- Техники за съхранение на изображения в големи данни -- Решение за съхранение на данни, надвишаващи петабайти
- LTFS (Линейна лентова файлова система) и LTO (Линейна отворена лента)
- GPFS-LTFS (Обща паралелна файлова система - Линейна лентова файлова система) -- слоесто решение за съхранение на големи данни от изображения
- Основи на анализа на изображения
- Разпознаване на обекти
- Сегментиране на изображения
- Проследяване на движение
- 3-D реконструкция на изображения
Биометрия, ДНК и програми за идентификация от следващо поколение
- Отвъд пръстовите отпечатъци и лицевото разпознаване
- Разпознаване на реч, проследяване на клавиатурен почерк (анализиране на модела на писане на потребителя) и CODIS (комбинирана ДНК индексна система)
- Отвъд ДНК съвпадението: използване на криминалистично ДНК фенотипиране за реконструиране на лице от ДНК проби
Табло за големи данни за бърз достъп до разнообразни данни и показване:
- Интеграция на съществуваща приложна платформа с табло за големи данни
- Управление на големи данни
- Казус с табло за големи данни: Tableau и Pentaho
- Използване на приложение за големи данни за предоставяне на услуги, базирани на местоположение, в правителствения сектор
- Система за проследяване и управление
Ден 05
Как да обосновете внедряването на бизнес разузнаване с големи данни в организацията:
- Определяне на ROI (Възвръщаемост на инвестицията) за внедряване на големи данни
- Казуси за спестяване на време на анализатора при събиране и подготовка на данни – повишаване на продуктивността
- Печалба от по-ниски разходи за лицензиране на бази данни
- Печалба от услуги, базирани на местоположение
- Спестяване на разходи от превенция на измами
- Интегриран подход с електронни таблици за изчисляване на приблизителни разходи спрямо печалба/спестявания от внедряване на големи данни.
Процедура стъпка по стъпка за замяна на наследена система за данни със система за големи данни
- Пътна карта за миграция към големи данни
- Каква критична информация е необходима преди архитектуриране на система за големи данни?
- Какви са различните начини за изчисляване на Обем, Скорост, Разнообразие и Достоверност на данните
- Как да се оцени растежът на данните
- Казуси
Преглед на доставчиците на големи данни и преглед на техните продукти.
- Accenture
- APTEAN (Formerly CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (Formerly 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (Part of EMC)
Сесия за въпроси и отговори
Изисквания
- Познаване на правоприлагащите процеси и системи за данни
- Основно разбиране на SQL/Oracle или релационни бази данни
- Основно разбиране на статистика (на ниво електронна таблица)
Аудитория
- Специалисти в правоприлагането с технически опит
Отзиви от участници (3)
основи и обичах подготвените документи и упражнения
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Курс - Introduction to Predictive AI
Машинен превод
Дипти беше изключително чувствителна към моите нужди, тя умее да разбере кога да добави нива на сложност и кога да се задържи и да предприеме по-структуриран подход. Дипти изключително добре работеше в моя темп и сигурни беше, че мога да използвам новите функции/инструменти самостоятелно, като първо ми показваше, а после ме оставяше да ги реконструирам сам, което много помогна за закрепяването на обучението. Не мога да изразя колко съм доволен от резултатите от това обучение и от нивото на експертиза на Дипти!
Deepthi - Invest Northern Ireland
Курс - IBM Cognos Analytics
Машинен превод
той беше добре подготвен - и е много симпатичен
Oliver - Post CH AG
Курс - Splunk Fundamentals
Машинен превод