Курс за обучение по Big Data Business Intelligence за Telecom и Communication провайдери на услуги

Разбивка на теми на дневен базис: (Всеки сесия е 2 часа)

Ден-1: Сесия -1: Бизнес обзор защо Big Data Business Intelligence в Телеко.

• Примерни случаи от T-Mobile, Verizon и др.
• Разпространеност на Big Data в Северноамериканските телеком компании и как те подготвят бъдещите си бизнес модели и операции около Big Data BI
• Обхват на приложението
• Управление на мрежата и услугите
• Управление на клиентския отток
• Интеграция на данни и визуализация на табло
• Управление на измамите
• Генерация на бизнес правилa
• Профилиране на клиенти
• Локализирани реклами

Ден-1: Сесия-2 : Въведение в Big Data-1

• Основни характеристики на Big Data – обем, разнообразие, скорост и правдивост. MPP архитектура за обем.
• Складове на данни – статична схема, бавно еволюиращи данни
• MPP бази данни като Greenplum, Exadata, Teradata, Netezza, Vertica и др.
• Решения на основа Hadoop – без условия за структурата на данните
• Типичен патърн: HDFS, MapReduce (смятане), извличане от HDFS
• Лотове – подходящи за аналитични/неинтерактивни задачи
• Обем: Стриймова данни CEP
• Типични избори – CEP продукти (например, Infostreams, Apama, MarkLogic и др.)
• По-малко готови за производство – Storm/S4
• NoSQL бази данни – (колонкови и ключ-стойност): Най-добре подходящи като аналитично приложение към склад на данни/база данни

Ден-1: Сесия -3: Въведение в Big Data-2

NoSQL решения

• KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (Йерархичен) - GT.m, Cache
• KV Store (Подреден) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Обектни бази данни - ZopeDB, DB40, Shoal
• Документен Store - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Широко колонков Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Разновидности на данните: Въведение в проблемите с чистотата на данните в Big Data

• RDBMS – статична структура/схема, не поддържа агилно, експлоатационна среда.
• NoSQL – полуструктурирани, достатъчно структура за съхранение на данни без точно схема преди съхранение
• Проблеми с чистотата на данните

Ден-1: Сесия-4: Въведение в Big Data-3: Hadoop

• Кога да изберете Hadoop?
• СТРУКТУРИРАНИ - Предприятийските складове на данни/бази данни могат да съхраняват огромни данни (за определена цена), но налагат структура (не подходящи за активна експлоатация)
• Полуструктурирани данни – трудно за традиционни решения (Складове на данни/бази данни)
• Съхранение на данни = ОГРОМНО усилие и статично дори след реализация
• За разнообразието и обемът на данните, смятани на общо достъпни хардуери – HADOOP
• Общо достъпни хардуери нужни за създаване на Hadoop кластер

Въведение в Map Reduce /HDFS

• MapReduce – разпределен компютър на няколко сървъра
• HDFS – прави данните достъпни локално за компютърния процес (с резервно копие)
• Данни – могат да бъдат неструктурирани/без схема (в отличие от RDBMS)
• Отговорност на разработчиците да разберат данните
• Програмиране на MapReduce = работа с Java (предности/недостатъци), ръчно заредване на данни в HDFS

Ден-2: Сесия-1.1: Spark: В паметна разпределена база данни

• Какво е "в паметна" обработка?
• Spark SQL
• Spark SDK
• Spark API
• RDD
• Spark Lib
• Hanna
• Как да мигрирате съществуваща Hadoop система към Spark

Ден-2: Сесия -1.2: Storm - Реално време обработка в Big Data

• Потоки
• Източници
• Топки
• Топологии

Ден-2: Сесия-2: Система за управление на Big Data

• Подвижни части, компютърни възли стартиране/сриване: ZooKeeper - за конфигурация/координация/услуги за именуване
• Сложен поток/работен процес: Oozie – управление на работите процеси, зависимости, верига
• Разработка, конфигурация, управление на кластера, обновяване и др. (системен администратор): Ambari
• В облак: Whirr
• Еволюиращи инструменти за платформата Big Data за следене
• Проблеми с приложенията на ETL слоя

Ден-2: Сесия-3: Предсказателна аналитика в Business Intelligence -1: Основни техники и машинно обучение за BI

• Въведение в машинно обучение
• Учене на класификационни техники
• Байесов предсказване-подготовка на учебен файл
• Марковско случайно поле
• Наблюдавано и ненаблюдавано учене
• Извличане на характеристики
• Машина с поддържащи вектори
• Невронна мрежа
• Усилено учене
• Проблеми с големи променливи в Big Data – Случайни гори (RF)
• Учене на представяне
• Дълбоко учене
• Автоматизация на проблема с Big Data – Много-моделна ансамбъл RF
• Автоматизация чрез Soft10-M
• LDA и тема моделиране
• Агилно учене
• Агентно учене - Пример от операции в Телеко
• Разпределено учене - Пример от операции в Телеко
• Въведение в отворени инструменти за предсказателна аналитика: R, Rapidminer, Mahut
• По-мащабно аналитично – Apache Hama, Spark и CMU Graph lab

Ден-2: Сесия-4: Екосистема за предсказателна аналитика-2: Общи проблеми с предсказателната аналитика в телекомуникациите

• Аналитика за инсайт
• Визуализационна аналитика
• Структурирана предсказателна аналитика
• Неструктурирана предсказателна аналитика
• Профилиране на клиенти
• Препоръчителен двигател
• Откриване на шаблони
• Откриване на правилa/сценарии - неудачи, измами, оптимизация
• Откриване на причините за неудачи
• Анализ на настроенията
• Аналитика за CRM
• Аналитика на мрежата
• Текстова аналитика
• Технологично подпомагано преглеждане
• Аналитика за измами
• Аналитика в реално време

Ден-3: Сесия-1: Аналитика на операциите на мрежата- анализ на причините за прекъсвания в мрежата, прекъсвания на услугите от метаданни, IPDR и CRM

• Използване на CPU
• Използване на памет
• Използване на опашката за качество на услугата (QoS)
• Температура на устройството
• Интерфейсна грешка
• Версии на IoS
• Събития за маршрутизация
• Промени в закъсненията
• Анализ на syslog
• Губене на пакети
• Симулиране на натоварване
• Инференция на топология
• Прагови за производителност
• Запазки от устройства
• Сбор и обработка на IPDR ( IP подробни записи)
• Използване на данни от IPDR за потребителска лента, използване на мрежови интерфейси, статус и диагностика на модема
• Информация за HFC

Ден-3: Сесия-2: Инструменти за анализ на прекъсвания на услугите на мрежата:

• Табло за обзор на мрежата: следене на всички развертани мрежи и следване на ключовите показатели за производителност на организацията
• Табло за анализ на пикови периоди: разбиране на приложенията и потребителските трендове, които водят до пиково използване, с детайли до специфична локация
• Табло за ефективност на маршрутизацията: контролиране на мрежовите разходи и изграждане на бизнес случаи за капитални проекти с пълно разбиране на връзките за прехвърляне и транзит
• Табло за развлечение в реално време: достъп до метриките, които са важни, включително прегледи на видео, продължителност и качество на преживяването на видео (QoE)
• Табло за преход към IPv6: изследване на продължаващия прием на IPv6 в мрежата и получаване на инсайти за приложенията и устройствата, които водят тенденциите
• Случайно изследване-1: Alcatel-Lucent Big Network Analytics (BNA) Data Miner
• Многоизмерна мобилна интелигенция (m.IQ6)

Ден-3: Сесия 3: Big Data BI за Маркетинг/Продажби – Разбиране на продажби/маркетинг от продажби данни: (Всички ще бъдат показани с демонстрация на предсказателна аналитика в реално време)

• За идентифициране на клиенти с най-висока скорост
• За идентифициране на клиенти за дадени продукти
• За идентифициране на правилния набор продукти за клиент (Препоръчителен двигател)
• Техника за сегментиране на пазара
• Техника за кръстосни продажби и продажби с повишена стойност
• Техника за сегментиране на клиенти
• Техника за прогнозиране на приходи от продажби

Ден-3: Сесия 4: BI, необходим за офиса на Телеко CFO

• Обзор на бизнес аналитика, необходима в офиса на CFO
• Анализ на рискове за нови инвестиции
• Прогнозиране на приходи и печалба
• Прогнозиране на нов клиентски прием
• Прогнозиране на загуби
• Аналитика за измами във финансите (подробности в следващата сесия)

Ден-4: Сесия-1: BI за предотвратяване на измами от Big Data в Телеко- Аналитика за измами:

• Загуба на лента / измама с лента
• Измама на доставчика/прекомерно взимане за проекти
• Измами с връщане на пари/претенции на клиенти
• Измами с компенсации за пътувания

Ден-4: Сесия-2: От предсказване на отток към предотвратяване на отток:

• 3 типа отток: Активен/умишлен, ротационен/случаен, пасивен, невъзможен
• 3 класификации на клиенти с отток: Пълно, скрито, частично
• Разбиране на променливите за CRM за отток
• Сбирка на данни за поведението на клиенти
• Сбирка на данни за възприемането на клиенти
• Сбирка на демографски данни за клиенти
• Чистота на данните за CRM
• Неструктурирани данни за CRM (клиентски обзвони, билети, емейли) и техното превръщане в структурирани данни за анализ на отток
• Social Media CRM - нов начин за извличане на индекс за удовлетвореност на клиентите
• Случайно изследване-1: T-Mobile USA: Намаляване на оттока с 50%

Ден-4: Сесия-3: Как да използвате предсказателна аналитика за анализ на причините за неудовлетвореност на клиенти:

• Случайно изследване-1: Връзка на неудовлетвореност с проблеми – сметководни, инженерни неуспехи като прекъсване на услугите, лошо качество на лентата
• Случайно изследване-2: Big Data QA табло за следене на индекс за удовлетвореност на клиенти от различни параметри като ескалиране на обзвони, критичност на проблеми, предстоящи събития за прекъсване на услуги и др.

Ден-4: Сесия-4: Big Data табло за бърз достъп до различни данни и представяне:

• Интеграция на съществуващата платформа с приложение Big Data табло
• Управление на Big Data
• Случайно изследване на Big Data табло: Tableau и Pentaho
• Използване на Big Data приложение за тласна реклама на база местоположение
• Система за следене и управление

Ден-5: Сесия-1: Как да оправдаете имплементацията на Big Data BI в организация:

• Определяне на ROI за имплементацията на Big Data
• Случайни изследвания за спестяване на време на аналитиците за събиране и подготовка на данни – увеличаване на продуктивност
• Случайни изследвания за печалба от отток на клиенти
• Печалба от реклами на база местоположение и други целеви реклами
• Интегриран подход с електронни таблици за приблизително изчисляване на разходи срещу печалба/спестяване от имплементацията на Big Data.

Ден-5: Сесия-2: Постепенна процедура за заменяне на стар легирачен данен систем с Big Data Система:

• Разбиране на практическа карта за миграция към Big Data
• Какви са важните информации, необходими преди архитектиране на имплементация на Big Data
• Какви са различните начини за изчисляване на обем, скорост, разнообразие и правдивост на данните
• Как да оцените растежа на данните
• Случайни изследвания в 2 телеком компании

Ден-5: Сесия 3 и 4: Преглед на доставчици на Big Data и преглед на продуктите им. Сесия с въпроси и отговори:

• AccentureAlcatel-Lucent
• Amazon –A9
• APTEAN (Предишно CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• Huawei
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Предишно 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• VMware (Част от EMC)