Infinite Insight on SAP HANA...InfiniteInsight® - 10 лет в России “Приобретя...
Transcript of Infinite Insight on SAP HANA...InfiniteInsight® - 10 лет в России “Приобретя...
Infinite Insight on SAP HANA: актуальные вопросы создания прикладных решений
г.Сургут
14-16 мая 2014г.
InfiniteInsight® - 10 лет в России
“Приобретя KXEN, SAP расширяет возможности прогнозной
аналитики, чтобы раскрыть Большие Данные”
2 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
3 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
От отчетов, через понимание причин,
к прогнозам
Вопросы: Решения:
Как изменится состояние объекта?
Как поведет себя новый объект?
Предсказательное
моделирование
Каковы причины происходящего?
Почему некоторые объекты ведут себя
не так как другие?
Описательное моделирование
Как текущая ситуация выглядит в
различных разрезах? Многомерный анализ (OLAP)
Что произошло и какова текущая
ситуация? Запросы и отчеты
• Анализ и прогнозирование влияния реагентов на параметры призабойной зоны скважины
• Прогнозирование отказов погружного оборудования – переход от обслуживания по регламенту к обслуживанию по состоянию
• Прогнозирование потребления энергии и добычи
4 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Примеры задач в нефтедобывающей отрасли
5 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Два подхода к решению задачи
Построение модели
внутреннего
устройства объекта
• Требует глубоких знаний об
устройстве объекта
• и взаимодействии с окружающей
средой
• Чем сложнее объект – тем
больше неточность в поведении
модели
Построение модели
на основе
статистических
данных
• Поведение объекта на
протяжении продолжительного
периода времени
• Поведение достаточного
количества аналогичных
объектов
6 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Моделирование и использование моделей
Операции с
данными
Представление
и использование Подготовка
данных
Сырые
данные
Исторические данные Обучающие данные
Извест. результат
_______________________________________
1,26 0,19 3,02
Обучение
модели
0
0,05
0,1
0,15
0,2
0,25
Val
ue
_1
32
Pre
ss_
49
Fix_
02
Описание
Новые данные
Данные Неизв. результат
____________________________________
? ? ?
Предсказ. результат
2,19 0,85 1,07
Моделирование
7 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Построение моделей оценки вероятности поломки
• Задача
– По историческим данным
связать известные
данные о оборудовании с
фактом поломки
– По новым данным
сделать прогноз поломки
Построение
Применение
8 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Модель учитывает каждый показатель
• Для получения прогноза
– Берется каждый
показатель
– С весом,
соответствующим его
важности
(определяется при
построении модели)
– Все взвешенные
атрибуты суммируются.
• Чем больше общий вес
взвешенных атрибутов
(скор), тем выше
вероятность поломки
Значения, понижающие
вероятность Атрибуты
Значения,
повышающие
вероятность
KxMissing IND_1 {Y}
[5 ; 6] & KxMissing NUM_POS_TR_3MNT ]56 ; 210]
]82000 ; 85000[ &
KxMissing Inflow_amount <82000
{0} Is_using_MTR {1}
KxMissing Last _month_fix [1]
[9456.49 ; 29608.8] AVG_AMT_3MNT ]1466.67 ; 1750]
KxMissing NUM_MNT_3MNT [1 ; 3]
]504 ; 2216] Temp_IND47 [-483 ; 445]
[0.666667 ; 319.667] AVG_OUT_3MNT ]59685.4 ;
6.39011e+006]
[17 ; 18] NUM_TR_3MNT ]34 ; 536]
Поломка
9 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Работа со связанными объектами с InfinteInsight® Social
• Для более точного прогноза учитывается положение объекта
в сети
• Группы связанных объектов могут рассматриваться как
объект исследования
KXEN Extreme DataMining меняет правила
Выбор параметров
Интерпретация
Би
зн
ес-в
оп
ро
с
Применение
Подготовка данных Построение модели
Проверка модели
Традиционный подход data-mining Затраты на 1 модель
3 дня – 6 недель
Подход KXEN: 15 минут - 3 часа!!!
Бизнес-в
опрос
Построение м
одели
Интерпретация
Применение
Вы
бор
параметров
Наша компания строит теперь сотни моделей за то же время, что раньше уходило на одну
Клиент из финансовой сферы
Модели за часы а не за дни – вот то что нужно. Кампании всех типов проходят у нас теперь 365 дней в году, постоянно развиваясь и показывая отличный результат.
David Norris – Bloor research
10
The Infinite Insight.TM
Фабрика м
оделей
Программные интерфейсы: DCOM API / CORBA API / C++ /
Пользовательские интерфейсы: KJDM / KxShell
• Построен на промышленных стандартах: Java Data Mining (JDM), Web-services, Predictive Modeling Markup Language (PMML), SQL.
• Поддержка Unicode и 64-битной архитектуры.
• Предоставляет SSL и PAM авторизацию и журнал действий
• Манипулирование данными поддерживает относительную агрегацию
11
АНАЛОГИЧНЫЕ ПРОЕКТЫ
Впишите сюда название презентации и название компании 12
13 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Проект в Федеральной Сетевой Компании
Генерация
МЭС
ЭС ЭС ЭС
МЭС
ЭС ЭС ЭС
МЭС
ЭС ЭС ЭС
Федеральная Сетевая Компания
Данные для анализа ПЕРВЫЙ ЭТАП
• Телеизмерения
– Генерация
– Напряжения
– Ток
– Частота
– Перетоки по линиям
• Метеостанции
• Календарь
ВТОРОЙ ЭТАП
Данные первого этапа +
Перетоки
■ Межсетевые
■ ГК
■ РСК
■ С иностранными государствами
База ремонтов
■ Воздушных линий
■ Подстанций
Суммарные показатели
■ По всей системе
■ По линиям проходящим через
подстанции
40 608 записей
1 062 параметра
10 минутный интервалы
За период 21-04-08 – 01-09-08
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН 14
15 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Модели прогнозирования потерь по энергосистеме
• 6 Моделей
– Общая модель с учетом всех параметров
– Модель зависимости потерь от напряжения,
напряжения в контрольных точках
– Модель зависимости потерь от метеоданных
– Модель зависимости потерь от ремонтов
– Модель зависимости потерь от транзитных перетоков
по сечениям
– Модель зависимости потерь от суммарного перетока
активной мощности по всем трансформаторам 500 кВ
на уровне МЭС
• Все построенные модели предоставлены в виде файла
MS Excel
• 40 000 записей
• 1 064 первоначальных
параметра
• 53 параметра в итоговом
варианте
• Средняя ошибка
0,19 мВт
• Наиболее влияющие параметры
– Отдача по перетоку
мощности с ... ГЭС, сеть
ФСК
– Генерация активной
мощности ... ГРЭС
– Приѐм по перетоку
мощности с ... ГЭС, сеть
ФСК
16 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Общая модель с учетом всех параметров
17 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Водопроводная компания, Франция
• Постоянный контроль качества воды по 5 параметрам на
входе и на выходе
• Возможность воздействия 20 реагентами
• Построенные модели позволяют диспетчеру оценить
потенциальные последствия воздействия каждым из
реагентов до их применения и выбрать оптимальное
сочетание реагентов
18 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
ОАО Вымпелком
• Оперативное выявление причин повышенного
количества обрывов связи
• 1000 параметров с каждого коммутатора для каждого
соединения
• Время анализа при применении KXEN сократилось с 2
недель до 10 минут
19
SAP BusinessObjects и Infinite Insight.
Создание прикладных решений
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Логистика
HR
Финансы
Аналитики
Сбыт
Руководители
Надзорные органы Переработка
Банки
Партнеры Добыча
Общее видение и предсказательное моделирование
Oracle OLAP SQL SAP
HANA
Хотелось бы, чтобы система предсказывала и
рекомендовала, что делать?
….
Данные
Информация
Знания
Reports Ad-hoc Dashboards Scorecards Search-based BI Mobile BI
Predictive
modeling
Data Mining
Предсказательное
моделирование
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН 20
Корпоративная ИАС - Для кого
Для Руководителя:
прозрачно-достоверный
управленческий анализ «сверху – вниз»
• Ситуационный центр • Информационные панели • План-факт мониторинг • Мобильные решения доверие к цифрам,
независимость от «человеческого фактора»
Аналитики: самообслуживание
• Произвольные запросы и отчетность
• Визуальный менеджмент
• Анализ «Что - если»
• Скрытые закономерности,
прогнозные модели, рекомендации
Сотрудники подразделений Коллективная работа,
доступ к «своим» отчетам
Обновление
Получение рассылок
Консолидация данных из разных источников и подразделений
SQL SAP
HANA 21
CUSTOMER CUSTOMER ID CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUSTOMER ST CUSTOMER ADDR CUSTOMER PHONE CUSTOMER FAX
ACCOUNT ACCOUNT NUM OPEN DATE STATUS
HANDSET MANUFACTURER
CALL TYPE TYPE ID NETWORK DESCRIPTION
CDR CALL TYPE DURATION
Model
Builder
2
2 Построение моделей по ADS
Models Warehouse
4 SQL или UDF передаются в ХД
4
SQL & UDF
3
3 KXEN преобразует модели в SQL или UDF
1 Построение аналитических наборов данных (ADS)
Analytical Data Set (ADS)
AD
S
Gen
erato
r
1
5
5 другие приложения вызывают SQL или иной код для скоринга
Аналитические приложения
Архитектура аналитического решения
22
Интерполяционные диаграммы потерь в энергосистеме
23 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Гистограммы напряжения
по системам шин разного класса
24 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Корреляционная зависимость
Напряжения и потерь в энергосистеме
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН 25
26
Обогащение восприятия прогнозных моделей.
Пример
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
27
Обогащение восприятия прогнозных моделей.
Пример
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
28
Обогащение восприятия прогнозных моделей.
Пример
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
29
Обогащение восприятия прогнозных моделей.
Мобильные решения. Пример
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
Прогнозная информационная модель. Пример
Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН 30
Infinite Insight.TM
• Решение для:
– Автоматизации моделирования
– Простого использования
– Оперативного понимания и описания ситуации
– Получения быстрых результатов
– Интеграции с другими решениями
– Оперативного развертывания в операционной системе для применения
31 Infinite Insight on SAP HANA: актуальные вопросы создания
прикладных решений, ЗАО ТЕРН
СПАСИБО!
Докладчик: Аветисов М.М., Федечкин Э.П.
Компания: ЗАО ТЕРН
Должность: