Обзор платформы SAS Viya...SAS Viya –Новая открытая...
Transcript of Обзор платформы SAS Viya...SAS Viya –Новая открытая...
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Обзор платформы SAS ViyaSAS Viya
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Big Data & Machine Learning
Почему это популярно
сейчас?
ДанныеВычислительные
мощности Алгоритмы
+ + +Обработка данных
любого размера или сложности
Использование современных
вычислительных технологий
Обширная библиотека современных и надёжных
методов машинного обучения
ПреимуществаSAS
в машинном обучении
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Драйверы цифровой
трансформации
ПОТРЕБНОСТИЦЕЛИ БИЗНЕС-ДРАЙВЕРЫ
Снижение затрат
Увеличение выручки
Развитие отношений с клиентами
Развитие кадровогопотенциала
Повышение эффективности продаж
Снижение операционных рисков
Повышение эффективности бизнес-процессов
Снижение совокупнойстоимостивладения ИТ
Проверка большегокол-ва бизнес-гипотез
Построение большего кол-ва моделей
Решение новыхнепрофильных задач
Моделирование на большом объеме данных
Управление жизненным циклом моделей
Увеличение скоростивыхода на рынок(time-to-market)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
САС ВАЙЯ
SAS Viya
Вийя
Виуа
Уайя
Вуя Вия
Виа
Вауа
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Par
alle
l & S
eria
l, P
ub
/ S
ub
, W
eb S
ervi
ces,
MQ
s
Источники данных
Microservices
UAA
QueryGen
Folders
CAS Mgmt
Data Source Mgmt
AnalyticsGUIs
etc…
BIGUIs
EnvMgr
ModelMgmt
Log
Audit
UAAUAA
Data Mgmt GUIs
In-Memory Runtime Engine
In-Database
In-Hadoop
In-Stream
Ре
шен
ия
Пр
огр
амм
ны
еИ
нте
рф
ейсы
Аналитика
Управление данными
Безопасность и противодействие мошенничеству
Бизнес-визуализацияУправление
рисками
!
Клиентская аналитика
Cloud Analytics Services (CAS)
SAS Viya
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Viya – Новая открытая архитектураРазные интерфейсы для разных пользователей
Интерактивные графические интерфейсы
Программный интерфейс
SAS Viya
Веб-вызовы
REST API
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Viya и Open Source
SAS Scripting Wrapper for Analytics TransferAPI пакет из Python или R в CAS
Позволяет пользователям загружать данные в память
Интеграция SAS Analyticsв Python / R код
SWAT
Позволяет выполнять CAS действия по преобразованию, агрегации, моделированию и скорингу данных
Поддержка Jupyter Notebook
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Участники процесса анализа данных
SAS Visual
Analytics
Исследование данных
Бизнес-аналитики
SASData
Preparation
Управлениеданными
Инженеры данных
SAS Visual Data Mining & Machine Learning
Data Scientist-ы
Машинное обучение
SAS Visual
Statistics
Статистики и аналитики
Прогнозная аналитика
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Платформа SAS ViyaЖизненный цикл аналитики и технологии
Исследование
Данные
Внедрение
Подготовка данных Визуализация
Машинное обучение
Прогнози-рование
Отчетность
Управлениемоделями
Управлениерешениями
Текстовая аналитика
Оптимизация
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Доступ к разным источникам данных
• Создание новых признаков
• Объединение нескольких источников данных
• Подготовка данных бизнес-пользователями
• Управление качеством данных и профилирование
• Совместная работа
Подготовка данныхSAS Data Studio + SAS Data Preparation
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Матрица корреляций
• Облако слов
• Гистограммы
• Гео-карты
• Box-plot
• Тепло-карта
Визуальный анализ данныхSAS Visual Analytics
+ более 40 видов визуализаций
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Кластеризация k-средних
• Линейная регрессия
• Логистическая регрессия
• Непараметрическая логистическая регрессия
• Обобщенная линейная модель
• Обобщенная аддитивная модель
• Деревья решений
Описательная аналитикаSAS Visual Statistics
+ более 15 алгоритмов в программном интерфейсе
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Случайный лес
• Нейронные сети
• Градиентный бустинг
• Машина опорных векторов
• Факторизационные машины
Машинное обучение для бизнес-аналитикаSAS Visual Data Mining and Machine Learning
+ более 25 алгоритмов в программном интерфейсе
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Диаграммы процесса анализа данных
• Графический интерфейс + Встраивание SAS кода
• Асинхронное выполнение узлов
• Диаграммы из Visual Analytics
• Набор готовых шаблонов диаграмм
• Создание пользовательских шаблонов
Конвейеры анализа данныхSAS Model Studio
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Табличное сравнение моделей
• Интерактивная оценка качества моделей
• Графики с показателями качества для разных выборок
• Публикация скорингового кода в CAS, в базу данных*
* Для публикации в СУБД необходима лицензия In-Database Technologies
Сравнение и внедрение моделейSAS Model Studio
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Лингвистическая предобработка текста
• Автоматическое выделение тематик
• Выделение объектов из текста
• Категоризация
• Выделение фактов из текста
Текстовая аналитикаSAS Visual Text Analytics
Copyright © SAS Inst itute Inc. A l l r ights reserved.
• Построение моделей временных рядов семейства ARIMA(X), UCM, IDM, ESM
• Архитектура построения проектов (pipeline)
• Сценарный анализ
Прогнозирование временных рядов и показателейSAS Visual Forecasting
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Visual Data Mining and Machine LearningАлгоритмы
В их числе:Frequency / Crosstab
Data Transpose Variable Cardinality Analysis
Variable BinningVariable Summary
Sampling and PartitioningMissing Value Imputation
Variable Selection Model Assessment
DS2 & FedSQL
В их числе:Decision Trees & Design Matrix
General Additive ModelsGeneralized Linear Models
K-means and K-modes ClusteringLinear & Logistic Regression
Nonlinear Regression Ordinary Least Squares Regression
Partial Least Squares RegressionPearson Correlation
Principal Component Analysis
В их числе:Boolean Rules
Factorization MachinesGradient Boosting & K Nearest Neighbor
Image Processing & Market Basket Analysis Moving Windows PCA
Network Analytics/Community DetectionNeural Networks / Deep Learning
Random Forest & Robust PCASupport Vector Data Description
Методов обработки данных
более
25Статистических
алгоритмов
более
15Алгоритмов
машинного обучения
более
25
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Автонастройка гиперпараметровмоделей машинного обучения
Автонастройка SAS использует передовые методы оптимизации
Создание более точных моделей быстрее
по сравнению с ручным перебором
Борьба с переобучением модели
за счет ограничения сложности модели
Повышение предсказуемости модели
на независимом наборе данных
Байесовская оптимизация (суррогатная модель гауссовского процесса, кригинг)
Генетический алгоритм Случайный перебор методом простой случайной выборки
Случайный перебор методом латинского гиперкубаПолный перебор
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Model Manager & SAS Decision ManagerОсновные возможности
ДанныеSAS Data
Preparation
SAS Model
Manager
SAS Decision Manager
• Централизованное файловое хранилищелюбых моделей
• Перестроение моделей из Model Studio
• Публикация моделей в CAS, Hadoop, Teradata
• Мониторинг качества моделей
• Разработка схем принятия решений на основе бизнес-правил и аналитических моделей
• Публикация построенных решений в СУБД (Hadoop или Teradata) и в CAS для пакетной обработки
SAS Model studio
SAS VA & VS &
VDMML
Ad-hoc исследование
Аналитический проект
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Единая платформа SAS Viya – единый интерфейс
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Business Analyst
SAS Data Scientist
Open Source Data Scientist
Единаяинтегрированная
платформадля разных
пользователей
SAS Statistician
IT & Application Management
SAS Viya
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Осуществите цифровую трансформацию вместе с SAS!
SAS Viya
Copyright © SAS Inst itute Inc. A l l r ights reserved.
От изображений к даннымИнструменты SAS Viya для обработки изображений
Изображение RGB –распределение
(преобразование изобр. в таблицу)
Аугментации
Horizontal Fliplighten Rotate Left
Выбор алгоритма моделирования
Шаблоны
Custom
Классификация
Распознавание объектов (object detection)
Сравнение изображения с коллекцией (matchimages)
Поиск ключевых особенностей(keypoints)
Построение модели
Результаты модели.
Интерпретация
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Глубокое обучениеНейронные сети
- Перцептрон
- Сеть прямого распространения; Radial Basis сеть
- Машина опорных векторов
- Глубокая нейронная сеть
- Сверточнаянейронная сеть
- Машина опорных векторов
- Машина опорных векторов
http://www.asimovinstitute.org/neural-network-zoo/
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Анализ поведения водителей за рулем с использованием глубокого обучения
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Безопасное вождение (С0)
Печатает на телефоне (С1)
Разговаривает по телефону (С2)
Разговаривает с пассажирами (С9)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Классификация Object detection Keypoints
Viya CV Model Zoo
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Анализ результатов применения модели
Руки на руле.
Телефон в правой руке.
Безопасное вождение
Печатает на телефоне
https://arxiv.org/pdf/1311.2901.pdf
Copyright © SAS Inst itute Inc. A l l r ights reserved.
В руке телефонРазговаривает по телефону.
Повернута голова.Разговаривает с пассажиром.
Анализ результатов применения модели
https://arxiv.org/pdf/1311.2901.pdf
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Осуществите цифровую трансформацию вместе с SAS!
SAS Viya