IBM Netezza — Опыт эксплуатации в финансовом...

© 2012 IBM Corporation

IBM Netezza — Опыт эксплуатации в финансовом секторе

Иван Аничков, Netezza, IBM R/CIS

март-2012


Information Management

Agenda

Вызовы и задачи в отрасли

Netezza ответы

Опыт практического использования

2



Взгляд на отрасль: бизнес и ИТВ

неш

ние

трен

ды

• Нарастание эк. неопределенности • Гос. регулированиеt и ЦБ• Развитие отраслевых стандартов• Глобальные изменения экономик• Законодат. ограничения маржинальности• Инновации продуктов и технологий• Fraud• Проблемы роста ключевых/emerging

рынков• Проблемы эффективности процессов

Ста

теги

ческ

ие

иниц

иати

вы

• Фокус на клиентов и их предпочтения• Выстраивание продуктового портфеля• Выравнивание бизнес модели к рынку• Управление рисками - ответ конкуренции• Кап.инвестиции для макс. возвратности• Технологии как стратегическое

преимущество• Автоматизация и интеграция с

отраслевыми compliance frameworks

BI &

Analyt ics

Компетенц ии

• Традиционные BI дорогие и не гибкие• Сокращение времени в базисе факт-решение• Системы принятие решений – у Бизнеса• Интеллектуальная инфраструктура данных• Оптимизация систем для advanced analytics• Высокая производительность платформ при

низком TCO• Стандартизация интерфейсов для

подключения и интеграции

Shareholder Value & Financial Stability

RETURN ON CAPITAL

Increase

MARKET SHARE

Improve

RETURN ON ASSETS

Optimise

CUSTOMER MANAGEMENT

(Engagement, Trust and

Innovation)

OPERATIONAL EFFICIENCY

(Integrate, Automate and

Outsource)

REGULATORY COMPLIANCE&

RISK MGMT(Quantify and

Manage Integrated Risk)

ADVANCED ANALYTICS

COMPETENCY(Timely, Accurate, Insightful Analysis)

SECURITY AGILITY FLEXIBILITYSYSTEMS INTEGRATION

COST-TO-SERVE LATENCY

Рост числа источников и объемов данных, BIG DATA

Непрерывные трансформации в бизнесе и техноллогиях

Принятие решения при неопределенности – ad hoc аналитика для оптимизации коммерческих решений

Сложные комбинации не\структурированных данных

Сокращение окна time-to-value



Традиционные сложности управления данными

Трансформации Использование

Транзакционные данные

Справочные данные

Транзакционныеданные

HistoricalData

Справочные данные

Вспомогательные приложения

Управления рисками - VaR

Оптимизация капитала

Анализ портфелей -research

Актуарное и финансовое моделирование

Оптимизация провайдеров

Исторические данные

Наполнение

03/27/124

Клиентская аналитикаУправления кампаниями

Регуляторные /Solvency показатели

Кредитный риск и решения

Отчетность в подразделениях

Claims analytics, Fraud



Топ 3 претензии по линии бизнеса (LOB)

03/27/12 IBM Confidential5

“У меня нет данных для решения моих бизнес задач”

“70-80% моего времени уходит на поиск, агрегацию, валидацию и представления необходимых мне данных”

“... проблема в качестве

представленных данных и их подготовке”



От подготовки отчетности к управлению данными

MISСтандартные

отчеты

EISДетальные

отчеты

DW & OLAPAd Hoc запросы

AnalyticsBI / Прогнозы

Advanced Analytics

Оптимальное моделирование

Чтопроизошло?

Сколько?Как часто?

Сколько?Где?

Сколько?Где?

Что произойдет?Какой лучший выбор?

1 2 3 4 5

The Analytic Continuum

= число users = объемы данных

= business value= project phase



Преимущества IBM Netezza

7

Скорость: 10-100x быстрее традиционных Простота: Минимум подстройки и администр. Масштабы: Пета байты пользователям Умная: Интегрированная аналитика

Лидер технологий data warehouse и аналитике 500+ клиентов, 1000+ систем, 1/3 из Финансов Стратегическая платформа IBM

Простая система для серьезной аналитики.



РСУБД из “коробки»

Внедрение Netezza – простые ответы

8

НЕТ dbspace/tablespace sizing и конфигурации

НЕТ redo/physical log sizing и конфигурации

НЕТ journaling/logical log sizing и конфигурации

НЕТ page/block sizing и настроек для таблиц

НЕТ extent sizing и настроек для таблиц

НЕТ управления temp space БД

НЕТ настроек уровней RAID для dbspaces

НЕТ работы по с логическими томами

НЕТ смысла подстраивать OS kernel

НЕТ необходимости мониторить OS patch levels

НЕТ JAD сессий конфигурирования

host/network/storage

Простое партицирование: HASH или ROUND ROBIN

РезультатыВитрины данных On Demand

“Netezza требуется на 90% меньше усилий DBA, чем для Оракл систем” – Top 5 Investment Management фирма

“Загрузка данных на прежних системах в среднем 6 часов; на Netezza те же загрузки - менее 30 мин”

– Крупный кредитлайнер

“Время ввода новых источников в продуктив сократилось на 40-50% с появлением Netezza” – Top 5 Банк

“В 4 раза меньше ресурсов” – Top 5 Банк

“17 шагов процедуры загрузки стали 6 шагами на Netezza” – Ведущий финансовый регулятор

“Netezza съэкономила 30-40% затрат на разработку и настройку хранилища, на 75% сократила поддержку”

– Top 5 Банк



Производительность Netezza - выше

“Без подстроек Netezza продемонстрировала прирост 20-70 раз на всех наших стандартых запросах.” Лидер рынка аналитики

“Приложение анализа портфелей после миграции с Oracle - быстрее в 200-1000 раз.” Top 5 investment management фирма

“Netezza быстро выдает поиски сквозь 650 TB данных.” - Ведущая Stock exchange

“Общая производительность хранилища выросла на 75%” - US Фин Регулятор

“На Netezza за 25 мин. обрабатываются 850 млн. записей” - Top 5 Банк

“Запросы исполняются в 24-125 раз быстрее с Netezza” – Крупнейший страховщик

“Раньше наш запрос исполнялся 7-9 дней, теперь менее 2 часов.” - Карточный лидер

“85x рост производительности без функциональных компромисов у пользователей ” - Top 5 Кредитный Банк

9



Sources: IDC, Gartner, Tower, IBM MI

Areas of OpportunityКлиентская аналитика Операционная

эффективность и риски

Обязат. отчетность AML/Fraud

Инфраструктура управления инфо

Продвинутая бизнес аналитка

Профилирование, сегментация и адресное взаимодействие с клиентами для повышения удовлетворенности и максимизации бизнес возможностей организации.

Сквозное управление рисками в бизнес

подразделениях для всестороннего риск анлиза

на необходимых срезах данных в рамках принятых

бизнес процессов.

Целостная и преднастроенная

compliance платформа с автоматизированным

управлением безопасностью, контролем

доступа и аудитом транзакций.

Оптимальная по затратам единая платформа

хранения аналитических данных для всех проектов 360град анализа в бизнес

системах по клиентам, каналам, продуктам,

транзакционным данным.

Численные и качественные методы в аналитике для

настраиваемой точности, скорости и гибкости обработки данных в

необходимом формате, для точного предсказания последствий бизнес

решений.

• Advanced Customer Mgmt• Social CRM

• Integrated Risk Mgmt • Audit & Regulatory Compliance

• SII/IFRS• Basel III

• Big Data Appliance• SAS Accelerator• COGNOS Accelerator• IDAA

• NZ Analytics Eco-System



Стэк банковских приложений с IBM Netezza



Финансы: некоторые Netezza заказчики

IBM Software

This information is shared strictly under NDA; Do not distribute.

Bank of America – использование Netezza

Границы проекта• Свыше 2 дюжин приложений для 10 LOB

Enterprise Credit Risk Associate Monitoring Corporate Treasury

Market Risk

DISTRO AUM (product sales rptg)

Card Services GPS-MIS (client profit rptg) CSAR (client sales rptg) CSDR (consumer spending data repository) CRM Services (profit data mart) Merchant Services GBS (UK) CPRO (commercial customer rptg)

• Замена Teradata / Oracle

• BI = MicroStrategy, SAS; ETL = Informatica

IBM Software


NYSE Euronext – МАСШТАБЫ

“NYSE … has replaced an Oracle IO relational database with a data warehousing appliance from Netezza, allowing it to conduct rapid searches of 650 terabytes of data.”

ComputerWeekly.com

Source: http://www.computerweekly.com/Articles/2008/04/14/230265/NYSE-improves-data-management-with-datawarehousing.htm

1 PB на Netezza

7 лет исторических данных

100-200% прирост в год

http://www.computerweekly.com/Articles/2008/04/14/230265/NYSE-improves-data-management-with-datawarehousing.htm

IBM Software


Situation & Effect | Implementation Scope | Improvement Metrics & Results

Управление рыночным риском/ Surveillance:

Ситуация перед внедрением• Запредельные затраты на хранение и

анализ 7 лет исторических данных

• Долгие загрузки, batch windows, медленные запросы; 26 ч для анализа очереди заявок; 7 мин на full floor queries

• Рост обработки на 100-200% в год

Эффекты• Невозможность мастабирования под

требования регуляторов

• Вчерашние данные только после 12дня; нарушение SLAs – угроза репутации NYSE; аналитики занимаются разбиением и подстройками запросов

• Необходимость обработки конъюнктурных пиков торгов и спроса

IBM Software



Внедрение• 500TB на TwinFin (1PB включая DR)

• 300+ пользователей из Market Surveillance, Research, Operations, Finance

• Первое приложение запущено за <2 мес

• ROI после 1 года только за счет СХД


IBM Software



Улучшения• Быстрая аналитика для 7+ лет данных

• Высокая производительность без подстроек для сложных запросов; запросы типа quote depth <2 мин, типа full floor queries < 5 сек

Результаты• Стандартное масштабирование с

добавлением новых data feeds и объемов

• Same-day отчетность регуляторам• Данные закрытия готовы к 4am утра

• Возможность глубокого расследования торговых аномалий


IBM Netezza — Опыт эксплуатации в финансовом...

Documents

Transcript of IBM Netezza — Опыт эксплуатации в финансовом...