© 2011 IBM Corporation

WebSphere

Управление тестовыми средами и деперсонализация данных

IBM InfoSphere Optim Data Privacy

Юрий Кочубеев, IBM SWG YKochubeev@ru.ibm.com

© 2010 IBM Corporation

Содержание

Почему решение IBM InfoSphere Optim?

Проблема: Недостатки обычных стратегий подготовки тестовых сред

Решение: Эффективный процесс управления тестовыми средами

Создание тестовых данных и маскирование

Функция сравнения для контроля качества и аудита маскирования

© 2010 IBM Corporation

Почему решение IBM InfoSphere Optim?

– Лидер рынка согласно отчёту Gartner (76%)

– Более 2,500+ заказчиков в мире

– Решение для больших компаний – гетерогенное, маштабируемое,

гибкое, низкая стоимость обслуживания. Поддержка основных СУБД

(LUW и систем Z)

– Интеграция с другими IBM продуктами: поиск связей данных(InfoSphere

Discovery), archiving, content management, data transformation, data

viewing, database security management, и т.п.

© 2010 IBM Corporation

Information Governance

Разработка и Тестирование

Проверка результатов

тестирования

Методики управления данными на протяжении их жизненного цикла

Выявление и определение

Оптимизация, архивирование и доступ

Консолидация выведение неактуальных данных

Определение политик

Доступ к архивным данным

Обеспечение сохранности

неактуальных данных

Создание и обновление

тестовых данных

Разработка структуры

Управление ростом данных

Улучшение производительно

сти

Выведение неактивных данных из опреативной

работы

Классификация и определение

структуры данных

Обнаружение данных

© 2010 IBM Corporation

Проблемы возникающие при неправильном подходе к организации тестовых сред

Самодельные «Лоскутные» решения не являются эффективными:

– Длительные циклы разработки

– Необходимо выделение персонала

– Постоянное обслуживание

– Обычно «заточено» под одну конкретную задачу

Невозможно полноценно отслеживать все взаимосвязи в постоянно

изменяющемся продуктивном окружении

Сложно обеспечить подготовку тестовых данных в срок (DBA и разработчики

далеко не всегда имеют одинаковые интересы)

Простое клонирование продуктива приводит созданию огромной

избыточности:

– Существенно повышается требование к подсистеме хранения

– Создание клонов очень длительный процесс

– Каждое создание клона это проявление «Героизма» - трудно тиражируется

Клоны никак не решают проблемы деперсонализации данных

Develop & Test

© 2010 IBM Corporation

Решение Optim Test Data Management

Быстрое и качественное внедрение новой функциональности

Простое обновление и управление информацией в тестовых средах

Снижение стоимости хранения и поддержки

Создание ссылочно целостных усеченных копий тестовых баз

Автоматически выявлять ошибки в результатах тестирования

Сократить время итераций тестирования для ускорения выхода на рынок

Требования

Преимущества

Создание тестовых сред ОПТИМАЛЬНОГО размера

Develop & Test

© 2010 IBM Corporation

Test Data Management (TDM): Что и Почему?

Что? Почему? TDM подразумевает управление данными

используемыми в тестовых и других не

продуктивных окружениях

Ваша компания сможет внедрять

нововведения/улучшения быстрее, не

сталкиваясь с проблемами качества – позволяет повысить выручку

Выделение специализированных

подмножеств данных, предназначенных

именно для работы тестируемой

функциональности

Ваша компания сможет использовать IT

ресурсы более эффективно – Снижение издержек

Деперсонализация (маскирование) данных

для обеспечения безопасности и

приватности Ваша компания сможет безопасно

внедрять новые версии

информационных систем – Обеспечит хороший имидж компании перед

клиентами

Сравнение тестовых данных “До” и “После”

© 2010 IBM Corporation

IBM InfoSphere Optim Solutions Управление жизненым циклом данных в гетерогенной среде СУБД

Создание специализированных

облегченных, тестовых окружений

Замена секретной информации

функционально идентичной и

контекстно зависимой

Простое обновление, возврат в

исходное состояние и управление

тестовыми окружениями

Сравнение наборов данных для

быстрого выявления ошибок в

приложениях

Ускорить сроки выпуска релизов

© 2010 IBM Corporation

Обеспечение приватности данных

Организации нуждаются в деперсонализации, маскировке и подмене критических данных

Организации могут обеспечивать КОНТРОЛИРУЕМЫЙ процесс деперсонализации для устранения утечек, и возможности ДОКАЗЫВАТЬ невозможность утечки.

Все этапы деперсонализации сохраняются в системе для анализа того насколько качественно было произведено сокрытие данных, например для прохождения аудита на соответствие стандартам безопасности

© 2010 IBM Corporation

InfoSphere Optim Test Data Management Define masking criteria

Маскировать или деперсонализовать критически важные данные, которые

могут быть использованы для удостоверения личности

Гарантировать что маскированные данные связаны с контекстом, и таким

образом не препятствуют процессу тестирования:

• Данные реалистичны, но при этом «Вымышлены»

• Маскированные данные при этом удовлетворяют наложенным

ограничениям (Диапазон, контрольные суммы для банковских счетов)

Обеспечена ссылочная целостность маскированных элементов чтобы не

препятствовать тестированию

АЛЕКСЕЙ ТОЛСОТОЙ КОЗЬМА ПРУТКОВ

Develop & Test

© 2010 IBM Corporation

Маскирование с сохранением ссылочной целостности

Cust ID Item # Order Date

27645 80-2382 20 June 2004

27645 86-4538 10 October 2005

Таблица «Клиенты»

Таблица «Заказы»

Cust ID Name Street

08054 Alice Bennett 2 Park Blvd

19101 Carl Davis 258 Main

27645 Elliot Flynn 96 Avenue

Исходные данные

Cust ID Item # Order Date

10002 80-2382 20 June 2004

10002 86-4538 10 October 2005

Cust ID Name Street

10000 Auguste Renoir Mars23

10001 Claude Monet Venus24

10002 Pablo Picasso Saturn25

Деперсонализованные данные

Обеспечена ссылочная целостность

Таблица «Клиенты»

Таблица «Заказы»

© 2010 IBM Corporation

Решение: эффективный процесс управления тестовыми данными

1. Extract(создание подмножества)

2. Convert(обезличивание)

3. Compare(сравнение)

4. Insert/Load(создание тестов)

Convert(обезличивание)

5. Edit (качество данных)

6. Extract(создания оригинала)

7. Test(тестирование)

8. Compare(анализ и

подтверждение тестов)

© 2010 IBM Corporation

Создание подмножества тестовых данных

Создание подмножества данных с соблюдением ссылочной целостностии

Обезличивание данных для защиты кофиденциальности

Возможность вставки данных в другую базу данных в том числе гетерогенную

Применяется для создания баз данных для тестирования, обучения и аутсорсинга

© 2010 IBM Corporation

Создание подмножества тестовых данных

Develop & Test

Методы определения

подмножества

– Ручной выбор строк в

редакторе

– Выборка SQL

– Каждая н-нная строка

– Ограничение по

количеству строк в

таблице

– Лимит по foreign key

– Группировки

© 2010 IBM Corporation

Ручной выбор строк в редакторе

Выбор отдельных

строк из стартовой

таблицы

Сохранение списка

строк

Функция JOIN для

просмотра

связанных строк

© 2010 IBM Corporation

Загрузка тестовых данных

Модель данных и целевая СУБД могут быть изменены

Определения объектов используются для создания новых таблиц

Файл источник данных остаётся не изменным

Создание тестовых данных можно запускать сразу или отложить

© 2010 IBM Corporation

Загрузка данных нативными методами (Load)

Трансформация данных под индивидульный нативный загрузчик СУБД

Генерация соответствующего файла данных для каждой таблицы

Генерация SQL/BAT файла для загрузчика СУБД

© 2010 IBM Corporation

Сравнение загрузки(load) данных и вставки(insert)

Загрузка данных осуществляется гараздо быстрее

Ссылочная целостность может ограничивать возможность вставки всех

данных

Загрузчики ограничивают доступ пользователей; Вставка данных оставляет

базу данных доступной

Загрузчик может вставить или заменить существующие данные

Вставка позволяет сделать Update/Insert в одной ступени

© 2010 IBM Corporation

Качество данных, редактирование

Просмотр тестовой базы данных на проверку качества данных в

реляционном контексте

Создание условий для тестирования

Инспектирование и корректирование проблемных данных

Единое средство для всех вендоров СУБД

© 2010 IBM Corporation

Сравнение

Сравнение ссылочно целостных подмножеств данных в одном окне

Определение разницы между базами данных

Сравнение результатов до и после тестирования приложений в

регрессированном тестировании

Сравнение данных до и после с помощью обезличинного файла для целей

аудита маскирования

© 2010 IBM Corporation

Объектная модель сравнения

© 2010 IBM Corporation

Маскирование

Защита конфиденциальных данных для систем тестирования, обучения и

разработки

Встроенные контекстные функции маскирования

LUA скрипты для создания собственных функций маскирования (БИК, ИНН)

Запускается как отдельный процесс или как часть

вставки/загрузки(Insert/Load)

© 2010 IBM Corporation

Компоненты маскирования

© 2010 IBM Corporation

Редактор маскирования

Колоночные функции

Стадия маскирования:

– Отдельно

– Insert/Load

Сравнение результатов

(Аудит маскирования)

Заполнение тестовой

среды

© 2010 IBM Corporation

Маскирование с «пропогацией»

Соблюдение ссылочной целосности с пропогацией ключа

© 2010 IBM Corporation

Справочные функции

Keyed Lookup

Random Lookup

Hash Lookup

Стандартные справочники

Пользовательские справочники

LOOKUP(STATE,STATE_LOOKUP(CODE,NAME))

RAND_LOOKUP(CUSTOMERS,STATE,500)

HASH_LOOKUP(ADDRESS,DEST=(ADDRESS,CITY)

,OPTIM.US_ADDRESSES(SEQ,SOURCE=(ADDRES

S1,CITY)))

© 2010 IBM Corporation

Контекстное маскирование

Социальные карты

Номера банковских карт

Email адреса

© 2010 IBM Corporation

Примеры функций

© 2010 IBM Corporation

Встроенный язык Optim LUA

Optim LUA позволяет создавать собственные функций маскирования

например для БИК или ИНН

Простой интерфейс с языком С

© 2010 IBM Corporation

Пример формата структуры языка Optim LUA

© 2010 IBM Corporation

Приемущества Оптим

Извлечение подмножества данных из гетерогенной среды соблюдая

ссылочную целостность

Единый набор объектно направленных интегрированных инструментов для

всех операций Маскирования: Discover, Extract, Edit, Compare, Create,

Refresh

Мощные и полноценные инструменты поиска объектов: App. Repository

Analyzer и InfoSphere Discovery

Маскирование данных в гетерогенной среде с соблюдением ссылочной

целостности

Быстрое обновление тестовых данных по запросу не касаясь боевой базы

Коннекторы приложений: SAP, OEBS, PeopleSoft, JD Edwards, Siebel,

AMDOCS. Нативная поддержка Z.