Управление тестовыми средами и деперсонализация...
-
Upload
yury-kochubeev -
Category
Software
-
view
218 -
download
11
description
Transcript of Управление тестовыми средами и деперсонализация...
© 2011 IBM Corporation
WebSphere
Управление тестовыми средами и деперсонализация данных
IBM InfoSphere Optim Data Privacy
Юрий Кочубеев, IBM SWG [email protected]
© 2010 IBM Corporation
Содержание
Почему решение IBM InfoSphere Optim?
Проблема: Недостатки обычных стратегий подготовки тестовых сред
Решение: Эффективный процесс управления тестовыми средами
Создание тестовых данных и маскирование
Функция сравнения для контроля качества и аудита маскирования
© 2010 IBM Corporation
Почему решение IBM InfoSphere Optim?
– Лидер рынка согласно отчёту Gartner (76%)
– Более 2,500+ заказчиков в мире
– Решение для больших компаний – гетерогенное, маштабируемое,
гибкое, низкая стоимость обслуживания. Поддержка основных СУБД
(LUW и систем Z)
– Интеграция с другими IBM продуктами: поиск связей данных(InfoSphere
Discovery), archiving, content management, data transformation, data
viewing, database security management, и т.п.
© 2010 IBM Corporation
Information Governance
Разработка и Тестирование
Проверка результатов
тестирования
Методики управления данными на протяжении их жизненного цикла
Выявление и определение
Оптимизация, архивирование и доступ
Консолидация выведение неактуальных данных
Определение политик
Доступ к архивным данным
Обеспечение сохранности
неактуальных данных
Создание и обновление
тестовых данных
Разработка структуры
Управление ростом данных
Улучшение производительно
сти
Выведение неактивных данных из опреативной
работы
Классификация и определение
структуры данных
Обнаружение данных
© 2010 IBM Corporation
Проблемы возникающие при неправильном подходе к организации тестовых сред
Самодельные «Лоскутные» решения не являются эффективными:
– Длительные циклы разработки
– Необходимо выделение персонала
– Постоянное обслуживание
– Обычно «заточено» под одну конкретную задачу
Невозможно полноценно отслеживать все взаимосвязи в постоянно
изменяющемся продуктивном окружении
Сложно обеспечить подготовку тестовых данных в срок (DBA и разработчики
далеко не всегда имеют одинаковые интересы)
Простое клонирование продуктива приводит созданию огромной
избыточности:
– Существенно повышается требование к подсистеме хранения
– Создание клонов очень длительный процесс
– Каждое создание клона это проявление «Героизма» - трудно тиражируется
Клоны никак не решают проблемы деперсонализации данных
Develop & Test
© 2010 IBM Corporation
Решение Optim Test Data Management
Быстрое и качественное внедрение новой функциональности
Простое обновление и управление информацией в тестовых средах
Снижение стоимости хранения и поддержки
Создание ссылочно целостных усеченных копий тестовых баз
Автоматически выявлять ошибки в результатах тестирования
Сократить время итераций тестирования для ускорения выхода на рынок
Требования
Преимущества
Создание тестовых сред ОПТИМАЛЬНОГО размера
Develop & Test
© 2010 IBM Corporation
Test Data Management (TDM): Что и Почему?
Что? Почему? TDM подразумевает управление данными
используемыми в тестовых и других не
продуктивных окружениях
Ваша компания сможет внедрять
нововведения/улучшения быстрее, не
сталкиваясь с проблемами качества – позволяет повысить выручку
Выделение специализированных
подмножеств данных, предназначенных
именно для работы тестируемой
функциональности
Ваша компания сможет использовать IT
ресурсы более эффективно – Снижение издержек
Деперсонализация (маскирование) данных
для обеспечения безопасности и
приватности Ваша компания сможет безопасно
внедрять новые версии
информационных систем – Обеспечит хороший имидж компании перед
клиентами
Сравнение тестовых данных “До” и “После”
© 2010 IBM Corporation
IBM InfoSphere Optim Solutions Управление жизненым циклом данных в гетерогенной среде СУБД
Создание специализированных
облегченных, тестовых окружений
Замена секретной информации
функционально идентичной и
контекстно зависимой
Простое обновление, возврат в
исходное состояние и управление
тестовыми окружениями
Сравнение наборов данных для
быстрого выявления ошибок в
приложениях
Ускорить сроки выпуска релизов
© 2010 IBM Corporation
Обеспечение приватности данных
Организации нуждаются в деперсонализации, маскировке и подмене критических данных
Организации могут обеспечивать КОНТРОЛИРУЕМЫЙ процесс деперсонализации для устранения утечек, и возможности ДОКАЗЫВАТЬ невозможность утечки.
Все этапы деперсонализации сохраняются в системе для анализа того насколько качественно было произведено сокрытие данных, например для прохождения аудита на соответствие стандартам безопасности
© 2010 IBM Corporation
InfoSphere Optim Test Data Management Define masking criteria
Маскировать или деперсонализовать критически важные данные, которые
могут быть использованы для удостоверения личности
Гарантировать что маскированные данные связаны с контекстом, и таким
образом не препятствуют процессу тестирования:
• Данные реалистичны, но при этом «Вымышлены»
• Маскированные данные при этом удовлетворяют наложенным
ограничениям (Диапазон, контрольные суммы для банковских счетов)
Обеспечена ссылочная целостность маскированных элементов чтобы не
препятствовать тестированию
АЛЕКСЕЙ ТОЛСОТОЙ КОЗЬМА ПРУТКОВ
Develop & Test
© 2010 IBM Corporation
Маскирование с сохранением ссылочной целостности
Cust ID Item # Order Date
27645 80-2382 20 June 2004
27645 86-4538 10 October 2005
Таблица «Клиенты»
Таблица «Заказы»
Cust ID Name Street
08054 Alice Bennett 2 Park Blvd
19101 Carl Davis 258 Main
27645 Elliot Flynn 96 Avenue
Исходные данные
Cust ID Item # Order Date
10002 80-2382 20 June 2004
10002 86-4538 10 October 2005
Cust ID Name Street
10000 Auguste Renoir Mars23
10001 Claude Monet Venus24
10002 Pablo Picasso Saturn25
Деперсонализованные данные
Обеспечена ссылочная целостность
Таблица «Клиенты»
Таблица «Заказы»
© 2010 IBM Corporation
Решение: эффективный процесс управления тестовыми данными
1. Extract(создание подмножества)
2. Convert(обезличивание)
3. Compare(сравнение)
4. Insert/Load(создание тестов)
Convert(обезличивание)
5. Edit (качество данных)
6. Extract(создания оригинала)
7. Test(тестирование)
8. Compare(анализ и
подтверждение тестов)
© 2010 IBM Corporation
Создание подмножества тестовых данных
Создание подмножества данных с соблюдением ссылочной целостностии
Обезличивание данных для защиты кофиденциальности
Возможность вставки данных в другую базу данных в том числе гетерогенную
Применяется для создания баз данных для тестирования, обучения и аутсорсинга
© 2010 IBM Corporation
Создание подмножества тестовых данных
Develop & Test
Методы определения
подмножества
– Ручной выбор строк в
редакторе
– Выборка SQL
– Каждая н-нная строка
– Ограничение по
количеству строк в
таблице
– Лимит по foreign key
– Группировки
© 2010 IBM Corporation
Ручной выбор строк в редакторе
Выбор отдельных
строк из стартовой
таблицы
Сохранение списка
строк
Функция JOIN для
просмотра
связанных строк
© 2010 IBM Corporation
Загрузка тестовых данных
Модель данных и целевая СУБД могут быть изменены
Определения объектов используются для создания новых таблиц
Файл источник данных остаётся не изменным
Создание тестовых данных можно запускать сразу или отложить
© 2010 IBM Corporation
Загрузка данных нативными методами (Load)
Трансформация данных под индивидульный нативный загрузчик СУБД
Генерация соответствующего файла данных для каждой таблицы
Генерация SQL/BAT файла для загрузчика СУБД
© 2010 IBM Corporation
Сравнение загрузки(load) данных и вставки(insert)
Загрузка данных осуществляется гараздо быстрее
Ссылочная целостность может ограничивать возможность вставки всех
данных
Загрузчики ограничивают доступ пользователей; Вставка данных оставляет
базу данных доступной
Загрузчик может вставить или заменить существующие данные
Вставка позволяет сделать Update/Insert в одной ступени
© 2010 IBM Corporation
Качество данных, редактирование
Просмотр тестовой базы данных на проверку качества данных в
реляционном контексте
Создание условий для тестирования
Инспектирование и корректирование проблемных данных
Единое средство для всех вендоров СУБД
© 2010 IBM Corporation
Сравнение
Сравнение ссылочно целостных подмножеств данных в одном окне
Определение разницы между базами данных
Сравнение результатов до и после тестирования приложений в
регрессированном тестировании
Сравнение данных до и после с помощью обезличинного файла для целей
аудита маскирования
© 2010 IBM Corporation
Объектная модель сравнения
© 2010 IBM Corporation
Маскирование
Защита конфиденциальных данных для систем тестирования, обучения и
разработки
Встроенные контекстные функции маскирования
LUA скрипты для создания собственных функций маскирования (БИК, ИНН)
Запускается как отдельный процесс или как часть
вставки/загрузки(Insert/Load)
© 2010 IBM Corporation
Компоненты маскирования
© 2010 IBM Corporation
Редактор маскирования
Колоночные функции
Стадия маскирования:
– Отдельно
– Insert/Load
Сравнение результатов
(Аудит маскирования)
Заполнение тестовой
среды
© 2010 IBM Corporation
Маскирование с «пропогацией»
Соблюдение ссылочной целосности с пропогацией ключа
© 2010 IBM Corporation
Справочные функции
Keyed Lookup
Random Lookup
Hash Lookup
Стандартные справочники
Пользовательские справочники
LOOKUP(STATE,STATE_LOOKUP(CODE,NAME))
RAND_LOOKUP(CUSTOMERS,STATE,500)
HASH_LOOKUP(ADDRESS,DEST=(ADDRESS,CITY)
,OPTIM.US_ADDRESSES(SEQ,SOURCE=(ADDRES
S1,CITY)))
© 2010 IBM Corporation
Контекстное маскирование
Социальные карты
Номера банковских карт
Email адреса
© 2010 IBM Corporation
Примеры функций
© 2010 IBM Corporation
Встроенный язык Optim LUA
Optim LUA позволяет создавать собственные функций маскирования
например для БИК или ИНН
Простой интерфейс с языком С
© 2010 IBM Corporation
Пример формата структуры языка Optim LUA
© 2010 IBM Corporation
Приемущества Оптим
Извлечение подмножества данных из гетерогенной среды соблюдая
ссылочную целостность
Единый набор объектно направленных интегрированных инструментов для
всех операций Маскирования: Discover, Extract, Edit, Compare, Create,
Refresh
Мощные и полноценные инструменты поиска объектов: App. Repository
Analyzer и InfoSphere Discovery
Маскирование данных в гетерогенной среде с соблюдением ссылочной
целостности
Быстрое обновление тестовых данных по запросу не касаясь боевой базы
Коннекторы приложений: SAP, OEBS, PeopleSoft, JD Edwards, Siebel,
AMDOCS. Нативная поддержка Z.