Реляционное моделирование для экстремального масштабирования хранилищ данных
Перспективы тестирования хранилищ данных и BI систем
description
Transcript of Перспективы тестирования хранилищ данных и BI систем
Докладчик
Светлана Родионова
Testing Team Lead in EPAM
БГУ радиофизика
опыт работы в IT 5 лет
skype: svetlana_kolopenko
Перспективы тестирования хранилищ данных и BI систем
Светлана Родионова. EPAM Systems
Сложно?
НЕТ!
Заманчиво
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
Что такое DWH/BI
Кто использует BI системы?
- Главный/технический директор(CEO/CTO)- Главы отделов и управлений- …
Зачем понадобились BI системы
Зачем понадобились BI системы
Невозможно использовать существующие БД Необходимо трансформировать данные в
информацию Необходимо выработать единые методологии
и алгоритмы внутри компании Растут объемы данных и нагрузки
Эффективное принятие решений
Что такое DWH/BI
BI – это технология и программное решение для сбора и анализа данных,с целью оптимизации принятия решений.
Источником информации в BI является хранилище данных (DWH)
Характеристики хранилищ
предметная ориентированность
интегрированность
историчность
стабильность
нацеленность на принятие решений
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%Преимущества от внедрения BI (по BARC)
Преимущества BI-систем в цифрах
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
Архитектура DWH/BI
источники
DWH хранилище
Анализ
Отчетность
Архитектура DWH/BI
STAGINGSTORE
MARTS
Архитектура DWH/BI
STAGINGSTORE
MARTS
STAGING
Захват• Данные real-
time• Потеря/
порча/дублирование данных
Трансформация• Разные
форматы• Переименования
Очистка• Изоляция
ошибочных записей
+ Performance загрузки
Архитектура DWH/BI
STAGING MARTSSTORE
STORE
Загрузка/Чистка• Частичная
загрузка• Изоляция ошибок
Консолидация• Неверные
бизнес правила• Пропущенные
записи
Подготовка• Логические
ошибки в построении
+ Performance загрузки
STAGING - STORE
Select * from source minus select * from target
SOURCE TARGET
Диаграммы Маппинг
Архитектура DWH/BI
STAGINGSTORE
MARTS
MARTS
Агрегация• Ошибки агрегирующих
функций• Фильтры
Предрасчеты• Ошибки расчетов• Неверная логика
расчетов
STGbuild1
STORE MARTS1
ETL2STORE MARTS2
Сравнить тестовые результаты
КАК тестировать постоянно изменяющиеся системы?
Регрессия
STGbuild2
ETL1
ETL2
ETL1
Архитектура DWH/BI
источники
DWH хранилище
Анализ
Отчетность
Архитектура DWH/BI
Анализ
Отчетность
AD HOC
PRINT READY
Анализ и отчетность
Data Mart
Отчетность
Отчетность
Данные• Ошибки в
запросах в базе• Неверная логика
отчетов
Структура• Неверная
структура или /и формат
• Drills
Расчеты• Ошибки в
расчете метрик
+ Performance отчетов
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
Кто такой QA в BI?
Кто такой QA в BI?
- Знания DW/BI
- SQL
- ETL
- OLAP
- Опыт автоматизации
- Комплексное тестовое окружение
- Менеджмент
- Специфика BI и заказчиков
Вопросы ?