Подход к тестированию хранилища данных на базе MS SQL Server

Software quality assurance days18 Международная конференция по вопросам качества ПОsqadays.com

Москва. 27–28 ноября 2015

Юлия КрючковаKaspersky Lab. Москва, Россия

Подход к тестированию хранилища данных на базе MS SQL Server


IT DepartmentIT DepartmentDWH Development


• Информационная БД• Содержит данные, поступающие из

различных оперативных бд и внешних источников

• Предназначена для подготовки отчётов и бизнес-анализа

• Данные доступны только для чтения.

Data WareHouse


Data Flow


Testing types

Интеграционное тестирование Функциональное тестирование Тестирование производительности Регрессионное тестирование Пользовательское приемочное тестирование


??? Framework Choice ???


tSQLt

Изолированный запуск тестов Удобство копирования теста с нуля Удобство анализа результатов Сравнение целых таблиц


2

3

2

4

=


tSQLt. Integration Для облегчения создания тестов необходима библиотека, на которую должна быть ссылка в проекте тестов.


tSQLt. Test method[TestMethod] public void DWH_Etl_Dictionaries_Test_add() { // Добавить новую запись в источник. ApplyScript("DWH.Dictionaries.Test.source.add-source.sql");

// Добавить новую запись в ожидаемый набор ApplyScript("DWH.Dictionaries.Test.expected.add-expected.sql"); // Запустить пакет ExecSsis(packageName); // Проверить, что новая запись в DWH появилась. RunTest("[UnitTests].[Test_Add]");

}


Procedure for a procedure

Хранимая процедура для вычисления определённой сущности нуждается в написании отдельной хранимой процедуры для проверки полученного результата.


DECLARE @Values TABLE (@Data,@ EXPECTED)

INSERT INTO @Values (@Data,@ EXPECTED) VALUES (тестовые данные, созданные с помощью PICT Tool)

DECLARE date_cursor CURSOR FORSELECT (@Data,@ EXPECTED) FROM @Values

• • •

SELECT @RES = [DWH.Stage].tmp_sales.GetSalesAccountingDate(@Data);

EXEC tSQLt.AssertEquals @expected = @EXPECTED, @Actual = @RES, @message = @MES;

• • •

Procedure example


Test Manager


Run tests


Performance Testing

Определение предмета тестирования Согласование цифр:

интервал времени запуска импорта; скорость импорта данных; объём исторических данных; объём изменяющихся данных.


Test data via scriptINSERT INTO [dbo].[ProductList]

([ProductID], [ModifiedDate]) SELECT TOP 5000000

ROW_NUMBER() OVER (ORDER BY s1.[object_id]) ,GETUTCDATE()

FROM [sys].all_columns s1 CROSS JOIN [sys].all_columns s2GO

INSERT INTO [dbo].[Sales] ([SalesGUID] ,[ProductID])

SELECT NEWID() ,[ProductID] FROM [dbo].[ProductList]GO


Test data via ETL


UAT

Заказчик определяет Критерии приемки Заказчик определяет Сущности («разрез» данных)

приемки Заказчик определяет реестр приемлемых

расхождений


Problems В тесте возможно запустить пакет только из одного SSIS проекта.

<profiles>

<user name="kryuchkova"

ssis-packages-location = "..\..\..\..\..\Source\Etl\DWH.Etl.Dictionaries\bin\Development\DWH.Etl.Dictionaries.ispac“

ssis-packages-config="E:..\..\..\..\..\Source\Etl\Configurations\Kryuchkova.dtsConfig“

connection="Data Source=testdb.ru;Initial Catalog=DWH;Integrated Security=True;Pooling=False"> </user>

</profiles>


The end …

Фиксация тест-кейсовАвтоматизация основной логики процессаРучные тесты имеют место бытьСогласование UAT в начале проектаОсобое внимание уделить тестированию

производительности

Подход к тестированию хранилища данных на базе MS SQL Server

Education

Transcript of Подход к тестированию хранилища данных на базе MS SQL Server