Михаил Сидоров, «АБАК-ПРЕСС»

Функциональное тестирование

Что мы делаем в «АБАК-ПРЕСС»

в сутки: 230 000 посетителей, 800 000 просмотров

в сутки: 33 000 посетителей, 92 000 просмотров

в сутки: 6 000 посетителей, 22 000 просмотров

в сутки: 3 000 посетителей, 7 400 просмотров

2010 год• 8 человек в отделе, тестировщиков нет

• тестирования нет, задачи проверяют проектные менеджеры

• что надо было сделать:

• выпускать вовне меньше ошибок

• проверки на уязвимости

• usability-проверки

2012 год• ≈30 человек в отделе; 4,5 тестировщика + 1 в плане

• отдельный сервер функционального тестирования

• покрытие тестами 60-80%%

Что было в плане• модульное тестирование кода разработчиками

• контроллеры

• модели

• хелперы

• вёрстка + JavaScript

• функциональное тестирование тестировщиками

• корректности

• единообразия

• безопасности

• и все-все-все: нагрузочное, юзабилити, ещё какое-

нибудь

Как начиналось

Программисты не любят тестирование,а проектные менеджеры его не понимают.

•тестирование — обязанность отдельного человека

•закладывать время на тестирование

•ликвидация безграмотности

Перегрузка информацией.

Загрубляем свои хотелки, идём от меньшего к большему.

Серверная часть тестовCI Joe (https://github.com/defunkt/cijoe):

• быстро• качественно• дорого!

В траурную рамочку егоЛокальный мем преподавателей мат-меха

Клиентская часть тестовSahi (http://sahi.co.in/w/)

Что такое Sahi и с чем его едятSelenium

•запись в Firefox (IDE)

•воспроизведение через

эмуляцию драйверами

•работа с DOM «руками»

•можно запускать на сервере

•поддержка нескольких ЯП

•есть возможность скриншотить

•можно запускать без браузера

•высокий порог вхождения

•стабильный надёжный проект

Sahi

•запись в популярных браузерах

•обширный функционал DOM

•можно запускать на сервере

•поддержка Java и Ruby

•скриншоты в платной версии

•запуск только с браузером

•низкий порог вхождения

•весело, но рискованно

На что ещё наткнулись

• не всё можно автоматизировать

• проверенное считается работающим

• инструменты подводят

• переписывание тестов при изменении

вёрстки

• время на написание новых тестов, конечно

• а надо ли проверять техническую часть?

• производительность не то, чем она кажется

И зачем нам автоматизация?

• проверка уже проверенного

• логирование

• расширяемость

• портируемость

Что получили

• интегрировали тестирование в процесс разработки

• ошибок на внешних серверах стало меньше

• убрали несколько серьёзных уязвимостей

• для новых задач ввели проверки на уязвимости

• ищем инструмент для проверки вёрстки