Инструменты тестирования Microsoft - в облаке и локально
-
Upload
microsoft -
Category
Technology
-
view
33 -
download
3
Transcript of Инструменты тестирования Microsoft - в облаке и локально
Александр Белоцерковский, Microsoft Россия
Инструменты тестирования Microsoft – в облаке и локально
Семейство Visual Studio
Team ServicesCode
IDE Редактор кода Сервисы для разработчика
На любой платформе
ProductionDevelopment
Collaboration
BACKLOG
REQUIREMENTS
Visual Studio Team Services
Планирование
DevTest Релизы
Мониторинг
Без инфраструктуры | Подписка | Глобальная доступность | Подключение к Visual Studio
Agile Portfolio ManagementKanban
Work item chartsTeam Rooms
Code discussionsВерсионированиеНагрузочное тестированиеУправление тестами
CI и CD
Application InsightsОбратная связь от стейкхолдеров
Браузерный редактор кода
Что будет в докладеТестирование – введение в проблематикуИнструменты – Azure и VSTSВопросы и завершение
Реальный мир сложенБизнес не стоит на месте
Жесткие конкуренты
Time-to-market – ключ к успеху
Проблемы с доставкой ПО
Неэффективный процесс
Задержки
Мало понимания
?
Планирование1 Мониторинг
РелизРазработка и тестирование
2
Разработка
Продакшен
Современный цикл разработки ПОDevOps
4
3
Анализ эксплуатации:
Трудности в мониторинге доступность приложения и производительности.Трудности в поиске причин отказов.
Трудно назначить приоритеты для будущей работы.
ЭксплуатацияРазработкаСовместная
работа
БД леглаКлиент на iPhone не работаетРегистраций нетЗапросы тормозятПинги большие…Установлен Windows на MacBook, курсор тормозит когда навожу на кнопку
Пишем код
Мониторим
2
Собираем
Анализируем
Верифицируем
Релиз
Разработка и тестирование
Мониторинг
Code Repository Build + Deploy Load Testing Release Management
Application Insights and HockeyApp
Visual Studio
AzureEclipse / Xcode
Visual Studio Team Services: Application Insights
Application InsightsТелеметрия собирается везде1
Телеметрия отправляется в облако (есть оффлайн-режим)
Телеметрия проходит анализ и выводится на портал3
2360° View360° View
Application Insightподдерживает
AI используется
В Microsoft Real Madrid
• 400 миллионов фанатов -> использование кросс-платформенных проектов -> кросс-платформенные проекты должны работать безотказно
• AI используется для телеметрии этого проекта
github.com/Microsoft/ApplicationInsights-Home
%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@
Application InsightsДемонстрация. Много проектов – один портал
Резюме AI – средство больше для разработки,
нежели маркетинга Близкий к реальному времени
мониторинг Хотите знать о проблеме перед ее появлением? Используйте AI Регистрации не идут? Используйте AI Процесс отладки выпрямляется и упрощается
Упрощение сложных задач Как отслеживать поведение пользователей? Интегрируйте AI в приложение и на сервер
А если еще нет пользователей?
Нагрузочное тестированиеНагрузочные тесты состоят из серии Web performance или unit тестов, которые запускаются параллельно в течении некоторого периода времени.
Code Repository Build + Deploy Load Testing Release Management
Application Insights and HockeyApp
Visual Studio
AzureEclipse / Xcode
Visual Studio Team Services: нагрузочное тестирование
VSTS – предоставляемые ресурсы
Нагрузочное тестирование
Бесплатно: 20,000 минут (Virtual User) в месяцМожно купить: $0.0004\минутаТребуется Visual Studio Ultimate
Сборка
Бесплатно: 240 минут в месяцМожно купить дополнительно: $0.05\минута
http://visualstudio.com/
%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@
Нагрузочное тестирование и Application InsightsДемонстрация. Нагрузочное тестирование
А когда уже есть пользователи?
%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@
Mobile EngagementДемонстрация. Взаимодействие с пользователями
Azure DevTest Lab
Контакты
Александр Белоцерковский{Microsoft Russia | DX | Tech Evangelist Cloud, Internet Of Things & HPC}[email protected]; @ahriman_ru; ahriman.ruhttp://blogs.msdn.com/b/albe
© 2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Спасибо за внимание!