Dla zawodników. Najważniejsze informacje.Radek Smilgin

Reguły zawodów

Reguły ogólne TestingCup

• W fazie testowania i raportowania defektów komunikacja jest ograniczona w poniższym zakresie:

1. Uczestnicy indywidualni mogą komunikować się tylko z Komisją Sędziowską2. Członkowie jednej drużyny mogą komunikować się ze sobą3. Kapitanowie drużyn mogą komunikować się z Komisją Sędziowską

• W fazie testowania i raportowania komunikacja jest całkowicie zabroniona:

1. Pomiędzy członkami różnych drużyn2. Pomiędzy uczestnikami indywidualnymi3. Pomiędzy członkami drużyn a uczestnikami indywidualnymi4. Pomiędzy uczestnikami testującymi oprogramowanie a widzami5. Pomiędzy uczestnikami testującymi oprogramowanie a innymi osobami niebiorącymi udziału w Mistrzostwach

Reguły ogólne TestingCup

• W fazach testowania i raportowania defektów bezwzględnie zabronione jest:

1. Używanie debugerów i dekompilatorów2. Korzystanie ze sprzętów elektronicznych, na przykład: telefony komórkowe i tablety do celów innych niż komunikacja w zespole3. Korzystanie z innych urządzeń […](podłączonych przewodowo lub bezprzewodowo), w tym pendrive’ów (z wyjątkiem tych dostarczonych przez Organizatora).

Reguły ogólne TestingCup

• Opuszczanie sali w trakcie fazy testowania i raportowania defektów jest możliwe z poniższymi zastrzeżeniami:

1. Nie można opuszczać swojego stanowiska przez pierwsze 20 minut po rozpoczęciu fazy testów2. Należy przebywać przy swoim stanowisku przez ostatnie 20 minut przed zakończeniem fazy testów3. W trakcie opuszczania i powrotu do stanowiska nie można przeszkadzać innym uczestnikom Mistrzostw4. W jednym czasie, poza stanowiskiem, może przebywać tylko jeden członek drużyny5. Opuszczenie stanowiska jest możliwe po uzgodnieniu tego z osobą wyznaczoną przez Organizatora

runda 1 - Eliminacje

Runda 1 - Eliminacje

• Eliminacje polegają na:1. Rozwiązywaniu zadań związanych z poszukiwaniem defektów2. Raportowaniu znalezionych defektów

• Liczba miejsc w Finale• 10 zawodników indywidualnych• 10 drużyn

• Liczy się kolejność zgłoszeń!• W przypadku równej liczby punktów do finały przechodzą te drużyny i Ci

zawodnicy indywidualni, którzy ukończyli zadanie wcześniej (oddali raport)

Runda 1 - Eliminacje

• Rozpoczęcie pracy – sprawdź czy ikona jest zielona

Runda 1 - Eliminacje

Wersja: Lider / Zawodnik indywidualny Wersja: Członek drużyny

Runda 1 - Eliminacje

• Reguły punktacji:• Punkty są przypisane do każdego zadania (od 1 do 4 punkty)• Zdobycie punktów jest możliwe tylko przy spełnieniu reguł:

• w aplikacji Mr Buggy 3 uruchomionej na wersji lidera albo zawodnika indywidualnego zostanie zreprodukowany dany defekt bezpośrednio przed zgłoszeniem defektu

• Pamiętaj, że nawigacja po pytaniach i odświeżenie zeruje kroki reprodukcji

• zostanie wskazana poprawna kategoria defektu

• uzupełnienie opisu o zrozumiały i poprawny raport defektu

• W przypadku niewypełnienia jednej z reguł za zadanie przyznawany jest punkt ujemny (-1 pkt).

• W przypadku braku udzielenia odpowiedzi punkty nie są przyznawane

Runda 1 - Eliminacje

• Zgłaszanie defektów• Kategoria defektów „Inny”

• Wskazanie tej kategorii oznacza, że udało się znaleźć defekt spoza zdefiniowanych kategorii.

• Uznajemy, że został znaleziony defekt niecelowo wprowadzony do zadania

• Za rzeczywisty defekt otrzyma się 5 punktów

• Jeśli defekt nie istnieje, albo nie da się go zreprodukować to zostanie odjętych 10 punktów

Runda 1 - Eliminacje

• KategorieInterfejs defekty związane z poprawnością wyświetlania interfejsu, w tym także niepoprawne komunikaty

Operacje matematyczne defekty będące wynikiem błędnych działań matematycznych

Przepływ sterowaniadefekty będące następstwem niepoprawnego zaimplementowania procesu i przejść między stanami w aplikacji

Przenaszalnośćawaria powiązana z nie wspieraniem środowiska zdefiniowanego przez zamawiającego i problemy związane z instalowalnością

Niezawodnośćstabilność działania oprogramowania w funkcji czasu, dla określonej liczby operacji i w określonym środowisku

Walidacja danychdefekty związane z poprawnym sprawdzeniem i przetwarzaniem danych wysłanych formularzem przez użytkownika

Funkcjonalnośćdefekty związane z funkcjonowaniem aplikacji niezgodnie z wymaganiami, gdzie funkcja nie działa lub też działa niepoprawnie

Informacja w interfejsie niezgodna z rzeczywistością informacja przekazana przez interfejs użytkownika jest nieprawdziwa, lub też wprowadzająca w błąd

Wydajność aplikacja nie odpowiada w czasie zdefiniowanym w wymaganiach

Dostępność defekty w których komponent lub system działa i jest niedostępny, gdy wymagane jest jego użycie

Walidacja wartości pola niepoprawna walidacja wartości wprowadzonych przez użytkownika w polu

Wartości graniczne i klasy równoważnościniepoprawna obsługa wartości wejścia lub wyjścia, która jest na granicy klasy równoważności, w najbliższym sąsiedztwie lub też znajduje się w danej klasie

Dopasowanieniezdolność oprogramowania do dostarczenia odpowiedniego zestawu funkcji dla określonych zadań i celów użytkownika

Baza danych defekty związane z niepoprawnym przetwarzaniem w ramach bazy danych

Bezpieczeństwodefekty, które wpływają na poziom ryzyka wystąpienia szkody w stosunku do ludzi, biznesu, oprogramowania, majątku, danych lub środowiska w określonym kontekście użycia

Inny defekty nie ujęte w pozostałych kategoriach

Runda 1 - Eliminacje

• Zgłaszanie defektów• Raporty defektów

mogą zostać stworzone w języku polskim lub angielskim

• Raporty mają mieć nie więcej niż 255 znaków

Runda 1 - Eliminacje

• Tablica wyników• Informacja

poglądowa

• 10 najwyższych miejsc

Runda 1 - Eliminacje

• Zakończenie Eliminacji:• Po zakończeniu testowania raport z testów należy nagrać na pendrive

• Lider drużyny lub zawodnik, którzy ukończyli przed czasem zgłasza ten fakt do Organizatorów przez podniesienie ręki

• Od lidera lub zawodnika indywidualnego odbierany jest pendrive, a na kopertę wpisywany jest czas ukończenia testów (z dokładnością do jednej minuty)

• Jeśli do końca testowania pozostało 15 minut, pendrive-y zbierane są przez Organizatorów bez wpisywania czasu ukończenia. W takim wypadku czas nie jest brany pod uwagę przy określaniu miejsca w klasyfikacji

Runda 1 - Eliminacje

• Eliminacje staną się Finałem jeśli:• Ze względu na przesunięcia czasowe zabraknie czasu na rozegranie Finału

• Pojawią się problemy techniczne uniemożliwiające rozegranie Finału

• Zdarzą się inne nieprzewidziane okoliczności

runda 2 - Finał

Runda 2 - Finał

• Finał polega na:1. Przetestowaniu dostarczonej aplikacji bazując na dostarczonej specyfikacji

Prosimy nie testować i nie raportować defektów specyfikacji

2. Raportowaniu znalezionych defektów i stworzeniu raportu testowego opisującego całościową jakość oprogramowania oraz działań wykonanych podczas testowania

Aplikacja zostanie ujawniona przed Finałem TestingCup

Runda 2 - Finał

• Reguły punktacji:

1. Nie ma dodatkowych punktów za jakość raportu defektu (zmiana względem 2014 roku)

2. Można zdobyć maksymalnie 10 punktów za sugestie2 punkt za pojedynczą sugestie

3. Defekty oceniane w skali 0-5 punktów-2 punkty (punkty ujemne) za zgłoszenie, które nie jest defektem-2 punkty (punkty ujemne) za duplikat wcześniejszego zgłoszenia

4. Prosimy nie raportować defektów trywialnych aplikacji i specyfikacji (literówki, przecinki, składnia, drobne problemy interfejsu itd.) – przyznajemy za nie 0 punktów

5. Otrzymuje się 30 punktów za stworzenie dobrego testerskiego raportu

Runda 2 - Finał

• Określenie miejsc w przypadku miejsc ex aequo:• Jeśli na nagradzanym miejscu znajdzie się więcej niż jeden uczestnik/drużyna,

rozstrzygnięcie nastąpi na podstawie większej ilości defektów ocenionych na 5 punktów

• Jeśli to nie przyniesie rozstrzygnięcia oceniane będą defekty za 4 punkty itd. aż do 1 punktu

• Jeśli i to nie przyniesie rozstrzygnięcia to pod uwagę wzięte zostaną wyniki z Rundy 1 – Eliminacje

• Jeśli mimo wszystko nie uda się rozstrzygnąć kolejności miejsc, ogłoszony zostanie remis, a podział nagród zostanie ustalony z poszczególnymi osobami bądź drużynami

Powodzenia!