Kontur Mobile Test Session: 446 Bugs in 5 Stunden

    Im Dezember veranstaltete Kontur die jährliche Stadttestsession in Jekaterinburg. Dieses Mal suchten 38 Tester 5 Stunden lang nach Fehlern in der neuen mobilen Anwendung. Igor Borisikhin, ein Testspezialist und Organisator der Veranstaltung, teilte seine Erfahrungen mit und sagte, dass die Contour eine neue Testsitzung vorstellte und wie man in diesem Jahr zur Veranstaltung kommt.




    Was ist eine Testsitzung?


    Eine Testsitzung ist ein Wettbewerb für Anfänger und Fortgeschrittene sowie für Personen, denen das Testen nicht gleichgültig ist, ein Analogon einer Meisterklasse oder ein Workshop für Entwickler. Während der Testsitzung können Sie Kollegen aus anderen Unternehmen treffen, selbst nach der „Stärke“ eines neuen Produkts suchen und herausfinden, wer besser in der Lage ist, Fehler zu finden. Testsitzungen sind für Jekaterinburg eine traditionelle Veranstaltung. Was das letzte Viertel einer ganze Stadt Testsitzung war in der gefunden werden UTC - Community von Testern Jekaterinburg .


    Über das Format


    Das klassische Testsitzungsformat beinhaltet das Testen eines Webdienstes. Mitglied hat Produktanalyse. Es gibt N Stunden, um Fehler zu finden. Am Ende überlegt die Jury, wer wie viele Bugs gefunden hat. Das Beste sind die Preise. Kontur zum klassischen Testsitzungsformat hinzugefügt:


    Mobile Anwendung.
    Testprodukt war die mobile Kontur-Anwendung Konferenz für externe und interne Konferenzen. Lesen Sie mehr über die Contour-App. Sie können die Konferenz in den Märkten lesen: Google Play , App Store . So funktioniert es:



    MindMap statt Analytics.
    Wir haben die Teilnehmer nicht mit Tonnen von langweiligen Analysen für die Anwendung beladen, sondern jedes Team hatte eine Kappe mit den Merkmalen seiner Arbeit und ein freies Feld für die Forschung. Für das Mapping wurde das Programm XMind verwendet .


    Schulung.
    Entsprechend dem Format der Testsitzung untersuchten die Teilnehmer bei der Suche nach Fehlern neue Methoden und Techniken zum Testen mobiler Anwendungen. Mehr zu den Punkten 2 und 3 etwas weiter.


    Über die Teilnehmer


    38 Tester aus verschiedenen Unternehmen Jekaterinburgs versammelten sich zu der Testsitzung: iRidium Mobile, Ridero, Motorsport.com, Ural Airlines, Point, Advanta, Mercata, Extreme Pro, Flag Studio, BD-Würfel, ITM Holding, Digital Spectr, SkyDNS, Naumen und Contour .




    Erfahrungsbasiertes Testen


    Anstatt die Tester mit Analysen zu beladen, haben wir einen anderen Weg vorgeschlagen, um die Anwendung kennenzulernen - Testen auf der Grundlage von Erfahrungen.


    Erfahrungsbasiertes Testen - heuristisches Erkunden in einem offenen mehrdimensionalen Raum. Wenn es einfacher ist, recherchieren Sie die Anwendung und ziehen Sie Schlussfolgerungen, ob sie funktioniert oder nicht. Jeder Teilnehmer an der Testsitzung hat bereits an Konferenzen teilgenommen, sodass er den Themenbereich der Anwendung kennt.


    Erfahrungsbasiertes Testen basiert auf drei Methoden:


    1. Raten von Fehlern - Nehmen Sie einen Fehler an und überprüfen Sie, ob er nicht in der Anwendung enthalten ist.
    2. Testen auf der Basis einer Checkliste - Überlegen Sie sich Checks auf höchster Ebene für die Anwendung und generieren und verifizieren Sie bestimmte Testfälle während des Testens.
    3. Forschungstests - ein Vergleich der erwarteten und erzielten Ergebnisse des Anwendungsverhaltens auf der Grundlage ihrer eigenen Erfahrung.

    Allerdings hatten nicht alle Teilnehmer der Testsitzung Erfahrung mit dem Testen mobiler Anwendungen.
    Um neue Forschungsrichtungen vorzuschlagen, Erfahrungen und spezielle Fälle mit erfahrenen Testern auszutauschen, haben wir während der Testsitzung den Teilnehmern die Heuristiken des mobilen Testens erläutert.


    Mobile Testheuristiken sind eine Sammlung von Forschungsmethoden, die zur Entdeckung bisher unbekannter Phänomene beitragen.




    Über Paartests


    Während der Sitzung wurden die Teilnehmer paarweise getestet. 19 Teams wurden zusammengestellt. Wir haben Teams zusammengefasst und nach folgenden Kriterien ausgeglichen:


    Erfahrung im Testen.
    Anfänger fühlen sich mit Anfängern wohler. Erfahren mit erfahren. Wenn ein Anfänger mit einem sehr erfahrenen und erfahrenen Tester zusammenarbeitet, dominiert in den meisten Fällen der erfahrene und lässt nicht zu, dass die Ideen eines neuen Kollegen preisgegeben werden. Wenn die Erfahrung der Teilnehmer mehr als 4 Jahre beträgt, z. B. 5 und 10 Jahre, können Sie sie sicher zu einem Team zusammenfassen.


    Erfahrung im Testen von mobilen Anwendungen.
    Die Testsitzung ist eine offene Veranstaltung für Tester mit beliebiger Spezialisierung. Daher ist es gut, wenn Tester, die an mehr als nur mobilen Tests beteiligt sind, im selben Team arbeiten.


    Geräte.
    Die Leute kamen mit ihren Geräten zur Testsitzung. Wir haben versucht sicherzustellen, dass die Geräte im Team sowohl iOS als auch Android sind.


    Eine Vielzahl von Kommunikation.
    Wir sind für die Kommunikation! Kollegen aus demselben Unternehmen können nicht demselben Team angehören.


    Paartests helfen dabei, sich auf die Aufgabe zu konzentrieren, und helfen dem Tester, in Bewegung zu bleiben, während der andere eine Pause macht. Das Paar ermutigt jeden Tester, Ideen zu erklären und umzusetzen. Wenn der Tester seine Gedanken einem anderen erklärt, entstehen durch den Formulierungsprozess neue Ideen und Fälle. Paartests sind eine großartige Möglichkeit, die Kommunikationsfähigkeiten zu verbessern und den effektiven Umgang mit Kollegen zu erlernen. Für einige war dies der erste Test zu zweit, für andere nicht. Wir hoffen, dass die Teilnehmer diese Methode in ihrer Arbeit anwenden möchten.


    Über den Bugtracker


    Das System zur Fehlerverfolgung war traditionell für die Youtrack Contour. Viele Tester haben zuerst mit Youtrack gearbeitet, daher haben wir ein kurzes Video-Tutorial vorbereitet, das zeigt, wie man mit dem System arbeitet und wie man Fehler beseitigt.




    Über das Bug-Rating-System


    Dem Plan zufolge gewannen 5 Teams mit den meisten Punkten. Wir geben ein Beispiel für ein Bewertungssystem.


    Im Bug-Tracker können zwei Entitäten erstellt werden.
    Aufgabe - Vorschläge zur Verbesserung des Systems. Tusky wurde mit 1 Punkt bewertet.
    Fehler im Produkt. Bugs hatten eine andere Priorität: Crash, Major, Minor.


    Für Bugs Priorität Crash endlos Laden, Einfrieren, Datenverlust (keine gespeicherten Daten eingegeben oder bearbeitet), die Hauptfunktionen der Sperrvorrichtung behandelt. Solche Bugs wurden mit 20 Punkten bewertet.


    Mit dem großen behandelt außerhalb Schaltflächen oder Links sind nicht editierbaren Felder, das unerwartete Ergebnis, nach unten verschoben Layout (störender Betrieb), Datensicherheitsverletzung. Solche Bugs wurden mit 10 Punkten bewertet.


    Für kleinere gehören fehlerhafte Schreibweisen, nach unten verschoben Layout, falsche Animationen (nicht mit der Arbeit stören), nicht informative Tipps, instabil es das Problem reproduziert wird. Solche Bugs wurden mit 5 Punkten bewertet.




    Über Slang


    Die Teilnehmer erhielten umgangssprachliche Funktionen für wichtige Fehlerberichte in Mobilanwendungen. Ein kleines Beispiel:


    Tippen Sie auf - eine kurze Berührung auf dem Touchscreen und anschließend auf Entfernen.
    Doppeltippen - zwei kurze Berührung eines Fingers, ähnlich wie bei einem Doppelklick.
    Eine Berührung ist eine Berührung, die länger dauert als ein Fingertipp.
    Berühren und halten - Berühren und halten. Die Berührung ist länger als die Berührung.
    Svayp (Slide) - kontinuierliches Gleiten eines Fingers über den Bildschirm.
    Toast - Eine Popup-Nachricht auf der Oberfläche des Anwendungsfensters.
    Togle ist ein Statusschalter .
    Titel - der Titel des Bildschirmnamen.
    Zustand - Zustand, Geräte Ausrichtung (Hochformat oder Querformat).


    Jetzt haben Sie auch daran gedacht, wie sich Tippen von Streichen, Umschalten von Toasten und Titel von Status unterscheidet.


    Über Preise


    Basierend auf den Ergebnissen der Testsitzung haben wir 5 Gewinnerteams ausgewählt, die die meisten Punkte erzielt haben. Die Rennstrecke veranstaltet häufig Wettbewerbe im Bereich Sportprogrammierung, daher haben wir uns für ein bewährtes Programm entschieden und Preise wie bei ACM ICPC vergeben. Auf dem gemeinsamen Tisch mit den Preisen wählt das Team mit den meisten Punkten die Preise aus, das zweite Team erhält die Punkte - das zweite usw.




    Wer ist der Beste zum Testen?


    Während die Jury die Ergebnisse zusammenfasste, konnten sich die Teilnehmer mit Kollegen unterhalten, einen Pizza-Snack zu sich nehmen, einen Rundgang durch das Büro machen oder Zeit in der Spielzone verbringen: Spielen Sie einen Telefonpfeil, 100 zu 1 für Tester, Konsolen, Kicker.




    Insgesamt machten die Teilnehmer 446 Berichte, von denen 349 vom Typ Fehler waren und 97 Aufgaben waren.




    Die Jury akzeptierte 278 und lehnte 140 Berichte ab. Abgelehnt, unverständlich beschrieben, nicht reproduzierbar oder wiederholt im selben Team Fehler.




    Von den akzeptierten Berichten waren 215 Fehler. Davon haben 118 Bugs die Priorität Minor, 80 - Major und 17 - Crash.




    Ich betone, dass dies Statistiken für alle Mannschaften sind. In 215 Berichten wiederholen sich viele Teams oder geräteabhängige Fehler. Daher betrug die Anzahl der eindeutigen Aufgaben, die auf den Bugtracker des Teams migriert wurden, das die Anwendung entwickelt hat, 23.


    Alle Fotos von der Testsitzung finden Sie hier .


    TestHackathonChallenge


    Wir haben ein neues Thema für uns ausprobiert. Und sie haben eine Testsitzung über mobile Anwendungen durchgeführt. Die Jungs mochten es, also werden wir 2018 weitermachen, aber wir werden Neuheiten hinzufügen. Die nächste Testsession findet Ende des Jahres statt, die Ankündigung erscheint auf unserem Blog - nicht verpassen!


    Jetzt auch beliebt: