Controlling der Testergebnisse im CRM
Die Testergebnisse eines Testlaufs können in ein definiertes Report-CRM importiert werden. Details zur Einrichtung des Report-CRMs können hier eingesehen werden: https://cursorhelp.atlassian.net/wiki/x/MIBGAg . Häufig wird das System, auf dem getestet wird, auch gleichzeitig als Report-CRM verwendet.
Testläufe
Das Ergebnis eines Testlaufs wird in der Entität „Testläufe“ (ScriptTestRun) mit dem Typ „Test-Studio“ gespeichert.
Testfälle
Die einzelnen, während des Testlaufs ausgeführten, Testfälle sind in der Entität “Testfälle” im Unterbereich des Testlaufs verknüpft.
Da Testfälle häufig im Workspace je nach fachlichem Zusammenhang in verschiedenen Verzeichnissen untergebracht werden, kann man den Dateipfad zu einem Testfall auch im CRM einsehen. Er wird im Feld „Testsammlung“ ausgegeben und ermöglicht somit die Gruppierung von Testergebnissen nach fachlichen Rubriken.
Screenshot eines Testfalls aus einem automatisiert gestartetem Testlaufs mit Testsammlung.
Das Feld „Testsammlung“ ist nicht gefüllt, wenn ein Testlauf manuell gestartet wurde. Das Test-Studio muss mittels 'CURSOR_TestStudio_batch.bat' aufgerufen werden, da die Information nur während der Ausführung mittels CLI zur Verfügung steht.
Das Flag „Erfolgreich“ kennzeichnet, ob im Testlauf ein Fehler bei diesem Testfall aufgetreten ist. Ist das Flag nicht gesetzt, bedeutet dies, dass mindestens einer der zugeordneten Testfälle fehlgeschlagen ist.
Bei einem manuell gestartetem Testlauf ist das Feld “Testsammlung” des Testfalls leer und ausgeblendet.
Testschritte
Unterhalb eines Testfalls sind die Testschritte verknüpft. Der Name, der im Test-Studio-Code für den Testschritt vergeben wurde, ist hier als “Name / Methodenname” aufgeführt. Es empfiehlt sich diesen so zu wählen, dass er auf den Inhalt des Testschritts schließen lässt.
Auch hier kennzeichnet das Flag „Erfolgreich“, ob ein Testschritt fehlerhaft ausgeführt werden konnte. Ist es nicht gesetzt, bedeutet dies, dass mindestens ein Testschritt nicht vollständig ausgeführt werden konnte. Sobald ein Testschritt fehlgeschlagen ist, werden keine weiteren Testschritte ausgeführt, sie werden dann automatisch als fehlerhaft im Testergebnis vermerkt.
