Öfter mal eine (Test-) Party feiern… Testen geht im Projekt alle an

Die Entwicklung von sicherheitskritischen Produkten wird immer komplexer. Dadurch steigen die Anforderungen an die Verifizierung und gleichzeitig die Gefahr, dass diese bereits mit formalen Aufgaben vollständig ausgelastet wird. Die spannende Frage ist, wie man weiterhin die Zeit findet, um durch „Spielen“ am System die Qualität zu steigern. Wie können noch Funktionen und Implementierungen kritisch hinterfragt werden, wenn Überlastung und, überspitzt gesagt, Betriebsblindheit in der Verifizierung vorherrschen?

Um weiterhin Raum zu schaffen für das Erreichen von Qualität in komplexen Systemen ist es notwendig, neue Strukturen und Methoden zu etablieren. Dabei muss es nicht immer direkt die große Veränderung sein. Es ist weder notwendig, noch widerstandslos durchsetzbar, die gesamte Arbeitsweise der Verifizierung über Bord zu werfen und neu zu strukturieren.

Im folgenden Beitrag möchte ich deshalb nicht auf die radikalste Lösung eingehen, auch wenn diese spannend ist, sondern auf eine interessante, kleine Methode als Ergänzung zu bestehenden Arbeitsweisen: die Testparty.

Ich möchte Sie bereits zu Beginn, bevor Sie im Folgenden mehr über die Testparty erfahren, dazu ermutigen, einen Testballon für eine crossfunktionale, projektübergreifende Testparty steigen zu lassen. Nutzen Sie diese Methode, um die Qualität ihres Produktes auf die Probe zu stellen und das „Wir-Gefühl“ im Projekt zu steigern.

Was sind jetzt diese sogenannten Testpartys und wie kann so etwas, vermeintlich unreguliertes wie eine Party im regulierten und sicherheitskritischen Umfeld dafür sorgen, dass man die Qualität von komplexen Systemen steigern kann? Dafür muss ich zunächst erklären, was ich unter einer Testparty verstehen. Eine Testparty im Rahmen der Entwicklung ist das intensive, explorative und zeitlich beschränkte Testen eines dedizierten Entwicklungsstands durch alle projektbeteiligten Personen und darüber hinaus auch durch Mitarbeiter aus anderen Abteilungen und Projekten. Organisiert und durchgeführt wird diese Testparty durch die Verifizierung, die das Testen während der Durchführung als Moderator begleitet.

Wie jede klassische Party besteht auch die Testparty aus den drei wesentlichen Phasen:

Planung

Die Testparty bedarf einer Vorbereitung und Planung. Dadurch wird sichergestellt, dass die richtigen Funktionalitäten betrachten werden und der Testfokus festgelegt wird. Für die Planung der Testparty ist es auf gar keinen Fall notwendig, über Wochen die gesamte Arbeitszeit in die Planung und Vorbereitung zu stecken. Dennoch sind einige vorbereitenden Schritte notwendig, damit die Party den gewünschten Erfolg bringt. Dazu zählen:

Themen definieren
Personenkreis festlegen
Den richtigen Rahmen schaffen

Mottoparty - Themen definieren

„Jede Party sollte ein Motto haben“

Damit bereits zu Beginn der Testparty klar ist, was die Teilnehmer erwartet, hat es sich in der Praxis bewährt, dass explizite Testthemen definiert und auf verschiedene Stationen verteilt werden. Diese Testthemen werden von den jeweiligen Projektverantwortlichen gemeinsam festgelegt, denn nur diese haben den Überblick, welche Teilbereiche des Produkts bereits „fertig“ sind und in welchen Bereichen es sich besonders lohnt, aus verschiedenen Perspektiven einen Blick zu riskieren. Für die definierten Testthemen werden Zeitblöcke von max. 2 Stunden festgelegt und den potentiellen Teilnehmern angeboten. Dadurch ist die Planung der Teilnehmer deutlich flexibler und es ist nicht notwendig, diese für den gesamten Tag in Anspruch zu nehmen.

Ebenfalls wird während der Planung die Art der Tests festgelegt. Es muss bereits vor der Durchführung feststehen, ob es sich um funktionale Tests oder z.B. um Usability-Tests handeln soll.

Gästeliste - Personenkreis auswählen

„Der Erfolg jeder Party hängt maßgeblich von der Auswahl der Gäste ab.“

Bei der Auswahl des Personenkreises muss zwingend auf eine gute Durchmischung in den Gruppen geachtet werden. Kommen die Gäste primär aus einem Fachbereich, wird die Veranstaltung recht einseitig. Es ist nichts langweiliger als auf einer Party nur ein einziges Meinungsbild und dieselben Leute wie jeden Tag vorzufinden. Erst durch die gegensätzlichen Meinungen und Perspektiven können Diskussionen entstehen und Verbesserungen identifiziert werden. Deswegen ist es notwendig, dass eine Teilnehmergruppe im Rahmen der Testparty heterogen verteilt ist. Denken Sie an alle noch so weit entfernten Projektbeteiligten wie z.B. Servicemitarbeiter aber auch an Kollegen aus anderen Projekten. Dadurch werden die Perspektiven gemischt und die Diskussion angeregt. Es entstehen ein unglaubliches Potenzial und eine Dynamik, wenn zum Beispiel der Projektleiter mit einem Kollegen aus der Fertigung über den Sinn oder Unsinn einer implementierten Funktion diskutiert. Nutzen sie dieses Potential und seien sie bei der Zusammenstellung mutig.

Sind die Teilnehmergruppen gut zusammengestellt, muss der Moderator lediglich darauf achten, dass sich die Teilnehmer nicht zu sehr in einem Thema verbeißen oder von diesem entfernen.

Equipment und Dekoration - Rahmen schaffen

„Ohne Testsysteme keine Party“

Essentiell für die Durchführung einer Testparty ist, dass eine ausreichende Menge an Testsystemen zur Verfügung steht. Man muss sich Gedanken machen, ob man noch weiters Zubehör oder Testhilfsmittel benötigt, um bestimmte Aspekte des Systems zu testen. Da die Verifizierung als Moderator und Experte die Party begleitet, kann man darüber nachdenken, ob gewisse Manipulationen zur Fehlersimulation interessant sind und von der Verifizierung durchgeführt werden können.

Im nächsten Schritt wird mit den entsprechenden Projektverantwortlichen festgelegt werden, welche Version des Systems für die Testparty verwendet werden soll. In diesem Zusammenhang müssen auch die bekannten Fehler oder die Teilfunktionalitäten, die noch nicht implementiert sind, kommuniziert werden. Diese Informationen müssen den Moderatoren bekannt und verständlich sein. Denn nichts ist für die Gäste demotivierender als die Aussagen „den Fehler kennen wir schon“, „das ist bereits in der nächsten Version gefixt“ oder „Warum testet ihr den auf diesem alten Stand“.

Bereiten Sie auch Templates für die Beobachtungen vor. So stellen Sie eine einheitliche Dokumentation sicher. Es hat sich ebenfalls bewährt, an den jeweiligen Stationen eine kurze Beschreibung des Testszenarios und der Systemkonfiguration bereitzulegen.

Durchführung

„Keine gute Party ohne guten Gastgeber“

Der Erfolg der Durchführung hängt maßgeblich von der Planung, Vorbereitung und primär von der Moderation durch die Verifizierung ab. Als Gastgeber der Testparty sollte man den Teilnehmern ein kurzes Briefing geben, hierbei müssen folgende Punkte angesprochen werden:

Zeitlicher Rahmen
Kurze Beschreibung der verschiedenen Stationen (falls vorhanden)
Testfokus (z.B. Funktionale oder usability Tests)
Kurze Einführung in das Testsystem

„Statt Selfies, dokumentieren Anmerkung/Fehler den Erfolg der Party“

Die Verifizierung muss als Moderator der Testparty sicherstellen, dass der definierte Rahmen, die Themen und die Zeit eingehalten werden. Des Weiteren hat sie die Aufgabe die Anmerkungen zu dokumentieren. Hierbei gilt, dass alle belegbaren Anmerkungen notiert werden, unabhängig davon, ob es sich um spezifiziertes Verhalten handeln sollte oder nicht. Folgende Punkte müssen erfasst werden:

Beschreibung der Anmerkung/des Fehlers
Wer hat die Anmerkung/Fehler formuliert?
Welche Systemkonfiguration lag vor?

Durch die Verwendung von vorbereiteten Templates wird sichergestellt, dass ein notwendiges Mindestmaß an Informationen gegeben ist.

Auswertung

Aufräumen, Reste verwerten und Geschenke auspacken

Was wäre eine Party, ohne dass am nächsten Tag ein Fazit gezogen wird. Als Gastgeber möchte man, dass noch Tage später über die Party geredet wird und die Teilnehmer mit einem positiven Gefühl auf diese zurückblicken. Und vielleicht helfen auch einige Gäste beim Aufräumen der Partyfolgen.

Im Fall der Testparty müssen die gefundenen Anmerkungen, Abweichungen etc. klassifiziert und dokumentiert werden. Anschließend müssen diese Ergebnisse in das Projekt zurückgespiegelt werden und gegebenenfalls in dem entsprechenden Abweichungstool (Jira & Co) übertragen werden.

Häufig sind Teilnehmer und auch die Gastgeber von einer Testparty enttäuscht, wenn wenig oder gar keine Abweichungen und Anmerkungen gefunden werden. Aber auch dies ist ein erfreuliches Ergebnis und sollte auch als solches in das Projekt zurückgespiegelt werden, weil das getestete System offensichtlich einen sehr guten Reifegrad aufweist.

Bei gefundenen Fehlern hat sich in der Praxis ebenfalls gezeigt, dass die Teilnehmer ein großes Interesse daran haben zu erfahren, was mit ihren Anmerkungen/Fehler geschehen ist und wie sie für das Projekt bewertet wurden.

Fazit

Durch das Etablieren von eher unkonventionellen Methoden wie einer Testparty, wird der Blick für die Rolle des Testens innerhalb des Projektes geschärft. Es entsteht ein neues Verständnis dafür, dass das Verifizieren des Produktes nicht nur das Häkchen hinter einer Anforderung ist und die „formale“ Hürde für eine Freigabe, sondern viel mehr das effektivste Mittel ist, um die Qualität des Produkts sicherzustellen.

Somit ist die Testparty nicht nur ein Instrument, um Fehler zu finden, sondern auch ein Kommunikationsmittel und ein Schaufenster, um Entwicklungsstände und auch die Arbeitsweisen der Verifizierung über die Projektgrenzen hinaus darzustellen. Und ganz sicher wird deutlich, dass Testen jeden was angeht.

Viele werden jetzt sagen, dass eine Testparty in einer agilen Entwicklungsumgebung nicht notwendig ist, da die agile Arbeitsweise bereits crossfunktionale Teams vorsieht. Aber Testpartys sind der kleine, vermittelbarere Schritt, hin zu diesen Arbeitsweisen. Und seien wir doch ehrlich, der Begriff „Agil“ ist im regulierten Umfeld schon verbrannt, bevor er richtig umgesetzt wurde. Aber dazu mehr in folgenden Blogeinträgen, wenn es um agile Methoden im regulierten Umfeld geht.

Partyplaner gesucht?

„Wagen Sie eine andere Form des Testens“

Gerne unterstützen wir sie mit unserer Business Unit Development bei der Planung, Durchführung und Auswertung einer Testparty. Zögern Sie nicht unsere partyerprobten Testexperten anzusprechen und lassen sie sich ihr persönliches Partypaket zusammenstellen.