image

Guides & Insights

Warum funktionieren Jira-Testmanagement-Apps nicht für Unternehmen?

Speichereinschränkungen verursachen schnell Leistungs- und Skalierbarkeitsprobleme

Auf Unternehmensebene verursachen Jira-Testmanagement-Apps mit Jira Server und Jira Data Center erhebliche Leistungsprobleme. Jira-Apps (früher Plugins oder Add-Ons genannt) verfügen über keinen integrierten Speicher. Dieser App-Typ ist auf die Jira-Datenbank angewiesen, um die von ihr verwalteten oder erstellten Daten zu speichern. Wenn sich Daten ansammeln und die App mehr Speicherplatz beansprucht, wird die gesamte Jira-Instanz zunehmend anfällig für Leistungseinbußen, Stillstände und Abstürze, das wirkt sich – nach unseren Untersuchungen – in weniger als 14 Wochen auf alle Jira-Benutzer im gesamten Unternehmen aus.

Jira ist eine geschäftskritische Komponente der Softwarelieferkette: Sie dient dem Workflow-Management und ist eine zentrale Informationsquelle für alle Beteiligten. Ein Jira-Absturz bringt die Arbeitsabläufe innerhalb der Softwarelieferkette zum Erliegen. Der Umfang, der Jira für Abstürze anfällig macht, kann viel schneller erreicht werden, als Sie denken.

Diese Dokumentation listet „bekannte Hauptprobleme mit Apps von Drittanbietern in Jira“ auf. Zwei in der Liste enthaltene Testmanagement-Apps werden als Ursache für Blockaden und Arbeitsspeicherfehler genannt. Laut Atlassian stoppt ein Fehler aufgrund von mangelndem Speicherplatz den E-Mail-Versand, verhindert Aktualisierungen der Aktivitätenliste und führt zum Absturz der Jira-Anwendung. Diese Probleme werden während eines POC oder einer Evaluierung möglicherweise nicht vollständig erkannt. Sie werden jedoch schnell sichtbar, wenn mehr Teams damit beginnen, Testfälle und Artefakte von ihrer alten Lösung auf die Jira-Testmanagement-App zu migrieren. In der folgenden Abbildung sehen Sie den Unterschied zwischen einer Jira-Testmanagement-App und einer dedizierten externen Testmanagement-Lösung wie Tricentis qTest.

Architekturunterschiede zwischen Jira-Testmanagement-Apps und einem eigenständigen Testmanagement:

Das Problem wird größer, da Unternehmen anfangen, die Testautomatisierung zu skalieren, um Initiativen für die agile Entwicklung und die Bereitstellung von DevOps zu unterstützen. Die Testautomatisierung beschleunigt das Testen signifikant, sodass deutlich mehr Testergebnisdaten erstellt werden, und zwar wesentlich schneller als beim manuellen Testen allein. Wenn eine Jira-Testmanagement-App zum Absturz von Jira führt, können Tester Testfälle nicht mehr speichern, darauf zugreifen oder wiederverwenden, wodurch jegliche Transparenz und Rückverfolgbarkeit verloren geht – was oft die Hauptgründe sind, warum sie das Testmanagement überhaupt erst implementiert haben. Darüber hinaus kann die gesamte Entwicklungsarbeit zum Erliegen kommen. Es ist weitaus besser, eine Transformation mit den richtigen Tools zu starten, als zu warten, bis Mid-Stream-Ausfälle und Verzögerungen dazu führen, dass der gesamte Softwarenentwicklungszyklus und umsatzbringende Releases, auf die sich das Unternehmen verlässt, zum Stillstand kommt.  

Den Tipping-Point (Kipppunkt) identifizieren: Wann treten Leistungsprobleme auf?

Um das Problem der Skalierbarkeit zu lösen, könnten Sie dafür bezahlen, dass mehr Jira-Data-Center-Computer weiterhin auf einen wachsenden Satz von Testmanagementdaten zugreifen und diese speichern. Dies ist möglicherweise eine praktikable Lösung für ein manuelles Vorgehen. Wenn Ihr Team jedoch einen höheren Prozentsatz an automatisierten Tests durchführt, wird die Menge der zu speichernden Testdaten exponentiell zunehmen, sodass Sie unbegrenzt immer weitere Rechner hinzufügen müssen.

Um genau zu verstehen, wo Leistungsprobleme auftreten können, haben wir ein Experiment mit Jira Server und einer gängigen Testmanagement-App durchgeführt. Dabei haben wir Folgendes festgestellt:

  1. Das Laden einiger tausend Testausführungen hatte keinen wesentlichen Einfluss auf die Verwendung von Jira. Dies zeigt, dass Jira-Testmanagement-Apps eine praktikable Lösung sind, wenn manuelle Testfälle in nur geringem Umfang verwaltet werden.
  2. Bei Testausführungen im kleinen bis mittleren Umfang, ca. 100.000, stellten wir fest, dass die Leistung in der gesamten Jira-Anwendung erheblich beeinträchtigt wurde. Und zwar stürzte Jira mehrmals ab, wenn Ausführungsergebnisse von einer standardmäßigen auf eine große Testsuite geladen wurden.  
  3. Beim Laden von Automatisierungsergebnissen in Jira wurde die Jira-API insgesamt erheblich beeinträchtigt und die Latenz für die gesamte Anwendung wurde drastisch erhöht, was Nicht-Tester, Entwickler, Geschäftsanalysten und andere Benutzer beeinträchtigte.
100.000 Testausführungen

Stellen Sie sich das folgende fortgeschrittene, aber realistische Szenario vor, wie 100.000 Testausführungen aussehen könnten:  

  • drei Anwendungen  
  • acht Builds pro Tag (Dev-Code-Commits – Teil des standardmäßigen CI-Prozesses)  
  • 30 Smoke-Tests pro Build (3.600 Ausführungen pro Woche)  
  • 1.000 Regressionstestfälle werden wöchentlich ausgeführt (3.000 Ausführungen pro Woche)  
  • Pro Build werden fünf Leistungstestszenarien ausgeführt (600 Ausführungen pro Woche).  
  • ein wöchentliches Codequalität-Scanergebnis pro Woche (drei Ausführungen pro Woche)  
  • Tägliche statische Sicherheitsüberprüfungsergebnisse (15 Ausführungen pro Woche) 

Das sind insgesamt 7.218 Testergebnisse, die Sie allein aus der Automatisierung pro Woche verfolgen.

Es dauert etwa 14 Wochen, bis Sie in diesem Szenario 100.000 gespeicherte Testausführungen erreichen. Mit anderen Worten: In diesem Szenario können Benutzer bereits dreieinhalb Monate nach Einführung einer Testmanagement-App mit erheblichen Leistungsproblemen und Abstürzen rechnen.

Wie Jira-Testmanagement-Apps die Leistung von Jira im Laufe der Zeit beeinträchtigen:

Wir wissen, dass jedes Projekt anders ist und möglicherweise automatisieren Sie nicht so viel oder so häufig – aber vielleicht sollten Sie dies tun! 

Bei der Skalierung der Testautomatisierung werden Testergebnisdaten in einem größeren Umfang als bei anderen Systemen erstellt, da beim Testen im kontinuierlichen Integrationsprozess die Ergebnisse mit einer viel höheren Rate hinzugefügt werden als Anforderungen, Fehler und andere Artefakte in Jira. Ein Sprint mit zehn User Stories kann beispielsweise Hunderte automatisierter Tests für jede einzelne User Story enthalten. Jira-Testmanagement-Apps sind nicht für diese Art von Skalierbarkeit ausgelegt. Es ist daher leicht nachzuvollziehen, wie schnell dies außer Kontrolle geraten kann, wenn bei mehreren Teams zweiwöchige Sprints durchgeführt werden. Dies hat zur Folge, dass die grundlegenden Funktionen von Jira wie Berichterstellung, Suchvorgänge und Typ-Ahead-Funktionen nicht mehr verfügbar sind.

Die Erfahrung eines Teams mit einer beliebten Jira-Testmanagement-App

Das F&E-Team einer großen staatlichen Einrichtung im Gesundheitswesen hatte bereits nach fünf Monaten mit einer Jira-Testmanagement-App extreme Leistungsprobleme in seiner gesamten Jira-Instanz. Als die Jira-Instanz nicht mehr nutzbar war, konnten weder Atlassian noch das App-Unternehmen eine Lösung anbieten. So beschreibt der Testleiter die Erfahrung:

„Wir wollten Jira und das Testmanagement entkoppeln, weil Jira-Benutzer von der App beeinträchtigt wurden. Nach ungefähr fünf Monaten mit der Testmanagement-App war unsere Jira-Instanz davon stark betroffen. Wir haben die App-Firma kontaktiert, doch die hat sich geweigert, das zugrundeliegende Problem zu beheben, weil dies zu schwierig wäre. Danach reagierten sie nicht mehr auf unsere Anfragen.

Wir haben uns für Tricentis qTest entschieden – ein dediziertes externes Testmanagement-Tool, das sich in Echtzeit in Jira einfügt, da es nicht dieselbe Datenbank wie Jira verwendet und somit eine robustere Lösung für das Unternehmen darstellt. Darüber hinaus wirkte sich die Wartung von Jira nicht auf unsere Testmanagement-Tools aus, und auch die Wartung des Testmanagement-Tools wirkte sich nicht auf alle Jira-Benutzer aus.

Als wir die Testmanagement-App verwendeten, mussten wir in Jira viele benutzerdefinierte Felder und viele benutzerdefinierte Berichtslösungen erstellen. Um leicht zu sein, sind die Jira-Testmanagement-Apps normalerweise nicht über zuverlässige Berichtsfunktionen ausgestattet. Wenn man jedoch im Unternehmen Daten für mehrere Teams melden muss, muss man entweder benutzerdefinierte Lösungen erstellen oder ein Tool wie Tricentis qTest verwenden, das für uns und unsere Berichterstellung ein großer Gewinn ist.“

Wie sieht der Tricentis qTest im Vergleich aus?

Als Tricentis Integrationen mit Tricentis qTest und Jira entwickelte, wollten wir sicherstellen, dass die Integration auf die Anforderungen eines Teams zugeschnitten ist, das fortgeschrittene Testautomatisierung durchführt. Daher haben wir einige eigene Last- und Leistungstests durchgeführt, um sicherzustellen, dass unsere Integration keine negativen Auswirkungen auf Jira-Benutzer hat.

Da Tricentis qTest sich beim Speichern von Daten nicht auf die Jira-Datenbank oder -Datenstrukturen stützt, hat er nur Auswirkungen auf das Jira-System:   

  1. Beim Aktualisieren eines Problems wird ein Webhook verwendet, um qTest über die Änderung zu informieren.  
  2. Beim Anzeigen eines Problems wird Jira auch mit einer Ansicht der relevanten qTest-Testdaten geladen.  

Wir haben verschiedene Setups von Jira getestet, einschließlich Jira Data Center, Jira Server und Jira Cloud. Hier ist eine Auswahl unserer Ergebnisse:

  • Im Allgemeinen haben wir keine signifikante Verlangsamung beim Anzeigen oder Speichern von Jira-Problemen festgestellt.
    • Es dauerte ungefähr 200-300 Millisekunden, um die zusätzlichen Testergebnisdaten von der Seite mit der geteilten Ansicht zu laden.
    • Es dauerte durchschnittlich 600 Millisekunden, um die Testergebnisse auf der Vollbild-Seite „Detailed Issue“ anzuzeigen.
  • In Jira-Berichten, Dashboards, Suchen, APIs usw. wurden keine Verlangsamungen eingeführt.

Wir haben drei Stichproben unserer Tests mit Tricentis Flood durchgeführt und dann den Durchschnitt der Ergebnisse gebildet. Im Folgenden finden Sie ein Beispiel für eine Runde Leistungstests und eine Zusammenfassung der Antwortzeiten, die über drei Testrunden gesammelt wurden.

Eine Zusammenfassung der Antwortzeiten mit und ohne aktivierte qTest-Integration:

Welche anderen Enterprise-Funktionen fehlen den Jira-Testmanagement-Apps?

Abgesehen von der Fähigkeit, agiles Testen in großem Maßstab zu unterstützen, gibt es verschiedene Anforderungen an das Testen in einer DevOps-Lieferkette, die Jira-Testmanagement-Apps einfach nicht bieten können – von granularem Benutzer- und Projektmanagement über erweiterte Berichte und Analysen bis hin zu flexiblen Integrationsoptionen, die Qualität in den gesamten Softwarelieferkette verankern. Die unternehmensweite Transformation erfordert die Leistung, Zuverlässigkeit und Skalierbarkeit eines Testmanagement-Tools der Enterprise-Klasse.

Beachten Sie die folgenden Einschränkungen:

Eingeschränkte Integrationsmöglichkeiten

Diese Testmanagement-Apps bieten normalerweise nur eine Integrationsmethode. Hierbei handelt es sich häufig um kostenpflichtige Add-Ons (z. B. Zephyr Zapi). Diese mangelnde Flexibilität erschwert die Integration des Test-Toolstacks in den Rest des Softwarelieferkette erheblich und schränkt die Wirksamkeit der Tests in einer hochintegrierten DevOps-Umgebung erheblich ein.

Tricentis qTest bietet sofort einsatzbereite Integrationsmöglichkeiten mit führenden Tools wie Jira, Confluence, Tricentis Tosca, JUnit, Tricentis Flood, Postman, CA Agile Central, VersionOne und vielen mehr SDKs, ein spezielles Management-Tool für Testautomatisierung und CI-Pipeline-Integrationen mit Jenkins und Bamboo.

Eingeschränkte Berichterstellung und Analyse    

Wenn Sie versuchen, das Testen zu transformieren, sollten Sie über die dahingehenden Fortschritte berichten. Kunden, die sich für Tricentis qTest entscheiden, kaufen damit in der Regel nicht nur ein Tool. Sie ändern ihren Qualitätsansatz, um Initiativen für agile Entwicklung, DevOps-Bereitstellung und digitale Transformation zu unterstützen. Erweiterte Berichtsfunktionen sind von entscheidender Bedeutung, um die Rentabilität Ihrer Investition zu demonstrieren und Qualitätsverbesserungen sowohl für einzelne Projekte als auch für das gesamte Unternehmen nachzuverfolgen. In Jira-Testmanagement-Apps fehlen in der Regel Berichterstattungs- und produktübergreifende Funktionen auf Führungsebene, sodass es für Forschungs- und Entwicklungsteams und Business Stakeholder schwierig ist, die erforderliche Transparenz zu erreichen.

Tricentis Reporting bietet eine benutzerfreundliche Oberfläche, mit der Sie die Qualität auf Projekt-, Team- oder Organisationsebene über Testtools und Frameworks hinweg verfolgen können. Mit Tricentis Reporting können Tester Jira-Artefakte wie Anforderungen und Fehler für Projekte melden, die in Tricentis qTest verknüpft sind.

Eingeschränkte Enterprise-Funktionen

Tricentis qTest bietet die Administrations- und Verwaltungsfunktionen auf Enterprise-Ebene, die diesen Testmanagement-Apps fehlen – und die für eine fortschrittliche Testpraxis in einer Unternehmensumgebung von entscheidender Bedeutung sind. Hierzu gehören: 

  • Erweiterte Benutzerverwaltung einschließlich Benutzer-, Gruppen- und Projektverwaltung, SSO-Integration und rollenbasierte Berechtigungen  
  • Möglichkeit zum Erstellen von Projektvorlagen   
  • Parametrisierte Testdaten   
  • Eingebettete Testfälle 
  • Versionskontrolle 
  • Testfall-Sharing 
  • E-Signatur-Unterstützung
  • Ereignisgesteuerter Ansatz (wie modernste Tool-Ausstattung für Unternehmen)  
  • Dank einer dedizierten Datenbank (die nicht von Jira stammt) kann Tricentis qTest neben der horizontal skalierbaren Cloud von Tricentis oder Angeboten vor Ort problemlos die Skalierung auf über 10.000 Benutzer und Millionen von Testfällen und -ausführungen unterstützen
Eingeschränkter Support 

Testmanagement-Apps sind eine gute Lösung für Teams, die einfache, hauptsächlich manuelle Tests durchführen. Atlassian empfiehlt sie für diesen Anwendungsfall. Große Organisationen mit mehreren Projekten in agilen Teams benötigen jedoch eine dedizierte Testmanagement-Anwendung, die dedizierten Support bieten kann.

Der Hauptfokus von Tricentis liegt auf modernen Softwaretestlösungen, die die digitale Transformation in großem Maßstab unterstützen. Wir sind ein Partner für die Transformationsinitiativen unserer Kunden – kein Anbieter, der nur ein Tool verkauft. Die engagierten Support-Teams von Tricentis bieten Hilfe bei der Implementierung, laufenden Support, eine solide Wissensdatenbank mit Videotraining, Zugang zu einem Community-Forum und vieles mehr. Um mehr über Tricentis zu erfahren, besuchen Sie die Website oder kontaktieren Sie uns, um eine Demo anzufordern .

Jetzt anschauen

Bitte registrieren Sie sich hier