Mythos vs. Realität: 10 KI-Anwendungsfälle in der Testautomatisierung heute

Jahrzehntelang schien der Science-Fiction-Traum, einfach mit einem Gerät zu sprechen und es Aufgaben für einen erledigen zu lassen, weit hergeholt. Im Bereich der Testautomatisierung und Qualitätssicherung rückt dieser Traum jedoch heute immer näher an die Realität heran. Die Entwicklung der generativen Künstlichen Intelligenz (KI) veranlasst uns dazu, zu erforschen, was wirklich machbar ist. Für Unternehmen wird die Einbindung von KI in ihre Qualitätsentwicklungsprozesse immer wichtiger, da IT-Infrastrukturen komplexer und integrierter werden und mehrere Anwendungen über Geschäftsprozesse hinweg umfassen. KI kann dazu beitragen, viele Aufgaben zu erleichtern, wie zum Beispiel zu verstehen, was zu testen ist, wie es zu testen ist, relevante Tests zu erstellen und auch zu entscheiden, welche Art von Tests durchgeführt werden sollen, und so die Produktivität und die Geschäftseffizienz zu steigern. 

Aber was ist Fakt und was ist Fiktion? Die rasante Entwicklung der Künstlichen Intelligenz macht es schwer, ihre Fähigkeiten genau vorherzusagen und zu verstehen. Wir haben deshalb die zehn wichtigsten KI-Anwendungsfälle für die Testautomatisierung untersucht und dabei zwischen dem was heute schon verfügbar ist und den Erwartungen von morgen unterschieden.

1. Automatische Generierung von Testfällen

Realität: KI kann Testfälle generieren (En), indem sie User Stories zusammen mit Anforderungen, Code und Designdokumenten inklusive Anwendungsdaten und Benutzerinteraktionen analysiert. Large Language Models (LLMs) beispielsweise können Anforderungen via Textanalyse interpretieren, um wichtige Informationen herauszufiltern und potenzielle Testszenarien zu identifizieren. Gemeinsam mit statischer und dynamischer Codeanalyse werden so Bereiche im Code identifiziert, die potenzielle Schwachstellen aufweisen, und somit gründliche Tests erfordern. Die Integration von Anforderungs- und Codeanalysen kann dazu beitragen, potenzielle manuelle Testfälle zu generieren, die eine breite Palette von Funktionalitäten in der Anwendung abdecken. 

Mythos: Hier kommt der Vorbehalt: Viele Tools auf dem Markt, die eine automatisierte Testfallgenerierung ermöglichen, erstellen manuelle Tests. Sie sind nicht automatisiert. Vollautomatische, ausführbare Testfälle bleiben ein Mythos und bedürfen noch weiterer Schritte. Darüber hinaus generieren unvollständige, mehrdeutige oder inkonsistente Anforderungen möglicherweise nicht immer die richtigen Tests. Auch hier braucht es noch mehr Entwicklung. Testfälle decken zudem nicht immer Edge Cases, hochkomplexe Szenarien oder völlig neue Anwendungen ab. Auch die Analyse von Anwendungs- und Benutzerinteraktionsdaten ist oft nicht immer möglich. Infolgedessen müssen menschliche TesterInnen immer die Vollständigkeit und Genauigkeit der Testsuiten überprüfen, um alle möglichen Szenarien zu berücksichtigen. 

2. Autonomes Testen

Realität: Autonomes Testen automatisiert die Automatisierung. Ein Beispiel gefällig? Stellen Sie sich vor, Sie geben folgendes Prompt in ein KI-Modell ein: „Teste, dass eine Person unter 18 Jahren keinen Anspruch auf eine Versicherung hat“. Die KI navigiert dann durch die gesamte Anwendung, lokalisiert alle relevanten Elemente, gibt die richtigen Daten ein und testet das Szenario für Sie. Ein kompletter Hands-Off-Approach, wie Forrester dies in seiner Kategorisierung mit Level 5 (En) beschreibt. 

Mythos: Sind wir schon da? Nicht ganz, aber smarte Technologien schließen die Lücke. Die Einschränkung von Large Language Models (LLMs) besteht darin, dass sie sich auf das Textverständnis konzentrieren und daher oft mit der Anwendungsinteraktion zu kämpfen haben. Rabbit (En) hat ein neues KI-Mobiltelefon namens r1 veröffentlicht, das Large Action Models (LAMs) verwendet – und LAMs sollen genau diese Interaktionslücke schließen. Im Bereich der Testautomatisierung sind wir noch nicht ganz am Ziel. Ist das alles nur ein Hype? Es ist schwer, hier eine klare Antwort zu geben. Das Potenzial dieser hybriden LAM-Ansätze ist jedenfalls vielversprechend.

3. Automatisiertes Testfalldesign

Realität: KI revolutioniert das Testfalldesign, indem sie ausgefeilte Methoden zur Optimierung von Testprozessen einführt. So können KI-Algorithmen Testfälle, die die wichtigsten Risiken abdecken, identifizieren und priorisieren. Durch die Analyse von Anwendungsdaten und Benutzerinteraktionen stellt die KI fest, welche Bereiche anfälliger für Fehler sind. KI kann zudem wichtige Geschäftsszenarien identifizieren. Sie analysiert dazu Nutzungsmuster und Geschäftslogik und generiert automatisch Testfälle, die besser auf das reale Benutzerverhalten abgestimmt sind und kritische Geschäftsfunktionen abdecken. Darüber hinaus können KI-Tools Testszenarien basierend auf ihrer Nutzungshäufigkeit und Bedeutung gewichten. Dies hilft, eine ausgewogene Testsuite zu erstellen, die sicherstellt, dass die wichtigsten Aspekte einer Anwendung gründlich getestet werden. 

Mythos: KI kann den Entscheidungsprozess bei der Testsuite-Optimierung noch nicht vollständig automatisieren. Die Komplexität bestimmter Testszenarien erfordert immer noch menschliches Urteilsvermögen. Darüber hinaus sind KI-Algorithmen nicht in der Lage, Testfalldesigns für neue Anwendungen automatisch zu generieren – insbesondere, wenn es sich um solche mit hochintegrierten End-to-End-Workflows handelt, die sich über mehrere Anwendungen erstrecken. Diese Fähigkeit ist nach wie vor unterentwickelt und wird derzeit von keiner Technologie unterstützt.

4. KI selbst testen

Realität: Da wir zunehmend KI-Funktionen in Produkte einbetten, entwickelt sich die Frage von „Wie testet man KI?“ zu „Wie testet man KI, generative KI und Anwendungen, die mit beidem angereichert sind?“. So leistungsstark KI auch sein mag, bringt sie auch eine Vielzahl von Herausforderungen mit sich, allen voran hinsichtlich des Vertrauens gegenüber den Ergebnissen. Da es sich bei generativer KI um ein nicht-deterministisches System handelt, produziert sie unterschiedliche und unvorhersehbare Ergebnisse. Ungetestete KI-Funktionen und KI-gestützte Anwendungen können so zu mehreren Problemen führen, wie beispielsweise diskriminierende Systeme, die fehlende Identifizierung hochriskanter Elemente, fehlerhafte Testdaten und -designs oder fehlgeleitete Analysen. 

Das Ausmaß dieser Herausforderungen liegt auf der Hand. Im Jahr 2022 gab es in den USA laut dem AI Index Report 2023 (En) 110 Rechtsfälle im Zusammenhang mit KI. Die Zahl der KI-Vorfälle und -Kontroversen hat sich seit 2021 um das 26-fache erhöht. Darüber hinaus verfügen nur 20 % der Unternehmen über Risikorichtlinien für den Einsatz von generativer KI, wie eine McKinsey-Studie (En) aus dem Jahr 2023 ergab. 

Mythos: Das Testen skalierter KI-Systeme, insbesondere bei generativer KI, ist unerforschtes Terrain. Es gibt zwar verschiedene Ansätze und Methoden, um traditionellere neuronale Netzwerksysteme zu testen, aber es fehlen uns immer noch umfassende Werkzeuge, um Systeme mit generativer KI effektiv zu testen. 

KI-Realität in der Testautomatisierung heute 

Die folgenden Anwendungsfälle sind mit aktuellen Testautomatisierungstechnologien bereits vollständig realisierbar.

5. Risk AI

Es ist heute eine große Herausforderung für TesterInnen, Hunderte oder Tausende von Testfällen ohne klare Prioritäten in einer agilen Umgebung zu verwalten. Wenn sich Anwendungen ändern, wirft das kritische Fragen auf: Wo liegt das Risiko? Was sollten wir auf der Grundlage dieser Änderungen testen oder priorisieren? Glücklicherweise gibt es Risk AI von Tricentis, auch bekannt als intelligente Auswirkungsanalyse. Diese überprüft Änderungen in der Anwendung oder IT-Landschaft, einschließlich benutzerdefiniertem Code, Integration und Sicherheit und identifiziert die am stärksten gefährdeten Elemente, auf die sich die Tests konzentrieren sollten. Der Einsatz von Risk AI führt somit zu erheblichen Effizienzsteigerungen beim Testen. Es schränkt den Testumfang ein, spart viel Zeit und Kosten und reduziert gleichzeitig das mit Software-Releases verbundene Risiko.

6. Selbstheilung

Durch die Identifizierung von Änderungen an Elementen sowohl auf der Code- als auch auf der UI-Ebene können KI-gestützte Tools fehlerhafte Tests nach jeder Ausführung automatisch reparieren. Auf diese Weise können Teams die Testautomatisierung stabilisieren und gleichzeitig Zeit und Kosten für die Wartung senken. Möchten Sie mehr darüber erfahren, wie Tricentis Tosca die Selbstheilung für Oracle Fusion und Salesforce Lightning & Classic unterstützt? Dann sehen Sie sich dieses Webinar an (En).

7. Mobile AI

Durch Convolutional Neural Networks kann die Mobile-AI-Technologie von Tricentis TesterInnen helfen, mobile Schnittstellen zu verstehen und zu analysieren, um beispielsweise Probleme bei Audio, Video, Bildqualität oder Objektsteuerung zu erkennen. Das Ergebnis sind KI-gestützte Analysen der Leistung und User Experience mit Trendanalysen über verschiedene Geräte und Standorte hinweg, die es erlauben, Fehler schnell und in Echtzeit zu erkennen. Tricentis Device Cloud nutzt die Mobile-AI-Engine, mit der Sie die mobile Bereitstellung beschleunigen können. Erfahren Sie mehr (En) in diesem Webinar.

8. Visuelle Tests

Visuelle Tests helfen dabei, kosmetische Fehler in Ihren Anwendungen zu finden, die sich negativ auf die User Experience auswirken könnten. Die KI validiert dabei die Größe, Position und das Farbschema visueller Elemente, indem sie einen Baseline Screenshot einer Anwendung mit einer zukünftigen Version vergleicht. Wenn ein visueller Fehler erkannt wird, können Test-Teams die Änderung ablehnen oder akzeptieren. Dies trägt dazu bei, die Benutzererfahrung einer App zu verbessern, weil auch visuelle Fehler erkannt werden, die gegebenenfalls von Funktionstesttools, die das DOM abfragen, nicht erkannt werden können.

9. Generierung von Testdaten

Bei der Testdatengenerierung mit KI werden synthetische Daten erstellt, die für Softwaretests verwendet werden können. Durch den Einsatz von Machine Learning und Natural Language Processing können Sie dynamische, sichere und anpassungsfähige Daten erstellen, die reale Szenarien ziemlich exakt nachahmen. KI erreicht dies, indem sie Muster und Merkmale aus tatsächlichen Daten erkennt, daraus lernt und dann neue, nicht sensible Daten generiert, die die statistischen Eigenschaften und die Struktur des ursprünglichen Datensatzes beibehalten und so sicherstellen, dass er realistisch und für Testzwecke nützlich ist.

10. Optimierung der Testsuite

KI-Algorithmen können historische Testdaten analysieren, um fehlerhafte, ungenutzte, redundante oder ineffektive Tests bzw. Tests, die nicht mit Anforderungen verknüpft sind, sowie gänzlich ungetestete Anforderungen zu identifizieren. Basierend auf dieser Analyse finden Sie die Schwachstellen oder Optimierungsbereiche in Ihrem Testfallportfolio. Dies hilft, Ihre Testsuite in Richtung Effizienz und Abdeckung zu optimieren, und stellt sicher, dass die relevantesten und wirkungsvollsten Tests ausgeführt werden. 

Doch welche Rolle spielt KI in anderen Testbereichen, beispielsweise bei Leistungstests, Barrierefreiheitstests, End-to-End-Tests, Service-Virtualisierung, API-Tests, Unit-Tests oder Kompatibilitätstests? Wir haben nur an der Oberfläche gekratzt und damit begonnen, das umfangreiche Spektrum an Anwendungsfällen und Fähigkeiten zu erkunden, die KI heute potenziell bietet. In Zukunft wird sich die Rolle der KI noch weiter ausweiten und die Produktivität der Qualitätssicherung erheblich steigern.

Da sich KI ständig weiterentwickelt und enorme Vorteile in Bezug auf Effizienz, Abdeckung und Genauigkeit bietet, ist es wichtig, sich ihrer aktuellen Grenzen bewusst zu sein. KI ersetzt nicht qualifizierte menschliche TesterInnen, insbesondere in komplexen oder stark spezialisierten Szenarien. Vor allem fehlt KI das menschliche Verständnis, das erforderlich ist, um die volle Softwarequalität zu gewährleisten. Die Entwicklung von End-to-End-Tests für Unternehmen, die sich über mehrere Anwendungen in den Bereichen Web, Desktop, Mobile, SAP, Salesforce und mehr erstrecken, erfordert ein hohes Maß an menschlichem Denken und menschlichem Einfallsreichtum, einschließlich der Fähigkeit, Fehler zu erkennen. Die Zukunft der Testautomatisierung liegt in einer ausgewogenen Zusammenarbeit zwischen KI-gesteuerten Technologien und menschlicher Expertise. 

Möchten Sie mehr über die KI-Lösungen von Tricentis erfahren und darüber, wie sie auf Ihre individuellen Anwendungsfälle zugeschnitten werden können? Entdecken Sie unsere innovativen Angebote. 

Tricentis bietet KI-Testautomatisierungstools der nächsten Generation, mit denen Sie Ihre App-Modernisierung beschleunigen, Ihre Produktivität steigern und Ihr Unternehmen mit Effizienz und höchster Qualität voranbringen können.