Mythos vs. Realität: 10 KI-Anwendungsfälle in der Testautomatisierung heute

Seit Jahrzehnten schien der Science-Fiction-Traum, einfach mit seinem Gerät zu sprechen und es Aufgaben für einen erledigen zu lassen, weit hergeholt. Im Bereich der Testautomatisierung und Qualitätssicherung rückt dieser Traum immer näher an die Realität heran. Mit der Entwicklung der generativen KI sind wir aufgefordert zu erforschen, was wirklich machbar ist. Die Einbettung von KI in Ihre Quality-Engineering-Prozesse wird unerlässlich, da IT-Infrastrukturen zunehmend komplex und integriert werden und sich über mehrere Anwendungen und Geschäftsprozesse erstrecken. KI kann helfen, die schwierigen Aufgaben zu bewältigen, zu wissen, was zu testen ist, wie es zu testen ist, relevante Tests zu erstellen und zu entscheiden, welche Art von Tests durchzuführen sind – und so Produktivität und Geschäftseffizienz zu steigern.

Doch was ist Fakt und was ist Fiktion? Die rasante Entwicklung der KI macht es schwer, ihre Fähigkeiten genau vorherzusagen. Dennoch haben wir die zehn wichtigsten KI-Anwendungsfälle in der Testautomatisierung untersucht und dabei zwischen den heutigen Realitäten und den Bestrebungen von morgen unterschieden.

1. Automatische Testfallgenerierung

Realität: KI kann Testfälle generieren, indem sie User Stories zusammen mit Anforderungen, Code und Designdokumenten inklusive Anwendungsdaten und Benutzerinteraktionen analysiert. Large Language Models (LLMs) beispielsweise können Anforderungen via Textanalyse interpretieren, um wichtige Informationen herauszufiltern und potenzielle Testszenarien zu identifizieren. Gemeinsam mit statischer und dynamischer Codeanalyse werden so Bereiche im Code identifiziert, die potenzielle Schwachstellen aufweisen und somit gründliche Tests erfordern. Die Integration von Anforderungs- und Codeanalyse kann dabei helfen, potenzielle manuelle Testfälle zu generieren, die ein breites Spektrum an Funktionalitäten in der Anwendung abdecken.

Mythos: Hier kommt der Vorbehalt: Viele Tools auf dem Markt, die eine automatisierte Testfallgenerierung ermöglichen, erstellen manuelle Tests. Sie sind nicht automatisiert. Vollautomatische, ausführbare Testfälle zu erstellen, bleibt ein Mythos und bedarf noch weiterer Nachweise. Darüber hinaus generieren unvollständige, mehrdeutige oder inkonsistente Anforderungen möglicherweise nicht immer die richtigen Tests, was weitere Entwicklung erfordert. Testfälle decken möglicherweise nicht immer Grenzfälle oder hochkomplexe Szenarien ab und können auch völlig neue Anwendungen nicht abdecken. Die Analyse von Anwendungs- und Benutzerinteraktionsdaten ist möglicherweise nicht immer möglich. Daher werden menschliche TesterInnen immer erforderlich sein, um die Vollständigkeit und Genauigkeit der Testsuiten zu überprüfen und alle möglichen Szenarien zu berücksichtigen.

2. Autonomes Testen

Realität: Autonomes Testen automatisiert die Automatisierung. Wie bitte? Stellen Sie sich vor, Sie geben eine Aufforderung in ein KI-Modell ein wie: „Testen Sie, ob eine Person unter 18 nicht versicherungsberechtigt ist.“ Die KI würde dann die gesamte Anwendung durchsuchen, alle relevanten Elemente finden, die korrekten Daten eingeben und das Szenario für Sie testen. Das stellt einen völlig unkomplizierten Ansatz dar, ähnlich dem autonomen Level 5 von Forrester.

Mythos: Aber sind wir schon da? Nicht ganz, obwohl bemerkenswerte Technologien die Lücke überbrücken. Die Einschränkung von Large Language Models (LLMs) liegt darin, dass sie sich auf das Textverständnis konzentrieren und oft Probleme mit der Interaktion mit Anwendungen haben. Für diejenigen, die die neuesten KI-Entwicklungen verfolgen: Rabbit hat ein neues KI-Mobiltelefon namens r1 veröffentlicht, das Large Action Models (LAMs) verwendet. LAMs sind darauf ausgelegt, diese Interaktionslücke zu schließen. Im Bereich der Testautomatisierung sind wir noch nicht ganz so weit. Ist das alles nur ein Hype? Das lässt sich nicht mit Sicherheit sagen, aber das Potenzial dieser hybriden LAM-Ansätze, die Aktionen ausführen, die eher der menschlichen Absicht entsprechen, deutet sicherlich auf eine vielversprechende Zukunft hin.

3. Automatisierte Testfallerstellung

Realität: KI revolutioniert das Testfalldesign, indem sie ausgefeilte Methoden zur Optimierung von Testprozessen einführt. KI-Algorithmen können Testfälle identifizieren und priorisieren, die die wichtigsten Risiken abdecken. Durch die Analyse von Anwendungsdaten und Benutzerinteraktionen kann die KI bestimmen, welche Bereiche anfälliger für Fehler sind oder eine höhere geschäftliche Auswirkung haben. KI kann auch wichtige Geschäftsszenarien identifizieren, indem sie Nutzungsmuster und Geschäftslogik analysiert, um automatisch Testfälle zu generieren, die stärker auf reale Benutzerverhalten abgestimmt sind und kritische Geschäftsfunktionalitäten abdecken. Darüber hinaus können KI-Tools verschiedenen Testszenarien basierend auf ihrer Nutzungshäufigkeit und Bedeutung Gewichtungen zuweisen. Dies hilft bei der Erstellung einer ausgewogenen Testsuite, die sicherstellt, dass die wichtigsten Aspekte der Anwendung gründlich getestet werden.

Mythos: KI kann den Entscheidungsprozess bei der Testsuite-Optimierung noch nicht vollständig ohne menschliche Aufsicht automatisieren. Die Komplexität bestimmter Testszenarien erfordert nach wie vor menschliches Urteilsvermögen. Darüber hinaus sind KI-Algorithmen nicht in der Lage, Testfalldesigns für neue Anwendungen automatisch zu generieren, insbesondere für solche mit hochintegrierten End-to-End-Abläufen, die sich über mehrere Anwendungen erstrecken. Diese Fähigkeit bleibt unterentwickelt und ist derzeit nicht realisiert.

4. Das Testen von KI selbst

Realität: Da wir zunehmend KI-Funktionen in Produkte einbetten, entwickelt sich die Frage von „Wie testet man KI?" zu „Wie testet man KI, generative KI und Anwendungen, die mit beidem angereichert sind?". KI bringt eine Vielzahl von Herausforderungen mit sich, darunter Vertrauensprobleme, die aus potenziellen Problemen wie Halluzinationen, Faktizitätsproblemen und Erklärbarkeitsbedenken resultieren. Generative KI ist ein nicht-deterministisches System und erzeugt unterschiedliche und unvorhersehbare Ergebnisse. Ungetestete KI-Funktionen und KI-angereicherte Anwendungen können zu mehreren Problemen führen, wie z. B. voreingenommenen Systemen mit diskriminierenden Outputs, dem Versagen bei der Identifizierung von Hochrisikoelementen, fehlerhaften Testdaten und -designs, fehlgeleiteten Analysen und mehr.

Das Ausmaß dieser Herausforderungen ist offensichtlich. Im Jahr 2022 gab es in den USA 110 Rechtsfälle im Zusammenhang mit KI, laut dem AI Index Report 2023. Die Zahl der KI-Vorfälle und Kontroversen hat seit 2021 um das 26-fache zugenommen. Darüber hinaus verfügen nur 20% der Unternehmen über Risikorichtlinien für den Einsatz von Generativer KI, wie aus einer McKinsey-Studie in 2023 hervorging.

Mythos: Das Testen skalierter KI-Systeme, insbesondere generativer KI-Systeme, ist unerforschtes Terrain. Sind wir schon da? Während verschiedene Ansätze und Methoden für das Testen traditionellerer neuronaler Netzsysteme existieren, fehlen uns noch umfassende Tools für das effektive Testen von generativen KI-Systemen.

KI-Realitäten in der Testautomatisierung heute

Die folgenden Anwendungsfälle sind mit aktuellen Testautomatisierungstechnologien bereits vollständig realisierbar.

5. Risk AI

Es ist heute eine große Herausforderung für TesterInnen, Hunderte oder Tausende von Testfällen ohne klare Prioritäten in einer agilen Umgebung zu verwalten. Wenn sich Anwendungen ändern, wirft dies kritische Fragen auf: Wo liegt das Risiko? Was sollten wir basierend auf diesen Änderungen testen oder priorisieren? Glücklicherweise bietet Risk AI, auch bekannt als intelligente Auswirkungsanalyse, eine Lösung. Sie untersucht Änderungen in der Anwendung oder ihrer Landschaft, einschließlich benutzerdefiniertem Code, Integration und Sicherheit. Dieser Prozess identifiziert die am stärksten gefährdeten Elemente, auf die sich das Testen konzentrieren sollte. Der Einsatz von Risk AI führt zu erheblichen Effizienzgewinnen beim Testen. Er grenzt den Testumfang ein, spart erheblich Zeit und Kosten und reduziert gleichzeitig das mit Software-Releases verbundene Risiko erheblich.

6. Selbstheilung

Durch die Identifizierung von Änderungen an Elementen sowohl auf der Code- als auch auf der UI-Ebene können KI-gestützte Tools fehlerhafte Tests nach jeder Ausführung automatisch reparieren. Dies ermöglicht es Teams, die Testautomatisierung zu stabilisieren und gleichzeitig Zeit und Kosten für die Wartung zu reduzieren. Möchten Sie mehr darüber erfahren, wie Tricentis Tosca Selbstheilung für Oracle Fusion und Salesforce Lightning und Classic unterstützt? Sehen Sie sich dieses Webinar an..

7. Mobile KI

Durch Convolutional Neural Networks kann die Mobile-AI-Technologie TesterInnen helfen, mobile Schnittstellen zu verstehen und zu analysieren, um Probleme bei Audio, Video, Bildqualität und Objektsteuerung zu erkennen. Diese Fähigkeit hilft dabei, KI-gestützte Analysen zur Leistung und User Experience mit Trendanalysen über verschiedene Geräte und Standorte hinweg bereitzustellen und mobile Fehler schnell in Echtzeit zu erkennen. Tricentis bietet eine Mobile-AI-Engine, die Ihnen helfen kann, die mobile Bereitstellung zu beschleunigen. Erfahren Sie hier mehr..

8. Visuelle Tests

Visuelle Tests helfen dabei, kosmetische Fehler in Ihren Anwendungen zu finden, die sich negativ auf die User Experience auswirken könnten. Die KI validiert Größe, Position und Farbschema visueller Elemente, indem sie einen Basis-Screenshot einer Anwendung mit einer zukünftigen Ausführung vergleicht. Wenn ein visueller Fehler erkannt wird, können TesterInnen die Änderung ablehnen oder akzeptieren. Dies hilft, die User Experience einer App zu verbessern, indem visuelle Fehler erkannt werden, die sonst von funktionalen Testtools, die das DOM abfragen, nicht entdeckt werden können.

9. Testdatengenerierung

Bei der Testdatengenerierung mit KI werden synthetische Daten erstellt, die für Softwaretests verwendet werden können. Durch den Einsatz von Machine Learning und Natural Language Processing können Sie dynamische, sichere und anpassungsfähige Daten erstellen, die reale Szenarien genau nachbilden. KI erreicht dies, indem sie Muster und Merkmale aus tatsächlichen Daten lernt und dann neue, nicht sensible Daten generiert, die die statistischen Eigenschaften und Struktur des ursprünglichen Datensatzes beibehalten und sicherstellen, dass sie realistisch und für Testzwecke nützlich sind.

10. Optimierung der Testsuite

KI-Algorithmen können historische Testdaten analysieren, um fehlerhafte Tests, ungenutzte Tests, redundante oder ineffektive Tests, Tests ohne Verknüpfung zu Anforderungen oder ungetestete Anforderungen zu identifizieren. Basierend auf dieser Analyse können Sie leicht Schwachstellen oder Optimierungsbereiche in Ihrem Testfallportfolio identifizieren. Dies hilft, Ihre Testsuite hinsichtlich Effizienz und Abdeckung zu optimieren und gleichzeitig sicherzustellen, dass die relevantesten und wirkungsvollsten Tests ausgeführt werden, wodurch Testzeit und Ressourcen reduziert werden.

Doch welche Rolle spielt KI bei Leistungstests, Barrierefreiheitstests, End-to-End-Tests, Service-Virtualisierung, API-Tests, Unit-Tests und Kompatibilitätstests, um nur einige zu nennen? Wir haben gerade erst an der Oberfläche gekratzt und begonnen, die umfangreiche Palette an Anwendungsfällen und Fähigkeiten zu erkunden, die KI heute potenziell bietet. Mit Blick auf die Zukunft wird die Rolle der KI noch weiter zunehmen und die QA-Produktivität in Zukunft erheblich steigern.

Da sich KI weiterentwickelt und enorme Vorteile in Bezug auf Effizienz, Abdeckung und Genauigkeit bietet, ist es wichtig, sich ihrer aktuellen Einschränkungen bewusst zu bleiben. KI ersetzt noch nicht den Bedarf an qualifizierten menschlichen TesterInnen, insbesondere in komplexen oder differenzierten Szenarien. KI fehlt noch das menschliche Verständnis, das erforderlich ist, um vollständige Softwarequalität zu gewährleisten. Die Entwicklung echter unternehmensweiter End-to-End-Tests, die mehrere Anwendungen über Web, Desktop, Mobile, SAP, Salesforce und mehr hinweg umfassen, erfordert ein hohes Maß an menschlichem Denken und menschlicher Kreativität, einschließlich der Fähigkeit, Fehler zu erkennen. Die Zukunft der Testautomatisierung liegt in einer ausgewogenen Zusammenarbeit zwischen KI-gesteuerten Technologien und menschlichem Fachwissen.

Möchten Sie mehr über die KI-Lösungen von Tricentis erfahren und darüber, wie sie auf Ihre individuellen Anwendungsfälle zugeschnitten werden können? Entdecken Sie unsere innovativen Angebote.

Tricentis bietet KI-Testautomatisierungstools der nächsten Generation, mit denen Sie Ihre App-Modernisierung beschleunigen, Ihre Produktivität steigern und Ihr Unternehmen mit größerer Effizienz und höchster Qualität voranbringen können.