Werben im Podcast: Software Testing & Qualität - Testautomatisierung, KI & Agilität

Was taugen Tests, die 100 Prozent Coverage liefern, aber keine einzige Assertion enthalten? Mit Julius Mischok spreche ich über Mutation Testing: Ein Tool baut absichtlich Fehler in den Produktionscode ein, dreht Bedingungen um oder setzt Rückgabewerte auf Standardwerte und prüft dann, ob die Tests anschlagen. Bleiben sie grün, hat die Mutation überlebt und der Test ist wenig wert. Julius erklärt, warum diese alte Idee gerade jetzt zurückkommt, wo Agenten massenhaft Tests schreiben, die kaum jemand wirklich in der Tiefe liest.

Wer schreibt noch selbst Code, wenn Agenten das in Minuten erledigen? Mit Benedikt Stemmildt spreche ich darüber, wie Qualität entsteht, wenn nicht mehr Menschen, sondern Agenten die Hauptarbeit am Code übernehmen. Wir reden darüber, warum der entscheidende Unterschied nicht im Modell liegt, sondern darin, ob man am System arbeitet oder im System: Hooks, Regeln, Skills und automatische Architektur-Reviews als Feedbackschleifen, die den Agenten genau so anlernen, wie man einen neuen Kollegen einarbeitet. Benedikt zeigt, wie er Testpyramide, Contract-Tests, Performance-Budgets und Accessibility-Prüfungen direkt in diesen Prozess einbaut, und warum er Codex den Code von Claude reviewen lässt.

Mehr Code, mehr Fehler: Mit Benjamin Hummel spreche ich darüber, was passiert, wenn KI-Agenten Code produzieren schneller als Teams ihn prüfen können. Wir reden über die Illusion, dass Qualitätssicherung ein Bottleneck ist, den man einfach wegoptimiert, und was das für Systeme bedeutet, die in der echten Welt laufen.

Wer steckt eigentlich hinter den Testing Boards, wenn die Tester gerade nicht hinschauen? Mit Andrea Kränzlein spreche ich darüber, was es bedeutet, als Backoffice die drei deutschsprachigen ISTQB-Vertretungen am Laufen zu halten, und zwar seit mittlerweile 20 Jahren beim German Testing Board, plus jeweils über einem Jahrzehnt für das Austrian und das Swiss Testing Board. Andrea ist keine Testerin, und gerade das macht ihren Blick auf unsere Community sointeressant. Sie erzählt, wie sie ihr erstes Meeting mit lauter schweigenden Laptopnutzern erlebt hat, was eine Kuhdose mit Timeboxing zu tun hat und wie sich Deutsche, Österreicher und Schweizer in ihrer Boardarbeit liebevoll karikiert unterscheiden. Vielleicht hast Du dann ja Lust, selbst in den Boards mitzuarbeiten :-)

Hartnäckige Qualitätsprobleme, an denen Unternehmen seit Jahren kauen, löst man nicht mit einem 15-seitigen Assessment-Dokument. Mit Pia Wiedermayer und Roman Kirchmeier spreche ich über das Format "Quality Sprint": ein kompakter Workshop-Tag, bei dem alle Betroffenen an einem Tisch sitzen, in strukturierten Interviews zuhören, was die anderen wirklich beschäftigt, und am Ende konkrete Schritte definieren, die tatsächlich im eigenen Wirkungsbereich liegen. Was mich dabei besonders beschäftigt: die Interviews finden bewusst in der großen Runde statt, denn oft genug merken alle erst dabei, dass sie eigentlich über dasselbe Problem reden. Wie der Transfer danach klappt und warum das Follow-up mindestens so wichtig ist wie der Workshop-Tag selbst, erzählen Pia und Roman aus ihrer gemeinsamen Erfahrung mit den Quality Elevators.

Kann man mit 100% Branch Coverage wirklich sicherstellen, dass Code fehlerfrei ist? Mit Roger Butenuth spreche ich darüber, was passiert, wenn man dieses Ziel konsequent verfolgt, und zwar nicht als theoretische Übung, sondern an einem echten, selbst geschriebenen Interpreter für eine Lisp-ähnliche Sprache. Roger erzählt, welche peinlichen Fehler er dabei entdeckt hat, darunter eine handfeste Sicherheitslücke an einer Stelle, die er für zu trivial hielt, um dort einen Bug zu vermuten. Und trotzdem blieb am Ende noch ein Bug übrig, der erst beim Advent of Code auftauchte.

Wer automatisiert testet, baut auf Determinismus, auf Konsistenz, auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich darüber, warum genau das bei LLMs nicht funktioniert und was wir stattdessen brauchen. Wir gehen der Frage nach, wie man einen Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und Generation zerlegen lassen, und warum die meisten Fehler im Retrieval stecken.

Was können wir von Bakterien und Motten lernen, um besser mit Unsicherheit umzugehen? Mit Anna Melbinger spreche ich darüber, wie Strategien aus der Natur auf Softwareprojekte und Projektmanagement übertragbar sind. Anna bringt einen ungewöhnlichen Hintergrund mit: Jahre in der Wissenschaft, Physik studiert, biologische Fragestellungen mit Mathematik bearbeitet, und heute im IT-Projektgeschäft. Wir reden darüber, warum Stillstand keine Robustheit erzeugt, warum Bug-Trends oft aussagekräftiger sind als einzelne Bugs, und wann es sich lohnt, bewusst einen Schritt zu tun, der nicht direkt zum Ziel führt, nur um Wissen zu gewinnen. Am Ende landet das Gespräch bei Karl Popper und der Frage, ob das aktive Suchen nach Widerlegung eigentlich die ehrlichste Methode ist, mit komplexen Entscheidungen umzugehen.

Wer programmieren lernt, ohne je einen Lötstift in der Hand gehabt zu haben, wer Code generiert, ohne zu verstehen, in welchem Umfeld er läuft, und wer darauf vertraut, dass Vibecoding schon irgendwie funktioniert: Genau das diskutiere ich mit Marc Bless und Thomas Ronzon. Wir reden darüber, was es heute wirklich braucht, um Systeme zu durchdringen, warum das T-Shape-Modell nicht mehr reicht und was passiert, wenn die Mittelschicht der Entwicklung einfach wegbricht. Dabei geht es nicht nur um Technologie, sondern auch um Vertrauen: in Systeme, in KI, in Menschen.

Wer gestaltet eigentlich die Software, die unseren Alltag durchdringt, und wessen Werte fließen dabei ein? Mit Claudia Nass Bauer spreche ich darüber, warum homogene Teams blinde Flecken produzieren, die keine böse Absicht sind, sondern einfach das natürliche Ergebnis, wenn immer dieselben Perspektiven am Tisch sitzen. Wir reden über unbewusste Denkmuster, über Kommunikationssysteme, die in männerdominierten Gruppen entstehen, und darüber, wie agile Methoden mit kleinen Teams diesen Mustern entgegenwirken können. Claudia stellt außerdem ein Forschungsprojekt vor, das Studentinnen aus Design, Psychologie und Sozialwissenschaften gezielt an Softwareentwicklung heranführt, weil viele von ihnen schlicht nicht wissen, dass sie dort einen echten Beitrag leisten könnten.

Menschen mit Autismusdiagnose, die im Wartezimmer spontan 48 Rechtschreibfehler in einer Illustrierten zählen, bevor das Gespräch überhaupt beginnt: Das erzählen mir Helmut Pichler und Markus Kalbhenn, und es erklärt besser als jede Theorie, warum genau diese Fähigkeiten im Softwaretesting so gut ankommen. Wir sprechen darüber, wie das Ausbildungsprogramm aufgebaut ist, welche Anpassungen im Training wirklich den Unterschied machen, und was Unternehmen konkret brauchen, damit die Zusammenarbeit funktioniert. Dabei geht es nicht nur um Pausen und ruhige Räume, sondern auch darum, wie klare Aufgabenstellungen und ein fester Tagesrhythmus aus einer unsicheren Situation ein gutes Arbeitsverhältnis machen können.

Dokumentation mit KI zu prüfen, indem man menschliche Verhaltensweisen simuliert, das ist der Ansatz, den Ingo Eichhorst mitgebracht hat. Mit ihm spreche ich darüber, wie sich Personas wie ein Junior-Entwickler oder ein Senior-Entwickler als KI-Agenten in eine CI/CD-Pipeline einbauen lassen, um Dokumentation nicht nur zu bewerten, sondern aktiv damit zu arbeiten. Was mich dabei festhält: Der Junior-Entwickler verbraucht dabei fast sechsmal so viele Token wie der Senior, weil er an einer missverständlichen URL-Struktur scheitert und sich im Trial-and-Error verliert. Das zeigt direkt, wo Dokumentation nachgebessert werden muss. Wir reden auch darüber, warum das Domänwissen hinter Code so schwer zu rekonstruieren ist, sobald es einmal verloren ist, und was passiert, wenn eine KI plötzlich zwischen Entwicklern und Management als Übersetzungsschicht wirkt.

Architektur, die auf Papier perfekt aussieht, ist oft schon überholt, bevor das erste Team damit arbeitet. Mit Ralf Enderle spreche ich darüber, warum das kein unvermeidbares Schicksal ist, sondern eine Frage der richtigen Unterscheidungen. Wir reden darüber, welche Entscheidungen wirklich unumkehrbar sind und welche man getrost der Realität des Projekts überlassen kann, ohne dass die Architektur dabei auseinanderfällt. Mich hat beschäftigt, wie Ralf das auf den Punkt bringt: Entscheidungen, die niemand kennt und die sich nirgends verteidigen, helfen keinem. Wie eine Architektur lernen kann, sich selbst zu melden, wenn sie gebrochen wird, und was Tester dabei konkret einbringen können, das nehme ich aus diesem Gespräch mit.

Positives Führen hat nichts mit Ponyhof zu tun – das ist einer der ersten Sätze, die Christian Thiele sagt, und er bringt das Thema direkt auf den Punkt. Mit ihm spreche ich darüber, was hinter dem PERMA-Modell steckt: fünf konkrete Stellschrauben, mit denen Führung im Alltag greifbar wird, von positiven Emotionen über psychologische Sicherheit bis hin zum bewussten Feiern von Erfolgen. Wir reden auch darüber, warum Leadership keine Frage der Rolle ist und was passiert, wenn man den besten Entwickler zum Projektleiter macht, nur weil Karriere bisher immer über Führung lief. Mich hat dabei besonders der Gedanke beschäftigt, dass wir im Testing-Umfeld oft gut darin sind, Fehler zu finden, aber selten innehalten, um die Dinge zu würdigen, die wirklich funktioniert haben.

Was KI mit uns als Team macht, beschäftigt mich seit Längerem. Mit Jasmine Simons spreche ich darüber, wie der zunehmende KI-Einsatz unser soziales Miteinander verändert: Kommunikation wird sachlicher, Vertrauen erodiert langsam, und das soziale Lernen, das gerade junge Menschen am Anfang ihrer Karriere brauchen, findet schlicht nicht mehr statt. Jasmine erklärt, warum Reibung im Team kein Fehler ist, sondern eine Voraussetzung für Innovation, und warum der Allwissende in der Tasche uns gegenüber anderen glatter, aber nicht vertrauenswürdiger macht. Ihr Vorschlag klingt einfach, braucht aber echte Entscheidung: KI wie ein neues Teammitglied integrieren, also mit klaren Rollen, expliziten Vereinbarungen und dem Bewusstsein, dass dieser Aufwand kein Nice-to-have ist.