Alles, was Sie über Tests in der Produktion wissen müssen

Wie erreicht man Größe? Man wird nicht einfach über Nacht zur Legende – es steckt viel Arbeit dahinter. Es gibt Zeiten der Enttäuschung, Zeiten des Bedauerns, Zeiten, in denen Aufgeben wie eine gute Option erscheint, und es gibt sicherlich viele Zeiten, in denen man scheitert. Trotz dieser Widrigkeiten weiterzumachen, ist der Moment, in dem die Größe an Ihre Tür klopft. 

Und wer will nicht großartig sein?

Ich ganz bestimmt. Auf meiner Suche nach Größe, Erfolg und Brillanz habe ich eines erkannt: Versuch und Irrtum können einen weit bringen. Wie ich bereits sagte, steckt viel Arbeit darin, großartig zu sein, und diese Arbeit entspricht Versuch und Irrtum. Vielleicht sind Sie nicht beim ersten Versuch großartig oder auch nicht beim hundertsten.

Wie stellen Sie also sicher, dass Sie es sind?

Wenn ich über mein Fachgebiet sprechen würde, die Webentwicklung, und es da draußen Hunderte und Tausende von großartigen und legendären Apps und Websites gibt, würde ich sagen, Versuch und Irrtum sind das Geheimnis. Durchhalten, bis man Erfolg hat, und Testen ist ein guter Weg, dies zu tun. 

Und das ist unser heutiges Thema: das Erreichen von Größe in der Webwelt durch Testen. Da das Testen ein riesiges Thema ist, das man nicht in einem einzigen Blogbeitrag abdecken kann, werde ich mich auf das Testen in der Produktion konzentrieren und darauf, wie es die Art und Weise, wie wir Apps entwickeln, grundlegend revolutioniert hat. 

Was ist Testen in der Produktion?

Apps zu entwickeln ist keineswegs einfach und sollte sicherlich nicht überstürzt werden. Man kann es zwar tun, aber dann wäre es nur ein sinnloses Unterfangen. Das Testen ist zu einem wichtigen Bestandteil geworden, man kann keine App oder Website entwickeln, ohne ihre Effizienz gründlich zu testen. Das wäre dem Publikum gegenüber nicht fair. Sie wollen ihr Vertrauen und ihre Loyalität gewinnen, und das Testen der Anwendung und ihre Optimierung für Ihre Benutzer ist der einzige Weg, dies zu erreichen. 

Von der Entwicklung über die Staging- und Pre-Production-Phase hat das Testen nun den Bauprozess überschritten und die Benutzer und ihre erste Interaktion mit der App erreicht. Und das ist es, was Testen in der Produktion eigentlich ist. 

Es ist eine Softwareentwicklungspraxis, bei der der Live-Benutzerverkehr die neuen Codeänderungen erlebt, anstatt einer Staging-Umgebung. Natürlich werden Sie nicht eine vorgetestete Anwendung an Ihr gesamtes Publikum schicken, das wäre töricht. Wenn Sie in der Produktion testen, senden Sie die Test-App nur an einen Bruchteil des Live-Benutzerverkehrs, um sich von ihrer Tragfähigkeit zu überzeugen. 

Nun werden Sie sich vielleicht fragen, warum man das Risiko eingehen sollte? Warum sollte man eine App veröffentlichen, von der man nicht ganz überzeugt ist? Die Antwort ist einfach. Man kann sich seiner Projekte nie sicher sein, bis sie endlich auf dem Markt sind. Das Testen in der Produktion ist wie ein Probelauf vor dem eigentlichen Test, es bereitet Sie darauf vor, alle Fehler zu beheben, die Sie in den Entwicklungs- und Staging-Tests möglicherweise übersehen haben. 

Ja, es besteht die Möglichkeit, dass Ihre Benutzer eine Software erleben, die nicht dem Standard entspricht und gelinde gesagt fehlerhaft ist. Aber ist es nicht besser, wenn ein kleiner Teil Ihrer Benutzerbasis das erlebt, anstatt alle? Ich bin sicher, dass es so ist, und deshalb ist TIP wichtig. Es ist bekannt, dass Tech-Giganten wie Google, Netflix und Amazon neue Funktionen für einige ihrer Benutzer freigeben, die Auswirkungen messen und dann mit der endgültigen Version fortfahren. Wenn TIP für sie zu funktionieren scheint, denke ich, dass es auch für uns funktionieren sollte.

Allerdings ist beim "Testen in der Produktion" nicht immer alles rosig. Zum einen ist es kein Ersatz für Pre-Production-Tests, sondern ergänzt diese. Zweitens ist es nicht einfach oder schnell, man kann es nicht einfach mit den Fingern schnippen und fertig sein. Es erfordert ein hohes Maß an Automatisierung, und Sie sollten das A und O der Best Practices und des Designs eines Systems von Grund auf kennen.

Das Testen in der Produktion hat sich als äußerst wichtig erwiesen, aber nur, wenn es richtig durchgeführt wird.

Warum sollten Sie in der Produktion testen?

Nachdem Sie nun wissen, was Testen in der Produktion ist, ist die nächste logische Frage, warum man es überhaupt in Angriff nehmen sollte? Die Antwort ist auch logisch genug: Wenn Sie während der Produktionsphase testen, werden Sie viel mehr aus dem Prozess herausholen als bei allen Pre-Production-Tests. 

Lassen Sie uns herausfinden, wie. 

Bietet eine verbesserte Genauigkeit bei der Leistungsbewertung 

Der wichtigste Vorteil des Testens in der Produktion ist die Genauigkeit, die es bei der Bewertung der Leistung bietet. Sie könnten eine perfekte Software auf dem Papier und sogar während des Stagings haben, aber das wirkliche Leben könnte eine andere Sichtweise darauf haben. Wenn Sie sich für das Testen in der Produktion entscheiden, können Sie nicht nur die Fehler Ihrer Software identifizieren, sondern auch ihre Leistung in Echtzeit bewerten, wodurch Ihre Bewertungen auf den Punkt gebracht und äußerst genau werden.

Bietet verbessertes Feedback zum Beta-Programm 

Es wird immer Beta-Programme geben, bevor das eigentliche Programm auf den Markt kommt. Die Implementierung von TIP in der Beta-Phase vermittelt Ihnen ein klareres Bild von der Entwicklung der Software mit ihrem sofortigen Feedback, wie die Benutzer mit dem Programm interagieren, was letztendlich zu einer schnelleren Entwicklung führt.

Bietet eine verbesserte Effektivität bei der Bewertung von Benutzererfahrungen

Vor dem Bau einer Anwendung ist es wichtig, eine ordnungsgemäße Recherche durchzuführen, und das hängt von Ihren Benutzern ab. Wenn also der gesamte Entwicklungsprozess benutzerzentriert ist, bedeutet das, dass die Benutzer für das Programm von zentraler Bedeutung sind. Das Testen in der Produktion ermöglicht es Ihnen, Ihre Benutzerbasis zu nutzen und daraus zu lernen. Die Veröffentlichung einer Software für einen Teil Ihres Publikums ermöglicht es Ihnen, objektive Informationen über deren Erfahrungen zu erhalten, woraufhin Sie daran arbeiten können, diese im weiteren Verlauf zu verbessern. Es gibt keinen anderen Test, der Ihnen helfen würde, diese entscheidende Information zu erhalten.

Bietet verbesserte Fähigkeiten zur Problemerkennung

Sie könnten so viele Tests durchführen, wie Sie wollen, aber Sie wären trotzdem nicht in der Lage, alle Probleme mit Ihrer Software zu identifizieren und zu beheben. Wenn Sie eine App in der Produktion ausführen, erfahren Sie, wie sie sich in Echtzeit auf die Benutzer auswirkt. Alle Probleme und Schwierigkeiten, die dort auftreten, wären nicht im Voraus erkannt worden. Am Ende des Tages bietet TIP Ihren Entwicklern die Superkraft, die Zukunft vorherzusehen und den unheilvollen Fehlern, die die Entwicklung auf Schritt und Tritt begleiten, einen Schritt voraus zu sein.

Bietet verbesserte Fähigkeiten, mit Unvorhersehbarkeiten umzugehen 

Können Sie wissen, welche Schwierigkeiten Sie beim Aufstieg auf den Everest erwarten, bis Sie es tatsächlich tun? Diese Reise wird immer unvorhersehbar sein, und Sie können sie nur ertragen, wenn Sie sie tatsächlich unternehmen. Dasselbe gilt für das Testen in der Produktion. Es wird viele unvorhersehbare Szenarien geben, wenn eine Software veröffentlicht wird, und diese können nur erkannt werden, wenn Sie es tatsächlich bis zum Live-Publikum schaffen. Mit TIP können Sie die Leistung in Echtzeit überwachen und die Probleme sofort beheben.

Bietet ein erhöhtes Potenzial für die Bereitstellung von Entwicklungen 

Früher, als eine App entwickelt und veröffentlicht wurde, schien die Arbeit erledigt zu sein. Das markiert jedoch nur den Beginn der Aufgaben des Entwicklers. Es dauert keine Monate, um eine neue Funktion für das vorherige Projekt zu veröffentlichen. Die Bereitstellung von Entwicklungen ist einfach, schnell und recht effizient, wenn Sie in der Produktion testen. Das liegt daran, dass das Erkennen von Problemen und Fehlern in den Bereitstellungen mit TIP einfach ist. Daher sollten Sie sich von sich ändernden Verbraucherwünschen nicht im Geringsten abschrecken lassen.

Diese Vorteile beantworten auch effektiv die Frage, warum das Testen in der Produktion wichtig ist.

Kann das Testen in der Produktion Herausforderungen mit sich bringen?

Bei so vielen Vorteilen werden Sie zwangsläufig denken, dass TIP die Antwort auf alle Ihre Entwicklungsprobleme ist, und das könnte es auch sehr wohl sein. Allerdings kann TIP auch etwas schwierig zu implementieren sein. Es gibt eine Reihe von Problemen und Nachteilen, die damit einhergehen, und es wäre einfach unfair, weiterzumachen, ohne Sie darüber zu informieren. 

Lassen Sie uns also einige Einblicke gewinnen, wie herausfordernd das Testen in der Produktion sein kann. 

Das Risiko des Scheiterns 

Die offensichtlichste Herausforderung bei TIP ist das Risiko, dass Sie Ihr Publikum enttäuschen. Die Analyse dieses Risikos und die Arbeit daran können für viele Websites und Software problematisch werden. Das liegt daran, dass die Software, selbst wenn Sie sie für ein Publikum bereitstellen, zwangsläufig Probleme haben wird, sie ist dann noch nicht vollständig. Das bedeutet, dass diese Probleme Ihre Benutzer enttäuschen können, und wenn Sie Software haben, die auf Finanztransaktionen basiert, haben Sie möglicherweise ein viel größeres Risiko zu überwinden. 

Das Risiko der Sicherheit 

Es gibt auch das Risiko der Datensicherheit. Da das Testen in der Produktion ein echtes Benutzerpublikum und echte Benutzerdaten bedeutet, sind Sie dann weit über die Dummy-Phase hinaus. Wenn Ihre Software also in irgendeiner Weise nicht mit den Datenschutzrichtlinien übereinstimmt, selbst wenn dies auf einen Fehler zurückzuführen ist, müssen Sie mit schwerwiegenden Konsequenzen rechnen. Wenn Ihre Software die HIPAA-Richtlinien einhalten muss und es zu einer Datenschutzverletzung kommt, können die Kosten, die Sie möglicherweise zahlen müssen, enorm sein. Sie alle müssen sich an das Facebook-Debakel erinnern.

Sie können die Datenzugriffspunkte einschränken, um eine Verletzung zu vermeiden, aber es könnte trotzdem passieren, da sich Ihre Software im Test befindet. 

Das Risiko, dass das Setup amateurhaft ist

Damit TIP richtig funktioniert, benötigen Sie ein ausgefeiltes Setup. Ihre Bereitstellung muss ausgereift genug sein, um in einem Live-Publikum getestet zu werden, und dann gibt es noch die Tatsache, dass Sie kompetent genug sein müssen, um einen automatisierten Test durchzuführen, ein manueller TIP würde niemals funktionieren. 

Fragen Sie sich selbst, 

Sind Sie in der Lage, die Folgen schlechter Daten manuell zu bewältigen?
Können Sie den Nebenwirkungen der Veröffentlichung entgegenwirken, indem Sie Feature-Flags verwenden oder die Funktionalität vollständig ändern?

Wenn Sie also nicht sicher sind, ob Ihr Setup bereit ist, sind die Chancen, dass etwas schief geht, ziemlich hoch, und das wollen Sie sicherlich nicht. 

Wie können Sie in der Produktion testen?

Das Gute und das Schlechte eines Konzepts zu kennen, wird Ihnen zwangsläufig einen Anschein von Fachwissen darüber vermitteln. Da wir das mit dem Testen in der Produktion getan haben, kommt nun der Teil, in dem wir tatsächlich die Knochenarbeit leisten, und das ist seine Implementierung; wie testen Sie in der Produktion. 

Nun, es gibt viele Möglichkeiten, dies zu tun, und ich werde Ihnen von allen erzählen.

Feature-Flags 

Sie haben vielleicht bemerkt, dass TIP oft als mit Feature-Flags verbunden angesehen wird, das liegt daran, dass für das ordnungsgemäße Funktionieren des ersteren die Anwesenheit des letzteren obligatorisch ist. Lassen Sie mich Ihnen sagen, warum. Feature-Flags oder Toggles, wie auch immer Sie sie nennen wollen, sind im Grunde Codezeilen, die überwachen, ob eine bestimmte Funktion aktiviert werden soll oder nicht. Sie können dies tun, indem Sie eine Konfiguration erstellen, die sie implementiert. Auf diese Weise haben Sie die Möglichkeit, jede Funktion während tIP oder anderweitig ein- oder auszuschalten, und Sie müssen keinerlei Code schreiben. 

A/B-Testing 

Die Verwendung von a/b bezieht sich hier auf zwei Versionen der Software, die gleichzeitig bereitgestellt werden. Dies geschieht, damit Sie die Präferenz Ihrer Zielgruppe kennen und die Art und Weise, wie sie sich dreht, die Version ist, mit der Sie fortfahren können. 

Nehmen wir das Beispiel einer Shopping-Site, stellen Sie sich vor, sie haben eine neue Funktion hinzugefügt, um Ihre Bestellungen zu verfolgen, aber es gab zwei Möglichkeiten, dies zu tun, in einem solchen Szenario wird das A/B-Testing zum Retter. 

Es gibt auch die Tatsache, dass A/B-Tests nicht nur mit zwei neuen Versionen durchgeführt werden müssen. Sie können den Test einfach mit der neueren Version im Gegensatz zur älteren durchführen. Und dann die Neigung Ihres Publikums in Echtzeit messen. A/B kann nur mit echten Benutzern durchgeführt werden, und sein entscheidendes Feedback hat immer den Stakeholdern und Entwicklern zugutegekommen.

Kanarientest

Der Kanarientest ist dem A/B-Test insofern ähnlich, als er es Ihnen ermöglicht, eine neue Version Ihrer Software für einen kleinen Teil Ihrer Benutzerbasis freizugeben. Wenn Sie dann denken, dass es so funktioniert, wie Sie es sich gewünscht haben, und sich als Hit herausstellt, können Sie dasselbe für Ihre gesamte Benutzerbasis freigeben. Die Kanarienfreigabe gibt Ihnen das Vertrauen, das Sie vor der Bereitstellung einer vollständigen Website oder App benötigen.

Kontrollierter Flugtest 

Dieser unterscheidet sich ein wenig von den beiden zuvor genannten Tests. Wenn Sie einen kontrollierten Flugtest durchführen, testen Sie nicht auf Systemaktualisierungen, sondern auf die Reaktionen der Benutzer. Der Zweck hier ist es zu testen, ob die Benutzer auf die Änderungen so reagieren, wie erwartet. Zu diesem Zweck würden Sie eine Gruppe von echten Benutzern auswählen und deren Verhalten genau überwachen und bewerten. Wenn Ihre Erwartungen und die Testergebnisse übereinstimmen, wissen Sie, dass Sie auf dem richtigen Weg sind.

Automatisierter Rollback

Automatisierter Rollback bedeutet genau das, was er aussagt, nämlich die automatische Rücksetzung der Website in ihren ursprünglichen Zustand. Dies geschieht nur, wenn während der Implementierung der Release-Überwachungsphase ein Fehler festgestellt wird. Diese Strategie hat das Potenzial, alle Pannen effektiv vor den Benutzern zu verbergen. Sie kann jedoch auch zu Datenverlusten führen, wenn Sie sie nicht richtig implementieren. Mehr über Testautomatisierung und die häufigsten Fehler finden Sie hier.

Fehlerinjektionstest

Sie denken vielleicht, dass Sie das perfekte System geschaffen haben, um mit jeder Art von Problem umzugehen, und Sie möchten dies bestätigen. Der Fehlerinjektionstest wird Ihnen dabei helfen. Sie können ein Problem in der Live-Produktionsumgebung erstellen und sehen, ob Ihre Software ein Meisterwerk ist, das damit umgehen kann oder nicht. Sie können gezielt auf die Fehler und Pannen testen, über die Sie sich am meisten Sorgen machen. 
Es ist wichtig zu wissen, dass der Fehlerinjektionstest meist mit dem Wiederherstellungstest zusammenfällt, der die Prozesse behandelt, die nicht in einer Live-Umgebung getestet werden können.

Kontinuierliche Überwachung 

Schließlich muss das Testen in der Produktion kontinuierlich überwacht werden. Sobald die Software bereitgestellt ist, können Sie eine Reihe von Problemen identifizieren, die vorher nicht identifiziert werden konnten, einfach aufgrund eines kleineren Datensatzes und weniger Datenverkehrs auf der Website. Probleme wie langsam ladende Seiten werden offensichtlich, wenn Sie die Produktionsumgebung kontinuierlich überwachen. Lesen Sie mehr über die Kultur der kontinuierlichen Verbesserung, um mehr zu erfahren.

Kommen wir zur Implementierung von TIP 

Bis jetzt wissen Sie fast alles über das Testen in der Produktion, Sie kennen die Bedeutung, die Vorteile, die Nachteile und die Möglichkeiten, es durchzuführen. Gibt es noch etwas zu sagen oder zu fragen? Ja, das gibt es, und es ist eine ziemlich wichtige Frage, und zwar, wo fängt alles an? Wo fangen Sie an?

Implementieren Sie einfach alle oben genannten Tests und Strategien auf einmal, oder führen Sie sie nacheinander durch, oder wählen Sie einfach einen aus und vergessen den Rest? Und wann ist der richtige Zeitpunkt? Wie können Sie sicher sein?

Das können Sie nicht, deshalb gehe ich noch nicht; zumindest nicht, bis ich Ihnen alles über den Implementierungsplan erzählt habe; die Phasen des Testens in der Produktion. Ich kann Sie doch nicht hängen lassen, oder? Also los geht's. 

Der Anfang

Der Anfang markiert den ersten Monat des Implementierungsplans. Dies ist die Phase, in der an der Ausrichtung des Projekts gearbeitet wird, in der alle Details für das Testen in der Produktion für das Team ausgearbeitet werden. 

Die Hauptpunkte sind; 

• Sicherzustellen, dass das vorhandene Automatisierungs-Framework einfach zu bedienen und zu implementieren ist, ohne ein Hindernis darzustellen, und dass End-to-End-Tests einfach zu schreiben sind. 
• Sicherzustellen, dass das Feature-Flagging-Tool ordnungsgemäß verwaltet wird, indem man sich auf die Einrichtung von SSO, Berechtigungen, Benutzererstellung und Benutzerwartung konzentriert, damit Sie sich auf die Implementierung der SDKs vorbereiten können.
• Sicherzustellen, dass Sie einen Benchmark auf der Grundlage der gesammelten Basislinienmetriken haben. Dazu gehört alles von der Release-Zeit bis zur Ladezeit und dem Prozentsatz der Fehler. Sie benötigen diese, um zu wissen, wo Sie stehen, und um entsprechende Verbesserungen vorzunehmen. 

Der Fortschritt 

Die nächste Phase des Plans, der Fortschritt, bringt die gesamte Arbeit aus dem vorherigen Schritt voran. 

Die Agenda für diese Phase umfasst;

• Spiegeln Sie Ihre aktuelle Umgebungseinrichtung. Jede Bezeichnung aus Ihrem Softwareentwicklungszyklus sollte sich darin widerspiegeln.
• Fügen Sie Teams über denselben Abschnitt in der Feature-Flag-Konfiguration zur Whitelist jeder Umgebung hinzu. Beispielsweise hat die Produktionsumgebung das Produktteam, wenn es Funktionen nach der Freigabe in der Produktion validiert.
• Unterscheiden Sie Testdaten von echten Daten während der Produktion. Das Setzen eines Booleschen Werts hilft Ihnen dabei. Sie können auch eine separate Datenbank für echte Benutzer in der Testphase erstellen, um Verwirrung bei Geschäftsentscheidungen zu vermeiden.
• Sicherzustellen, dass das Team weiß, dass Sie eine Funktion oder eine Software erst dann als fertig betrachten können, wenn die Tests noch laufen.

Das Finale 

Dann kommt das Finale, in dem der eigentliche Spaß gemacht wird. Hey, das reimt sich ja!

Die Agenda ist hier ganz klar.

• Die erste Funktion in der Produktionsumgebung bereitzustellen, aber nur für eine ausgewählte Anzahl von Benutzern, über ein Feature-Flag.
• Die Automatisierungsskripte auch in der Produktion auszuführen und sicherzustellen, dass die vorherigen Funktionen effizient zusammenarbeiten.
• Das Feature-Flag dann zu deaktivieren. Da Ihr Team nun Zugriff auf die veröffentlichte Funktion hat, können Sie alle Fehler und Funktionsprobleme beheben, ohne den Endbenutzer in irgendeiner Weise zu beeinträchtigen.

Dies würde Ihnen das Vertrauen geben, die Funktion für 1 % der Benutzerbasis durch eine Kanarienfreigabe freizugeben, über die wir zuvor gesprochen haben. Sie würden weiter testen und alle Probleme beheben, die auftreten können. Auf diese Weise würden Sie immer mehr Vertrauen gewinnen und den Prozentsatz der Benutzer, für die sie freigegeben wird, immer weiter erhöhen, bis dieser Prozentsatz die Gesamtheit Ihrer Benutzerbasis ausmacht. Es dauert in der Regel etwa 90 Tage, um zu testen.

Lesen Sie mehr über die Bedeutung von QA und agilem Testen, um mehr zu erfahren.

Fazit 

Nun gibt es wirklich nichts mehr zu sagen, außer einer Sache. Und das ist die Retrospektive. Wenn Sie ein Entwickler sind, werden Sie Ihr ganzes Leben lang neue Funktionen und Apps entwickeln. Daher wäre es ratsam zu wissen, was Sie richtig gemacht haben und was schief gelaufen ist. 

Wenn Sie also mit dem Testen in der Produktion fertig sind, lehnen Sie sich nicht einfach zurück und entspannen Sie sich, sondern beginnen Sie, alle Ihre Schritte zurückzuverfolgen und zu sehen, wo was funktioniert hat und was nicht und welche Teile noch Verbesserungen erfordern. Dokumentieren Sie alles, damit Sie eine Aufzeichnung haben, auf die Sie zurückblicken können, wenn dieselbe Funktion wieder aktualisiert werden muss. Die Arbeit eines Entwicklers endet nie, und das beweist dies nur.