Category: SuccessStory

Wie das Modeunternehmen BOGNER die Qualität seines Onlineshops dauerhaft gewährleistet und das Kundenerlebnis optimiert

Die Schnelllebigkeit der Modebranche birgt einige Herausforderungen für BOGNER, insbesondere im digitalen Bereich. Da sich immer mehr Kund*innen dazu entscheiden, Produkte online zu beziehen, möchte BOGNER stets ein erstklassiges digitales Einkaufserlebnis gewährleisten. Die kontinuierliche Bereitstellung eines benutzerfreundlichen und funktionsfähigen Onlineshops ist dem Unternehmen dabei besonders wichtig. Deshalb ist es ausschlaggebend, dass das Digitalteam bei BOGNER fortlaufend kontrolliert, ob im Front-End des Onlineshops alles wie geplant funktioniert und die Anforderungen der Kund*innen erfüllt werden. Hierfür setzt BOGNER User Acceptance Tests (UATs) ein, die alle Funktionen wie beispielsweise die Produkt-Landing-Pages, die Anmeldefunktion für den Newsletter, Wunschlisten, Gutscheincodes, das Konto und den Checkout-Prozess sowie das optische Erscheinungsbild des Onlineshops aus der Perspektive der Nutzer*innen bzw. der Kund*innen automatisiert prüft.  

Die UATs wurden vom Digitalteam bis vor kurzem noch manuell durchgeführt, was äußerst zeitintensiv war. Denn die Liste mit den zu testenden Funktionen ist sehr umfangreich und das Team musste diese in insgesamt zehn verschiedenen Länder-Shops auf Fehler überprüfen und die korrekte Darstellung auf einer Vielzahl von Endgeräten sicherstellen. Der gesamte Testvorgang entwickelte sich also zu einem aufwändigen Prozess, der enorme zeitliche Kapazitäten im Team beanspruchte. Zudem waren Fehler, die während der manuellen Ausführung der UATs erschienen, im Nachgang oftmals nicht mehr reproduzierbar. Das erschwerte die Meldung des Problems an das Entwicklungsteam und beeinträchtigte so auch die Qualität des Onlineshops. Um Mitarbeitende im Digitalteam langfristig zu entlasten und das Qualitätsmanagement auf das nächste Level zu heben, entschied sich BOGNER schließlich dazu, die User Acceptance Tests zu automatisieren und an einen Testing-as-a-Service-Dienstleister teilweise auszulagern.

The Solution

Mit User Acceptance Tests im Rahmen von Testing as a Service das Qualitätsmanagement und Kundenerlebnis optimieren

Die Empfehlung für den Testing-as-a-Service-Dienstleister testup.io stammt von einem Projektleiter bei BOGNER. Nach einem initialen Kennenlerngespräch stand für die Entscheidungsträger*innen im Modeunternehmen fest, dass testup.io in puncto Transparenz und Kommunikation alle Prämissen für eine erfolgreiche Zusammenarbeit erfüllt.

Um das Testverfahren für die Akzeptanztests anschließend an testup.io zu übergeben, entwickelte Helena Müller, Online Shop Content Managerin bei BOGNER, zunächst eine Teststrategie mit den erforderlichen Tests sowie der gewünschten Ausführungsfrequenz. Darauf basierend übernahm testup.io die initiale Einrichtung der automatisierten UATs. Diese werden nun vom Dienstleister ein Mal pro Tag und auf unterschiedlichen Instanzen ausgeführt und ausgewertet. „Obwohl ich nach jeder Ausführung der Tests einen Report mit den Ergebnissen erhalte, muss ich diese nicht alle sofort prüfen. Stattdessen bekomme ich von testup.io Benachrichtigungen zu validierten Fehlern und kann diese umgehend und effizient an unser Entwicklungsteam zur Behebung weiterleiten,“ sagt Helena Müller. Die Option, im Voraus festzulegen, zu welchem Zeitpunkt die Tests durchgeführt werden, eröffnet dem Team auch neue Möglichkeiten, das digitale Kundenerlebnis bei BOGNER zu optimieren. Beispielsweise können die ersten Tests noch vor den Hauptkonsumzeiten durchgeführt werden, damit mögliche Fehler direkt zu Beginn der Arbeitszeit gemeldet werden.

The Impact

Visuelle Testautomatisierung unterstützt Dokumentation und Kommunikation

Den Fokus auf wertschöpfende und strategische Aufgaben richten

Ein entscheidender Vorteil, der sich aus der Zusammenarbeit mit testup.io ergibt, ist die Verwendung eines visuellen No-Code Testautomatisierungstools. „Das visuelle Tool ist nicht nur unglaublich hilfreich für die Dokumentation, sondern es hilft uns dabei, immer den Überblick zu behalten,“ erklärt Müller. Testup.io zeichnet alle Tests anhand von Videoreports auf und schickt diese anschließend an die zuständigen Mitarbeitenden. Wenn Fehler auftreten, ist das Digitalteam in der Lage, diese schnell und unkompliziert zu reproduzieren und nochmal manuell zu prüfen. „Die Reports bieten die optimale Vergleichsmöglichkeit, um Probleme präzise zu lokalisieren und auch den Zeitraum eingrenzen zu können, in dem der Fehler aufgetreten ist,“ so Müller. Nach Bestätigung der Fehler können diese also umgehend und nachvollziehbar an das Entwicklungsteam weitergeben werden. Neben den Videoreports erhält das Team außerdem täglich E-Mail-Reports. Anhand der Ampel-Methode lässt sich auch hier in wenigen Sekunden feststellen, welche Tests normal verlaufen sind und welche nicht. Das visuelle Automatisierungstool von testup.io gestaltet also das gesamte Testverfahren transparenter und verbessert somit auch die Kommunikation zwischen dem Digitalteam und den zuständigen Entwickler*innen.

Die Entscheidung, User Acceptance Tests und einen TaaS-Anbieter auszulagern, wird im gesamten Digitalteam als äußerst positiv bewertet. „Da Testing-as-a-Service den zeitlichen Aufwand für manuelles Testen reduziert, können wir uns endlich mehr auf andere wichtige Aufgaben, wie die Weiterentwicklung unseres Onlineshops, fokussieren,“ sagt Müller.

Aufgrund dieser positiven Erfahrungen kann sich BOGNER den Einsatz von Testautomatisierung und Testing-as-a-Service auch in weiteren Bereichen vorstellen. Treibende Kraft hinter diesen Ideen sind dabei die Mitarbeitenden selbst: „Viele Kolleg*innen aus anderen Abteilungen zeigen großes Interesse an den Einsatzmöglichkeiten von Testautomatisierung und Testing-as-a-Service, da sie mitbekommen haben, wie sehr unser Digitalteam dadurch bereichert und entlastet wird,“ erklärt Müller. Mit der Automatisierung sieht sich das Digitalteam bei BOGNER im globalen Wettbewerb besser gegen die Schnelllebigkeit im E-Commerce gerüstet.

The Solution

Implement Testup.io to ensure full test coverage and optimize the quality management process.

Testup provided a quick, easy and affordable Solution to improve stability and the quality of the Web platform. “We recorded with Testup a lot of tests in a short time to cover all scenarios that ensures correct state of complex dependencies of the entire system. Software functionality and hardware devices are tested in real time as one system.” says Petro.

Tests are designed for each lightning scenario. They can be executed simultaneously, by schedule and as many times as needed.

Testup provides recordings of test executions so the monitoring becomes more convenient. From any location and device users can compare recorded data with expected data (for ex. power consumption, connected devices, power consumption, supply voltage, etc.)

The Impact

Stable system functionality and easier communication with the customers as a result of reliable E2E testing

With the implemented Solution from Testup, Uniot company benefits in different areas.

Developers don’t have to write lots of unit test. They get visual reports of the executions that are easy to analyze.

Managers save time on executing E2E tests and are able to concentrate on business development and marketing.  Recordings of test executions are also used for presentations. Meetings went smother, more reliable and efficient. The visualisation of the entire process became a key to successful sales. 

The Solution – Replace Selenium with Testup

Switching from Selenium to Testup made our test suite more flexible and much easier to maintain.

Within 6 months, the Thetaris team set up for us a cloud solution on premise in the customer network and built a test suite for all business functions.

Manage execution delay

Some response times of data analysis reports were a real critical problem for Selenium. Due to the large amount of data, the calculation of some results took longer than a minute. These results were no longer processed by Selenium in time.

Our new solution handles very long response times. During visual object recognition, Testup waits impassively for minutes before evaluating the comparison. Now the automation expert can set timeouts for each assertion easily.

Manage testdata

One of the game changer was to connect a dedicated data snapshot to our test environment. All test case scenarios ran against the same test data source. The test environment was built in a container always before an execution of the test suite started. With this setup all regression tests returned comparable results.

Multiply solution

It was easy to scale the tests to different locations (DE, EN, AUT, CN). Because tests in Testup can be created in modules, we could create robust test chains that could run against different manufacturing sites. Tests also returned comparable results on stage and production. Only one module, the login process, had to be changed, while the following test cases remained stable.

Analyse results

With the automatically generated visual reports, the customer was able to preview existing and new features and provide us with much faster and more detailed feedback early during development.

Maintain testsuite

With the solution found maintaining the test suite became natural. After a short introduction all colleagues could maintain the tests and easily add additional feature tests to the suite.

The Impact

New releases can be done much faster and the communication with the customer became much easier

The solution installed saved us and our customer at least 5 man days for each release.

Since the test cases can be created without coding the developers can now focus on their own tasks while the test can be extended by our designer and our technical writer.

The communication and feedback with our customers became more detailed and project-related as recording summaries can be printed out and presented to the customer for visual inspections:

• Important requirements were confirmed by our customer right after the tests
• With the visual test results, all new features of each software release are documented in detail, which increases the confidence in our product among all parties involved

Our customer was happy with the the new test automation solution since they get auto generated visual test reports done by Testup every day. This also improved the communication and feedback between customer’s project management and business lines.