Bei der Methode "Wizard-of-Oz-Experiment" schlüpfen Sie (bzw. ein Teammitglied) in die Rolle des "Zauberers von Oz" und simulieren die Reaktionen des zu untersuchenden Systems auf die Benutzerinteraktionen von Testpersonen.

Der Name der Methode hat ihren Ursprung im Kinderbuch "The Wizard of Oz" (Der Zauberer von Oz) des US-amerikanischen Schriftstellers L. Frank Baum. In diesem Buch gibt sich die Titelfigur als mächtiger Zauberer aus, obwohl dahinter eigentlich nur ein ganz normaler Mann steckt – ohne jegliche Zauberkräfte (siehe "Herkunft").

Beispiel Chatbot

Ein IT-Unternehmen möchte einen Chatbot als Ergänzung oder Ersatz für persönlichen Support entwickeln. Bevor viel Zeit und Geld in die Programmierung des Chatbots investiert wird, soll geprüft werden, ob die Kundschaft den Chatbot überhaupt akzeptieren würde. Außerdem möchte das Unternehmen erfahren, wie genau und detailliert die Antworten des Chatbots sein müssen, damit die Kunden zufrieden sind und ob unterschiedliche, virtuelle Persönlichkeiten (z.B. Antwortstile) die Zufriedenheit mit dem Chatbot verändern.

Zu diesem Zweck beantworten zunächst in einem Laborexperiment geschulte Support-Mitarbeiter:innen als "Zauberer" die Fragen, die Test-Kund:innen dem vorgeblichen Chatbot stellen. Im Idealfall merken die Kund:innen nicht, dass hinter den Antworten kein bereits fertig programmierter Chatbot steckt, sondern ein Mensch die Antworten gibt.

In einem zweiten Schritt kann das Unternehmen das Experiment mit dem von Menschen simulierten Chatbot auf der produktiven Website für eine bestimmte Zeit durchführen, um möglichst reales Feedback zu erhalten.

Beispiel Ticketautomat

Ein Bahnunternehmen hat aus Befragungen erfahren, dass viele Bahnfahrende die Menüführung des Ticketautomaten als zu kompliziert wahrnehmen. Daraus entsteht die Vermutung, dass diese Gruppe Ticketschalter bevorzugt, die mit menschlichen Verkäufern besetzt sind.

Für einen Test, unter welchen Bedingungen und wie diese Kund:innen einen Automaten benutzen würden, bereiten Teammitglieder eine Versuchsanordnung unter realen Bedingungen vor. Hierfür verwenden sie eine Prototyping-Software, die eine direkte Interaktion mit einer fertigen Software simuliert. In diesem Fall interagieren die Kund:innen zwar mit der Prototyping-Software, die tatsächlichen Befehle werden aber dennoch vor der Kundschaft verdeckt von einem Teammitglied manuell überarbeitet und verdeckt in das System eingegeben.

Beispiel Autonomes Fahren

Ein wichtiger Aspekt bei der Entwicklung autonomer Fahrzeuge ist die Akzeptanz der passiven Fahrer:innen. Dabei geht es beispielsweise darum, welche Fahrweise für die Mitfahrer:innen als angenehm empfunden wird, wie die Person im Fahrersitz Feedback des Fahrzeugs erhält oder wie durch eine entsprechende Visualisierungen der Zustand des Fahrzeugs dargestellt werden kann.

In einem Zauberer-von-Oz Experiment können viele dieser Eigenschaften getestet werden, ohne dass eine entsprechende Automatisierung bereits vollständig entwickelt werden muss. Dabei steuert ein Mensch über eine Fernverbindung das Fahrzeug, wobei die Testperson der Meinung ist, dass das Fahrzeug autonom fährt. Im Anschluss wird durch Interviews erhoben, wie unterschiedliche Parameter (z.B. Fahrstil, Feedback, Visualisierung) auf die Testpersonen gewirkt haben.

Schritt 1: Bilden Sie eine Fragestellung und Hypothesen für das Experiment!

Ausgangspunkt für die Planung eines Wizard-of-Oz-Experiments ist eine Fragestellung (Forschungsfrage) zum Verhalten der potentiellen Benutzer:innen eines automatisch gesteuerten Systems. Evtl. gibt es auch mehrere Fragen, diese sollten aber klar priorisiert werden. In Bezug auf die Beispiele weiter oben könnten passende Fragestellungen wie folgt lauten:

• Akzeptiert die Kundschaft einen Chatbot als Ersatz für Supportmitarbeiter:innen und wenn ja, für welche Anfragen?
• Unter welchen Bedingungen benutzen Kund:innen, die normalerweise lieber mit Menschen sprechen, einen Ticketautomaten?
• Welche Fahrweise eines autonomen Fahrzeugs wird von mitfahrenden Personen bevorzugt, die während der Fahrt lesen oder arbeiten?

Leiten Sie von dieser Fragestellung zu überprüfende Hypothesen über die Benutzer-Prototyp-Interaktionen ab. Diese Hypothesen sind Vermutungen über das Verhalten der Testpersonen, die es zu bestätigen oder zu widerlegen gilt. Sie erhalten Hypothesen, indem Sie z.B. mögliche Antworten auf die Forschungsfrage(n) formulieren. Mögliche Hypothesen für die oben genannten Fragen könnten z.B. sein:

• Chatbots eignen sich, um Kundenfragen über Produkteigenschaften zu beantworten.
• Ein Ticketautomat darf in jedem Bedienschritt maximal drei Auswahlmöglichkeiten anbieten, damit Kund:innen, die ihr Ticket lieber am Schalter kaufen, auch den Automaten akzeptieren.
• Starkes Beschleunigen und abrupte Bremsvorgänge werden von mitfahrenden Personen als Fehlfunktionen des autonomen Fahrens empfunden.

Beschränken Sie sich in der Zahl der Hypothesen und formulieren Sie nur solche, die relevant für die weitere Produktentwicklung sind. Je mehr Hypothesen Sie zu überprüfen haben, desto aufwendiger wird der Versuch. Wenn Sie zu viele Ergebnisse aus einem Experiment erzielen wollen, gefährden Sie seine Aussagekraft, da sie damit zugleich die Zahl der Störfaktoren erhöhen (siehe nächster Schritt).