Teil 1: Qualitätsmanagement im Zeitalter von KI

Der wichtigste Aspekt jedoch für die Einführung dieses Qualitätsmanagement-Systems war die Erkenntnis, dass die Tester ausschließlich externe Golfspieler sein müssen, da diese eine Golfanlage mit anderen Augen sehen als die Betreiber, Angestellten oder Mitglieder, um der allseits bekannten Betriebsblindheit zu begegnen. Externe Spieler nehmen in ihrer Beurteilung kein Blatt vor den Mund und bewerten entsprechend ihrer Wahrnehmung diejenigen Bereiche, die ihnen der QM-Fragebogen vorgibt. Dabei ist der Tester mal mehr, mal weniger kritisch. Den Regeln einer qualitativen Marktforschung folgend reichen jedoch wenige dieser Qualitätstests aus, um die Schwachstellen auf dem Platz, im Service oder bei der Infrastruktur aufzudecken und dabei immer wieder den sprichwörtlichen Finger in die Wunde legen, damit entsprechende Maßnahmen zur Verbesserung/Optimierung eingeleitet und umgesetzt werden können.
 

Wenn fünf Tester männlichen wie weiblichen Geschlechts ein und denselben Mangel feststellen, dann ist dieser Mangel nicht von der Hand zu weisen, er wird gewissermaßen durch die wahrgenommene Situation operationalisiert und damit auch den marktforscherischen Qualitätsansprüchen hinsichtlich Objektivität, Reliabilität und Validität im Rahmen einer Qualitätsmessung gerecht.
 

In unseren Projekten für unsere Kunden im filialisierten stationären Einzelhandel wird genau dieser Ansatz verfolgt: So wird beispielsweise zunächst in ausgewählten Shops und Filialen ein neues Produkt oder eine (neue) Serviceleistung zunächst mit Hilfe von wenigen Probanden (N < 20) auf den Prüfstand gestellt, einerseits um herauszufinden, ob und wie der Kunde ein neues Produkt oder eine (neue) Serviceleistung wahrnimmt, andererseits aber auch, um vor einem Roll-out auf alle Shops und Filialen Maßnahmen für eine Produktanpassung oder für eine Optimierung von Serviceleistungen in Form von Trainingsmaßnahmen durchführen zu können. Mystery Testings bzw. Mystery Shopping Analysen wie auch Kundenbefragungen sind hierbei gefragte Instrumente, die den Unternehmen helfen, anhand von Kundenfeedbacks ihre Schwachstellen zu beseitigen oder sich durch die Orientierung an zeitgemäßen Kundenerwartungen auf dem Markt zu positionieren.
 

Letztlich dienen diese Art von Kundenfeedbacks auch der Überprüfung von internen Prozessen mit der Möglichkeit, darauf basierend ihre Personalentwicklungs- und Trainingsmaßnahmen zielgerichtet ausrichten zu können.
 

KI revolutioniert die Erhebungsmethodik
 

Mit Nutzung von KI wird das Qualitätsmanagement künftig nicht nur für Golfanlagen auf ein neues Niveau gehoben. Mit Hilfe der KI können nicht nur repräsentative und/oder spezifische Tester-Panels gebildet werden, sondern die Tester können mit KI-gestützten Erhebungsinstrumenten weitaus bessere und detailliertere Aussagen treffen, da die KI den Frageprozess unterstützt. So können die Antworten der Testkunden durch KI-gesteuerte ,Warum-Fragen‘ in die Tiefe gehen und Speech-to-Text-Fragebögen weitaus mehr qualitative Bemerkungen aus- und verwerten als dies mit klassischen Erhebungsinstrumenten möglich ist. Hierzu werde ich am Ende des Artikels noch die wichtigsten Anbieter für KI-gestützte Fragebögen nennen. Wir von CMC gehen in Zukunft noch einen Schritt weiter, denn für Kundenfeedbacks zu den relevanten Stellgrößen im Einzelhandel¹ oder zu den relevanten Fragebereichen auf Golfanlagen² kommt man künftig mit Hilfe der KI gänzlich ohne einen Fragebogen aus. Wie diese KI-gestützte Erhebungsmethodik funktioniert und welchen Erhebungsansatz wir daraus entwickelt haben, werde ich im nun folgenden Teil für ein Qualitätsmanagement auf Golfanlagen darstellen.
 

Qualitätsmanagement ohne Fragebögen – ein neuer Erhebungsansatz mit Hilfe von KI
 

Die quantitative Marktforschung im Bereich von seriösen kundenbasierten Feedback-Analysen (z.B. Mystery Shopping, Kundenzufriedenheitsbefragungen, Interviews etc.) wird aufgrund KI-gestützter Auswertemethoden an Bedeutung verlieren, während die qualitative Marktforschung aufgrund der schnellen Verarbeitungsmöglichkeit von Text, Bild, Sprache und Video die künftige Ausrichtung der Marktforschung prägen wird. Semantische Text- und Sentimentanalysen verändern die Rolle klassischer quantitativer Methoden in der Marktforschung und werden die klassischen quantitativen Erhebungen in bestimmten Anwendungsfeldern ersetzen (Quellen: Qualtrics Trend-Report 2025; PWC Global AI Study oder auch Beiträge in Marktforschung.de).
 

Sentiment bedeutet im Kontext von (KI-gestützter) Textauswertung die Stimmung und Tonalität einer Aussage – also ob etwas positiv, neutral oder negativ (und teils auch ,gemischt‘) wahrgenommen wird. Dazu ein paar Beispiele:
 

• „Der Platz war heute top gepflegt.“ → positives Sentiment
• „War okay, aber nichts Besonderes.“ → neutrales/leicht gemischtes Sentiment
• „Die Grüns waren unspielbar und der Service langsam.“ → negatives Sentiment
   

Wofür nutzt man Sentiment im Qualitätsmanagement?
 

• Als Frühwarnsystem: Häufen sich negative Kommentare zu einem Thema/Loch/Segment?
• Zur Priorisierung: Negative, wiederkehrende Themen bekommen höhere Aufmerksamkeit
• Für ein Trendtracking: Wird die Stimmung nach Maßnahmen besser (vorher/nachher)?
   

Wichtig: Sentiment sagt, ,wie‘ etwas bewertet wird, nicht automatisch ,was‘ genau das Problem ist. Deshalb kombiniert man die Aussagen mit einer Themen-/Kategorie-Erkennung (z.B. ,Grüns‘, ,Bunker‘, ,Sekretariat‘, ,Wartezeit‘ etc.).
 

Auch Mystery Testings zum Zwecke der Qualitätsprüfung auf Golfanlagen generieren mit KI wesentlich bessere Erkenntnisse und konkrete strategische Handlungsempfehlungen. Die Mehrwerte zeigen sich nicht in Form von Benchmarks, KPIs oder erreichbaren Maximalpunktwerten, sondern anhand einer individuellen SWOT-Analyse auf Basis von KI-gestützten Text-, Bild-, Sprach- und Videoanalysen, zumal ein Vergleich von Golfanlagen auf Basis von Punktwerten schon immer einem Vergleich von Äpfeln und Birnen gleichkam. Bislang diente das Testverfahren der Leading Golf Clubs in der Schweiz und in Deutschland dem Aufrechterhalten eines bestimmten Qualitätsniveaus, welches sich auf Basis des Mittelwerts über alle Mitglieder hinweg errechnet hat. Das war vielen Clubverantwortlichen oft zu wenig, wobei ein Qualitätsmanagement-System (QMS) im ureigentlichen Sinn genau diesem Zweck dient, nämlich dem permanenten Aufrechterhalten eines für Leading Clubs hohen Qualitätsstandards. Mit der neuen Erhebungsmethodik kann ein QMS weitaus bessere, vor allem auch Golfanlagen-spezifische, Mehrwerte bieten, die neben den Fragebereichs-spezifischen Kennzahlen zunehmend von den Clubverantwortlichen eingefordert werden. Aus diesem Grund verzichten die Leading Golf Clubs of Germany (LGCG) seit letztem Jahr auch auf das immer wieder kritisierte Ranking der Leading Golfanlagen, sondern setzen künftig auf den Austausch untereinander und das Lernen voneinander. Hierbei spielen die Feedbacks der Tester eine wichtige Rolle, zum einen, um daraus konkrete Maßnahmen für Verbesserungen ableiten zu können und zum anderen auch, um die Marke ,Leading Golf Club of Germany‘ weiter im Golfmarkt zu etablieren. Das Leading Testverfahren ist ein unabhängiges Bewertungsverfahren, bei dem externe Golfspieler jährlich prüfen, ob die Qualitätsstandards zur Führung der Marke ,Leading Golf Club‘ weiterhin erfüllt werden. Die Golftester sind nicht nur ausgebildete Feedbackgeber bzgl. zu bewertender Qualitätszustände, sondern fungieren auch als Markenbotschafter für diese Qualitäts- und Wertegemeinschaft. Seit Übernahme des Testverfahrens durch CMC im Jahr 2008 haben die Leading Clubs in über 6.000 Tests ihren hohen Qualitätsstandard immer wieder bewiesen. Dabei kamen über 2.500 unterschiedliche Tester zum Einsatz. In diesem Kontext sei die Frage erlaubt, warum diejenigen Tester, die einen NPS³ von 9 und 10 vergeben, nicht auch als Multiplikatoren und Meinungsbildner genutzt werden, indem sie z.B. auf ihren Social-Media-Kanälen ihre besten Eindrücke posten und dazu schreiben, warum andere Golfer diesen Platz unbedingt einmal spielen sollten? By the side: auch Social Media Posts lassen sich mit KI einfach und schnell erstellen.
 

Wie bereits mehrfach erwähnt, wird es in der künftigen qualitativen Marktforschung in naher Zukunft keine Fragebögen mehr geben, sondern allenfalls noch Checklisten oder Leitfäden für die eingesetzten Tester. Weiter unten finden Sie ein Beispiel für eine mögliche Checkliste/ Testeranweisung. Für eine KI-gestützte Auswertung kommt es künftig vor allem auf die Formulierung von durchdachten Prompts an. Nur dann ist ein aussagekräftiger Verwertungszusammenhang gewährleistet. Galt es früher, in einem Fragebogen die richtigen Fragen zu stellen, kommt es heute darauf an, intelligente Vorgaben, sprich Prompts, für eine KI-gestützte Auswertung zu formulieren. Die bloße Zusammenfassung von Tester-Aussagen durch eine KI reicht für die Formulierung eines Prompts bei weitem nicht aus. Vielmehr müssen Prompts so gestaltet sein, dass die KI daraus systematisch Ergebnisse und Erkenntnisse generiert, die intersubjektiv nachvollziehbar sind und den Gütekriterien qualitativer Marktforschung entsprechen. Für einen Prompt bedeutet dies, dass er so verfasst sein muss, dass verzerrte oder auch nicht der Realität entsprechende Wahrnehmungen herausgefiltert werden. So sollte ein Prompt nur das auswerten, was von mehreren Testpersonen gleich oder ähnlich wahrgenommen wird, denn die KI erkennt wiederkehrende Muster und hebt diese hervor. Ausreißer dürfen dabei nicht als Beweis für grobe Mängel gesehen werden. Auch die Beschränkung auf seriöse Quellen, vorgegebene Wissensdatenbanken und selbst bereitgestellte Fachliteratur ist für die Formulierung von Prompts essenziell, um einerseits die Faktentreue zu gewährleisten, andererseits, um die klassischen KI-Halluzinationen und Fehlinformationen zu vermeiden.
 

Ich möchte das an einem Beispiel für einen Prompt darstellen. Der Eingabetext kann z.B. wie folgt lauten: „Erstelle ein Management Summary aus allen Kommentaren, die in den Fragebögen eines jeden Golfclubs enthalten sind und gliedere die Auswertung nach den vorgegebenen Fragebereichen. Liste dabei jeweils die positiven Aspekte (was hat den Testern gefallen?) sowie die negativen Aspekte (welche Mängel haben die Tester erkannt bzw. was hat ihnen weniger bzw. nicht gefallen?) auf. Erstelle darauf basierend Verbesserungsvorschläge mit konkreten Maßnahmen für eine Optimierung der jeweiligen Golfanlage.“
 

Dazu werden alle Fragebögen z.B. als ZIP-Datei in den Prompt hochgeladen, zusätzlich können Mails der Tester, die ergänzend zu ihrem Test eingehen, berücksichtigt werden, so dass die KI nur auf die von den Testern generierten Daten und Kommentare Zugriff erhält. Je spezifischer der Prompt formuliert wird (z.B. durch die Vorgabe von einzeln auszuwertenden Fragenummern), desto spezifischer fällt auch die Auswertung resp. das Ergebnis aus.
 

Die KI kann allein auf Basis von Texten und Bildern auch quantitative Werte generieren, wenn man das gewünschte ,Wertegerüst‘ mit in den Prompt eingibt. Folgendes Beispiel sei hierzu genannt:
 

„Weise jedem Club einen Wert zwischen 0 und 1.000 Punkten zu, gewichte dazu für die Berechnung der Punktzahl wie folgt: Grüns haben einen Anteil von 12 %, Abschläge haben 10%, Fairways 10 %, Hindernisse 5 %, Fixe Platzgegebenheiten 5 %, Platzausstattung 5 %, Übungseinrichtungen 7 %, Service Golfplatz 5 %, Sekretariat 10 %, Golf-Shop 8 %, Garderoben und Duschen 5 %, Restaurant 10 %, IT-Service 5 % und Markenauftritt 3 % Gewichtungsanteil. Für den Fragebereich ,Subjektive und emotionale Eindrücke‘ fasse die wesentlichen Aspekte in Form einer SWOT-Analyse zusammen. Erstelle ein Ranking, in dem alle Clubs nach ihrer Punktzahl aufgeführt sind und erstelle zusätzlich ein Benchmark, welches zeigt, welcher Club in welchem Fragebereich die Best-Practice aufweist.“
 

Mit diesem Prompt haben wir für die Leading Golf Courses of Switzerland eine zurückliegende Auswertung in ChatGPT hochgeladen. Das Ergebnis war verblüffend, denn die damals ermittelten Werte aus dem quantitativen Teil der Fragebögen lagen nahe an den Werten, die durch den o.g. Prompt nur aus den Kommentaren in den Fragebögen ermittelt wurden, kurzum ein Beleg dafür, dass die KI auf Basis von Textinhalten ebenfalls Werte ermitteln kann, die mit klassischen Methoden einer quantitativen Auswertung im Einklang stehen. Ich gehe sogar noch einen Schritt weiter und behaupte, dass die von der KI ermittelten Werte näher an den realen Gegebenheiten liegen als die auf Basis von quantitativen Skalen ermittelten Werte. Die Begründung: Kommentare geben reale Beobachtungen wieder, die von unterschiedlichen Testern unterschiedlich wahrgenommen werden und folglich auch unterschiedlich in Zahlen zum Ausdruck kommen. Bislang dienten die Kommentare dazu, die quantitativen Bewertungen zu validieren. Die KI jedoch überführt Kommentare direkt in quantitative Werte auf Basis von Häufigkeitsnennungen bestimmter Qualitätszustände.
 

Fazit: Text und Bild liefern wesentlich detailliertere inhaltliche Aussagen und visuelle Eindrücke als es mit einer Zahl auf einer Skala zum Ausdruck gebracht werden kann.