Wie 758 Beraterinnen und Berater mit KI 30 % höher bewertete Arbeit lieferten

Liefern Mitarbeiter, die KI benutzen, bessere Ergebnisse?

Ein Beratungshaus musste entscheiden, ob es allen Mitarbeitern KI in die Hand gibt. Dass es sich schneller anfühlt, war schnell klar. Ob dabei bessere Arbeit herauskommt, konnte niemand sagen. Also wurde nicht diskutiert, sondern gemessen.

GPT-4 von OpenAI für alle Mitarbeiter

Den Mitarbeitern wurde GPT-4 von OpenAI zur Verfügung gestellt. Damit konnten sie Ideen sammeln, Entwürfe schreiben, umformulieren, zusammenfassen, gliedern, Gegenargumente suchen, Texte kritisieren. Menschliche Bewerter lasen die Ergebnisse und wussten dabei nicht, wer mit KI gearbeitet hatte und wer nicht.

Über 30 % höher bewertet, über 25 % schneller.

• über 30 %höher bewertete Arbeit – von Prüfern, die nicht wussten, wer KI genutzt hatte
• über 25 %schneller fertig
• über 12 %mehr erledigte Aufgaben

Der Abstand entstand nicht dadurch, dass die KI die Arbeit machte, sondern dadurch, dass sie von der ersten Minute an mit im Raum war. Verglichen wurde gegen die Kontrollgruppe im selben Haus, nicht gegen einen Durchschnitt aus der Branche.

Die Studie zeigt auch, wo die Fähigkeitsgrenze der KI liegt: Bei einer Aufgabe, die bewusst dahinter lag, waren die Antworten seltener richtig – und überzeugender formuliert als die der Kontrollgruppe. Der Fehler kam gut verpackt. Deshalb klärt der Audit zuerst, welche Aufgaben hineingehören.