Was eine Neumessung zeigt

Eine Aufgabe, die letztes Jahr in Kategorie drei fiel — Menschenarbeit, kein Zweifel möglich — kann dieses Jahr in Kategorie zwei landen: teilweise zu übernehmen, mit menschlicher Aufsicht, die mit Begründung genehmigt oder ablehnt. Das ist kein Fehler der ersten Messung. Es ist die Folge davon, wie wir messen, und der Grund, warum ein Ergebnis immer eine Momentaufnahme ist.

Was sich ändert, und was nicht

Ihr Unternehmen verändert sich vielleicht nicht. Aber die acht Achsen, anhand derer wir eine Aufgabe bewerten, tun das durchaus, unabhängig von Ihrer Organisation. Wir betrachten die Strukturiertheit der Eingabe, den Beurteilungsspielraum, die Kundenkontakt-Sensibilität, die physische Komponente, die Kreativität, die Fehlerkosten, die Compliance-Sensibilität und das Volumen/die Wiederholung. Von diesen acht gibt es zwei, die am stärksten Veränderungen außerhalb Ihres Unternehmens unterliegen: die Strukturiertheit der Eingabe und der Beurteilungsspielraum.

Die Strukturiertheit der Eingabe verbessert sich, wenn zugrunde liegende Modelle besser darin werden, unübersichtlichen, unstrukturierten Text zu verarbeiten — eine handgeschriebene Notiz, eine E-Mail mit drei Themen gleichzeitig, ein Telefongespräch mit Hintergrundgeräuschen. Was letztes Jahr zu unstrukturiert war, um zuverlässig verarbeitet zu werden, kann dieses Jahr in Reichweite liegen. Genau deshalb ergibt kann KI Telefonannahme und Weiterverbindung übernehmen eine andere Antwort als vor zwei Jahren: nicht weil sich Ihre Telefonie verändert hat, sondern weil Spracherkennung und Gesprächsklassifizierung einen Schritt weitergekommen sind.

Der Beurteilungsspielraum verschiebt sich langsamer, aber auch diese Achse ist nicht statisch. Je besser Systeme darin werden, Grenzfälle zu erkennen — und explizit anzugeben, wann sie unsicher sind —, verschiebt sich ein Teil dessen, was vorher vollständig Menschenarbeit war, in den Bereich, in dem KI einen Vorschlag macht und ein Mensch beurteilt. Das ist der Kern von Kategorie zwei: nicht KI, die entscheidet, sondern KI, die mit Begründung vorlegt, und ein Mensch, der genehmigt oder ablehnt.

Warum die Bandbreite breit sein kann

Wenn zwei der acht Achsen sich verschieben können und die anderen sechs relativ stabil sind, weil sie von der Art der Arbeit selbst abhängen — Fehlerkosten und Compliance-Sensibilität ändern sich nicht, weil ein Sprachmodell besser wird —, dann ist das Ergebnis einer Messung immer eine Kombination aus etwas Stabilem und etwas Beweglichem. Das übersetzt sich in eine Bandbreite, nicht in einen Prozentsatz.

Eine breite Bandbreite ist keine Schwäche der Messung. Sie ist eine ehrliche Darstellung der tatsächlich vorhandenen Unsicherheit. Bei einer Aufgabe wie kann KI die Triage des allgemeinen E-Mail-Postfachs übernehmen hängt das Ergebnis stark davon ab, wie viel der eingehenden E-Mails tatsächlich unstrukturiert ist und wie viel bereits einem erkennbaren Muster folgt. Ein Postfach mit vor allem Standardanfragen erhält eine andere Bewertung als ein Postfach, in dem die Hälfte der Nachrichten eine einzigartige Situation beschreibt. Ein einziges Label für „E-Mail-Triage“ gibt es daher nicht ohne diese Nuance, und eine Bandbreite, die das anerkennt, ist genauer als eine scheinbar präzise Zahl.

Wann ein Ergebnis nichts sagt

Es gibt Situationen, in denen ein Wert zu einem bestimmten Zeitpunkt wenig Vorhersagekraft für das nächste Jahr hat. Das gilt vor allem für Aufgaben, die nahe an der Grenze zwischen Kategorie zwei und drei liegen und deren Beurteilungsspielraum stark von Ausnahmen abhängt, die selten vorkommen, aber stark ins Gewicht fallen. Bei der Dokumentenverwaltung beispielsweise berührt die Frage kann KI die Archivierung von Dokumenten und die Prüfung von Aufbewahrungsfristen übernehmen stark die Compliance-Sensibilität: eine falsche Prüfung einer Aufbewahrungsfrist kann rechtliche Folgen haben, die nicht im Verhältnis dazu stehen, wie oft der Fehler vorkommt. Bei solchen Aufgaben kann ein Wert dieses Jahr aufgrund technischer Fortschritte günstig ausfallen, während die Achse Fehlerkosten weiterhin den Ausschlag gibt und die Aufgabe trotzdem in Kategorie zwei oder drei verbleibt.

Ein Wert sagt auch wenig aus, wenn die zugrunde liegende Aufgabenbeschreibung zu breit gefasst ist. „Kundenkontakt“ oder „Verwaltung“ sind keine Aufgaben, sondern Kategorien von Aufgaben, und eine Neumessung davon sagt Ihnen vor allem, dass Sie die Aufgabe weiter aufteilen müssen, bevor das Ergebnis etwas bedeutet.

Was das für wiederholte Messungen bedeutet

Da zwei der acht Achsen beweglich sind, hat eine Neumessung nach einiger Zeit durchaus Sinn — nicht als jährliche Formalität, sondern als Reaktion auf konkrete Signale: eine neue Version eines zugrunde liegenden Modells, eine Aufgabe, die inzwischen anders organisiert ist, oder ein Zweifel, der letztes Jahr noch nicht auszuräumen war. Eine Neumessung, die nichts anderes tut, als das vorherige Ergebnis zu wiederholen, wäre die Mühe nicht wert gewesen; eine Neumessung, die eine Verschiebung in der Strukturiertheit oder im Beurteilungsspielraum aufdeckt, hingegen schon.

Diese Methode befasst sich nicht damit, was ein Arbeitgeber mit diesem Ergebnis tut. Entscheidungen über Personal und Einsatz unterliegen eigenen gesetzlichen Anforderungen, und diese werden hier nicht behandelt oder begründet.

Was Sie jetzt tun können