Kaj pokaže ponovna meritev

Naloga, ki je lani spadala v kategorijo tri — človeško delo, brez dvoma o možnem — lahko letos pristane v kategoriji dve: delno prevzemljiva, s človeškim nadzorom, ki odobri ali zavrne z obrazložitvijo. To ni napaka v prvi meritvi. Je posledica tega, kako merimo, in razlog, zakaj je rezultat vedno trenutni posnetek stanja.

Kaj se spreminja, in kaj ne

Vaše podjetje se morda ne spremeni. Toda osem osi, na podlagi katerih ocenjujemo nalogo, se spreminja, neodvisno od vaše organizacije. Gledamo strukturiranost vhodnih podatkov, prostor za presojo, občutljivost stika s stranko, fizično komponento, ustvarjalnost, stroške napak, občutljivost glede skladnosti (compliance) ter obseg/ponavljanje. Od teh osmih sta dve najbolj podvrženi spremembam zunaj vašega podjetja: strukturiranost vhodnih podatkov in prostor za presojo.

Strukturiranost vhodnih podatkov se izboljša, ko osnovni modeli postanejo boljši pri obdelavi neurejenega, nestrukturiranega besedila — ročno napisana zabeležka, e-poštno sporočilo s tremi temami hkrati, telefonski pogovor s hrupom v ozadju. Kar je bilo lani preveč nestrukturirano, da bi ga zanesljivo obdelali, je lahko letos dosegljivo. Prav zato daje ali lahko AI prevzame odgovarjanje na telefonske klice in preusmerjanje drugačen odgovor kot pred dvema letoma: ne zato, ker se je spremenila vaša telefonija, ampak zato, ker sta se prepoznavanje govora in klasifikacija pogovorov premaknila korak naprej.

Prostor za presojo se spreminja počasneje, a tudi ta os ni statična. Ko sistemi postajajo boljši pri prepoznavanju mejnih primerov — in pri izrecnem navajanju, kdaj dvomijo — se del tega, kar je bilo prej v celoti človeško delo, premakne v področje, kjer AI poda predlog, človek pa ga oceni. To je bistvo kategorije dve: ne AI, ki odloča, ampak AI, ki predlaga z obrazložitvijo, in človek, ki odobri ali zavrne.

Zakaj je razpon lahko širok

Če se dve od osmih osi lahko premikata, ostalih šest pa je razmeroma stabilnih, ker so odvisne od narave dela samega — stroški napak in občutljivost glede skladnosti se ne spremenijo, ker jezikovni model postane boljši — potem je rezultat meritve vedno kombinacija nečesa stabilnega in nečesa spremenljivega. To se odraža v razponu, ne v odstotku.

Širok razpon ni slabost meritve. Je poštena predstavitev negotovosti, ki dejansko obstaja. Pri nalogi, kot je ali lahko AI prevzame razvrščanje splošnega e-poštnega predala, rezultat močno je odvisen od tega, koliko dohodne e-pošte je res nestrukturirano in koliko je že v prepoznavnem vzorcu. Predal, kamor prihajajo predvsem standardna vprašanja, doseže drugačen rezultat kot predal, kjer polovica sporočil opisuje edinstveno situacijo. Ena sama oznaka za "e-poštno razvrščanje" torej ne obstaja brez te niansiranosti, in razpon, ki to prizna, je natančnejši od navidezno natančnega števila.

Kdaj rezultat ničesar ne pove

Obstajajo situacije, v katerih ima rezultat v določenem trenutku majhno napovedno vrednost za naslednje leto. To še posebej velja za naloge, ki so blizu meje med kategorijo dve in tri, in katerih prostor za presojo je močno odvisen od izjem, ki se redko pojavijo, a imajo veliko težo. Pri upravljanju z dokumenti se na primer vprašanje ali lahko AI prevzame arhiviranje dokumentov in preverjanje glede na roke hrambe močno dotika občutljivosti glede skladnosti: napačno preverjanje roka hrambe ima lahko pravne posledice, ki niso sorazmerne s pogostostjo napake. Pri takih nalogah je rezultat lahko letos ugoden zaradi tehnološkega napredka, medtem ko os stroškov napak še vedno odloča, in naloga tako ostane v kategoriji dve ali tri.

Rezultat prav tako malo pove, kadar je osnovni opis naloge preveč širok. "Stik s stranko" ali "administracija" nista nalogi, temveč kategoriji nalog, in ponovna meritev tega vam predvsem pove, da morate nalogo dodatno razčleniti, preden rezultat karkoli pomeni.

Kaj to pomeni za ponavljajoče se meritve

Ker sta dve od osmih osi spremenljivi, ima ponovna meritev čez čas dejansko smisel — ne kot letna formalnost, ampak kot odziv na konkretne signale: novo različico osnovnega modela, nalogo, ki je bila medtem drugače urejena, ali dvom, ki ga lani še ni bilo mogoče odpraviti. Ponovna meritev, ki ne naredi nič drugega kot ponovi prejšnji rezultat, ni bila vredna truda; ponovna meritev, ki razkrije premik v strukturiranosti ali prostoru za presojo, pa je.

Ta metoda ne obravnava, kaj delodajalec s tem rezultatom naredi. Odločitve o zaposlenih in razporejanju dela imajo lastne zakonske zahteve, ki tukaj niso obravnavane ali podprte.

Kaj lahko storite zdaj