Какво показва едно повторно измерване

Задача, която миналата година попадаше в категория три — работа за хора, без съмнение за възможност за поемане — може тази година да попадне в категория две: частично поемане, с човешки надзор, който одобрява или отхвърля с обосновка. Това не е грешка в първоначалното измерване. То е следствие от начина, по който измерваме, и обяснява защо резултатът винаги е моментна снимка.

Какво се променя и какво не

Вашата компания може да не се променя. Но осемте оси, по които оценяваме дадена задача, се променят, независимо от вашата организация. Ние разглеждаме структурираност на входните данни, пространство за преценка, чувствителност към контакт с клиенти, физически компонент, креативност, разходи от грешки, чувствителност спрямо съответствие (compliance) и обем/повторяемост. От тези осем има две, които са най-податливи на промяна извън вашата компания: структурираност на входните данни и пространство за преценка.

Структурираността на входните данни се подобрява, когато базовите модели стават по-добри в обработката на разхвърлян, неструктуриран текст — ръкописна бележка, имейл с три теми едновременно, телефонен разговор с фонов шум. Това, което миналата година беше твърде неструктурирано, за да се обработва надеждно, тази година може да е в обхват. Именно затова може ли AI да поеме отговарянето на телефона и пренасочването на обажданията дава различен отговор спрямо преди две години: не защото вашата телефония се е променила, а защото разпознаването на реч и класификацията на разговори са напреднали с една стъпка.

Пространството за преценка се измества по-бавно, но и тази ос не е статична. Докато системите стават по-добри в разпознаването на гранични случаи — и в изричното посочване кога се съмняват — част от това, което преди беше изцяло работа за хора, се измества към областта, в която AI прави предложение, а човек го оценява. Това е същината на категория две: не AI, който взема решение, а AI, който представя с обосновка, и човек, който одобрява или отхвърля.

Защо диапазонът може да е широк

Ако две от осемте оси могат да се изместват, а другите шест са относително стабилни, защото зависят от естеството на самата работа — разходите от грешки и чувствителността спрямо съответствие не се променят, защото един езиков модел става по-добър — тогава резултатът от едно измерване винаги е комбинация от нещо стабилно и нещо подвижно. Това се превръща в диапазон, а не в процент.

Широк диапазон не е слабост на измерването. Той е честно отражение на несигурност, която реално съществува. При задача като може ли AI да поеме сортирането на общата електронна поща резултатът силно зависи от това колко от входящата поща наистина е неструктурирана и колко вече следва разпознаваем модел. Пощенска кутия с предимно стандартни запитвания получава различна оценка от пощенска кутия, в която половината съобщения описват уникална ситуация. Едно единствено обозначение за „сортиране на имейли“ следователно не съществува без този нюанс, и диапазон, който отчита това, е по-точен от привидно прецизно число.

Кога резултатът не показва нищо

Има ситуации, в които оценка в даден момент има малка прогностична стойност за следващата година. Това важи особено за задачи, които са близо до границата между категория две и три, и чието пространство за преценка силно зависи от изключения, които се случват рядко, но тежат много. При управлението на документи например въпросът може ли AI да поеме архивирането на документи и проверката спрямо сроковете за съхранение силно засяга чувствителността спрямо съответствие: грешна проверка на срок за съхранение може да има правни последици, несъразмерни с това колко често се случва грешката. При такива задачи оценка тази година може да излезе благоприятна въз основа на техническия напредък, докато осата „разходи от грешки“ продължава да е решаваща и задачата въпреки това остава в категория две или три.

Една оценка казва малко и когато основното описание на задачата е твърде широко. „Контакт с клиенти“ или „администрация“ не са задачи, а категории задачи, и повторно измерване на тях преди всичко ви казва, че трябва да разделите задачата допълнително, преди резултатът да означава нещо.

Какво означава това за повторните измервания

Тъй като две от осемте оси са подвижни, повторно измерване след известно време наистина има смисъл — не като годишна формалност, а като реакция на конкретни сигнали: нова версия на базов модел, задача, която междувременно е организирана по различен начин, или съмнение, което миналата година все още не можеше да бъде отстранено. Повторно измерване, което не прави нищо повече от това да повтори предишния резултат, не си е струвало усилието; повторно измерване, което разкрива изместване в структурираността или в пространството за преценка, си струва.

Този метод не се занимава с това какво прави работодателят с този резултат. Решенията относно персонала и наемането на работа имат собствени законови изисквания, които тук не се разглеждат и не се обосновават.

Какво можете да направите сега