Бизнесът е твой. Алгоритъмът не командва.

Човечеството е постигнало забележителен напредък. След векове философски спорове за природата на разума, свободната воля и човешката отговорност най-после намерихме практическо решение. Абонираме се за софтуер, задаваме няколко въпроса и получаваме отговори с такава увереност, че понякога изглежда почти невъзпитано да се усъмним в тях. Машината анализира, предлага, прогнозира, оптимизира. Остава само да ѝ благодарим за стратегическото прозрение и да продължим към следващата задача. Забележително удобство, особено ако междувременно сме престанали да различаваме добре формулирания отговор от добре обоснованото решение.

Нямам нищо против изчислителните системи. Би било доста странно да поставям под съмнение полезността на технологиите, докато самата аз работя с програмиране, алгоритми и езикови модели. Но точно техническата страна на въпроса ме кара да гледам с известно недоверие на популярната представа, че всяко ново равнище на автоматизация представлява и ново равнище на разумност. Машината може да обработва информация със скорост, която човекът не би могъл да постигне самостоятелно. Може да открива зависимости, да генерира текст и да подпомага сложни аналитични задачи. От това обаче не следва, че всяка нейна препоръка е разумна, че всяка оптимизация е икономически полезна или че всяко решение, взето с нейно участие, е освободено от човешка отговорност. Технологичната възможност не е управленска добродетел. Колкото и успешно да се продава като такава.

Когато езикът започне да създава авторитет

Езикът никога не е бил просто средство за предаване на информация. Той оформя представите ни за света, насочва вниманието ни и влияе върху начина, по който интерпретираме действителността. Затова наблюдавам с особен интерес как технологичната индустрия постепенно промени речника, с който описваме изчислителните системи. Преди компютърът изпълняваше инструкции, обработваше данни и извършваше изчисления. Днес машината разбира, мисли, съветва, преценява, създава и дори проявява творчество. Промяната изглежда невинна, защото човешкият език естествено използва метафори, за да описва сложни явления. Но метафората има една любопитна особеност. Когато я повтаряме достатъчно дълго, започваме да забравяме, че първоначално е била метафора. Така техническата функционалност постепенно придобива чертите на човешка способност, а речникът на машинното обучение се превръща в своеобразен речник на разума.

Не оспорвам практическата полезност на подобни изрази. Една система действително може да избира между предварително определени действия, да обработва сложни зависимости и да генерира решения на задачи, които преди са изисквали значителен човешки труд. Но от функционалното описание на тези способности не следва автоматично, че сме установили наличието на човешко разбиране, намерение или морална преценка. Това са различни въпроси, принадлежащи към различни равнища на анализа. Едното се отнася до наблюдаемото поведение на системата, другото до механизмите, чрез които то се реализира, а третото до философските основания, въз основа на които приписваме определени способности. Смесването им създава удобно пространство за технологични обещания, които звучат убедително, без непременно да бъдат достатъчно прецизни. И ако някой смята, че терминологичната точност е излишна подробност, бих го попитала дали би приел със същото спокойствие подобна свобода в тълкуването на финансов договор.

Особено показателно е взаимодействието с големите езикови модели. Те могат да създават граматически последователни, стилистично убедителни и често информационно полезни текстове. В определени задачи демонстрират способности, които заслужават сериозно научно внимание. Но езиковата убедителност не е универсален критерий за фактическа достоверност, а добре организираното изложение не доказва само по себе си, че всяко заключение е обосновано. Като лингвист намирам това разграничение за фундаментално. Формата на изказването влияе върху възприятието за неговата компетентност. Един уверено формулиран отговор може да създаде впечатление за задълбочен анализ дори когато липсват съществени данни. Парадоксът е, че колкото по-естествено звучи машината, толкова по-лесно човекът може да забрави необходимостта да проверява съдържанието. А граматически безупречната грешка си остава грешка, независимо колко елегантно е представена.

Удобството да не се съмняваме

Човешкото мислене не е непрекъснато упражнение по формална логика. В ежедневието разчитаме на опит, интуиция, когнитивни съкращения и доверие към източници, които приемаме за компетентни. Без подобни механизми вероятно бихме прекарали по-голямата част от живота си в анализ на решения, които иначе вземаме за секунди. Технологиите естествено се вписват в тази потребност от намаляване на умственото натоварване. Използваме калкулатори, навигационни системи, търсачки и аналитичен софтуер, без да възприемаме всяко взаимодействие като философски проблем. Трудността възниква, когато доверието в инструмента започне да замества проверката на конкретния му резултат.

Автоматизираната препоръка притежава особен психологически авторитет. Тя изглежда резултат от обработка на данни, а не от субективно впечатление. Ако е придружена от графика, процент или статистически показател, внушението за обективност става още по-силно. Разбира се, математическите методи могат да осигуряват надеждни основания за решения. Но обективността не се появява автоматично в момента, в който човешкото предположение бъде превърнато в изчислителна процедура. Някой е избрал кои данни да бъдат използвани, как да бъдат обработени, какво да се измерва и кой резултат да се счита за желателен. Следователно зад привидно неутралната препоръка може да стои цяла последователност от човешки избори. Машината не ги прави непременно правилни. Тя ги изпълнява в рамките на съответната система.

Тук се появява един интересен интелектуален парадокс. Разполагаме с инструменти, които могат да подпомагат анализа по начини, недостъпни за отделния човек, но същевременно създаваме условия, при които потребителят може да се почувства по-малко задължен да анализира сам. Защо да проверявам информацията, ако системата вече я е обработила? Защо да сравнявам алтернативи, ако получавам готова препоръка? Защо да се занимавам с неприятната несигурност на собствената си преценка, когато екранът предлага толкова подредено заключение? Удобството е съвсем реално. Но когато отказът от проверка започне да се представя като оптимизация на мисленето, бих поставила под съмнение самото определение за ефективност. Спестеното умствено усилие има стойност само ако не сме спестили и онази част от разсъждението, която е била необходима за разумното решение.

Това не означава, че използването на изкуствен интелект непременно отслабва критическите способности. Подходящо използван, той може да поставя алтернативни хипотези, да разкрива пропуски в аргументацията и да подпомага разглеждането на проблем от различни перспективи. Разликата е в позицията на човека спрямо получения резултат. Използваме ли системата, за да разширим собственото си изследване, или за да приключим с него преждевременно? В първия случай технологията може да бъде интелектуален партньор в процеса на анализ, без това непременно да предполага равностойно човешко разбиране. Във втория тя се превръща в удобно оправдание да не задаваме повече въпроси. А липсата на въпроси рядко е доказателство, че сме получили всички необходими отговори.

Когато предположенията се превърнат в система

Нека си представим компания, която решава да автоматизира оценяването на потенциални клиенти. Досега служителите са разглеждали запитванията индивидуално, като са преценявали бюджета, естеството на проекта, вероятността за сключване на договор и необходимите ресурси за обслужване. Новата система трябва да повиши ефективността. Тя анализира исторически данни и определя кои запитвания заслужават приоритет. На пръв поглед решението изглежда напълно разумно. Вместо служителите да отделят еднакво време на всички кандидати, компанията ще насочва усилията си към онези, за които вероятността от продажба е най-висока. Една добре позната бизнес цел, подкрепена от съвременна технология. Какво би могло да се обърка?

Доста неща, ако започнем да разглеждаме не само резултата, но и произхода на данните. Да предположим, че в миналото компанията е работила предимно с определен тип клиенти, защото маркетинговата ѝ стратегия е била насочена към тях. Други клиентски сегменти са получавали по-малко внимание, по-бавни отговори или предложения, които не са отговаряли достатъчно добре на потребностите им. Историческите данни естествено ще отразяват тази практика. Ако новият модел използва същите данни като основа за оценяване, той може да започне да определя вече предпочитаните сегменти като по-перспективни, а останалите като по-малко привлекателни. Автоматизираната система не е необходимо да проявява собствено предубеждение, за да възпроизведе съществуваща организационна практика. Достатъчно е критериите и данните да съдържат нейните последствия.

След това механизмът може да започне да се самоподсилва. Клиентите с по-висока оценка получават повече внимание, по-бърза комуникация и по-добре подготвени предложения. Вероятността да сключат договор нараства. Тези резултати впоследствие могат да се използват като допълнително потвърждение, че първоначалното класифициране е било правилно. Междувременно останалите сегменти продължават да бъдат обслужвани с по-нисък приоритет, което ограничава възможността да се съберат надеждни данни за действителния им потенциал. И така компанията постепенно получава все по-убедителна статистическа картина на собствените си предишни предпочитания. Поздравления. Организационният навик вече притежава математическа инфраструктура.

Това не е неизбежният резултат от всяка автоматизирана система, а конкретен риск при определени данни, критерии и механизми за обратна връзка. Именно затова заслужава внимание. Проблемът може да остане незабелязан, защото системата демонстрира подобрение според показателите, които организацията е избрала да наблюдава. Ако целта е била да се увеличи делът на успешните продажби сред приоритетните запитвания, резултатите може действително да изглеждат положителни. Но дали компанията е увеличила общия си пазарен потенциал? Дали е оценила правилно стойността на пренебрегваните сегменти? Дали е подобрила способността си да разпознава нови възможности, или просто е усъвършенствала процедурата, чрез която потвърждава старите си предположения?

За мен именно тук се проявява едно от сериозните предизвикателства пред алгоритмичното управление. Измеримият успех на отделна процедура не доказва непременно, че организацията взема по-добри решения. Понякога тя просто измерва с по-голяма точност онова, което предварително е решила да счита за успех.

Какво остава извън данните?

В бизнеса има знания, които не съществуват в удобна таблична форма. Собственикът на малка компания може да разпознава признаци на бъдещо затруднение в отношенията с клиент, преди те да се появят във финансовите показатели. Опитният преподавател може да забележи, че ученикът е възпроизвел правилен отговор, без действително да е разбрал задачата. Един ръководител може да прецени, че формално изгодно партньорство носи организационни рискове, които не са отразени в предварителните прогнози. Подобни преценки не са непременно безпогрешни и не заслужават доверие само защото произтичат от човешки опит. Но показват, че практическото познание включва отношения, контекст и натрупани наблюдения, които невинаги са били систематично формулирани.

Това разграничение е особено важно, когато говорим за автоматизиране на управленски решения. Една изчислителна система може да работи с предоставената ѝ информация и в зависимост от архитектурата си да извлича нови данни, да задава уточняващи въпроси или да открива несъответствия. Но липсващата информация не престава да бъде съществена само защото не присъства в обработвания набор от данни. Нито пък е разумно да очакваме, че всички организационни зависимости могат да бъдат възстановени надеждно от историческите показатели. Компания, която не е документирала важни договорни ограничения, не решава проблема чрез внедряване на по-мощен модел. Тя просто предоставя по-голяма изчислителна мощ на система, която продължава да няма достъп до съществена част от действителността.

Има нещо почти философски красиво в това противоречие. Колкото повече информация можем да обработваме, толкова по-важен става въпросът каква информация липсва. Един впечатляващ набор от данни може да създаде илюзия за цялостно познание, докато най-същественият фактор остава извън него. Можем да изчислим вероятност за покупка, без да разбираме защо определена група клиенти изобщо не достига до нашите предложения. Можем да прогнозираме търсене въз основа на минали продажби, без да отчитаме, че самото предлагане е ограничавало избора. Можем да измерим производителност, без да установим дали извършваната работа има достатъчна икономическа стойност. Във всеки от тези случаи изчислението може да бъде технически коректно в рамките на зададената задача, а управленският извод да остане непълен.

Тук не противопоставям човешката интуиция на машинните изчисления. Подобно противопоставяне би било интелектуално мързеливо. Човешките решения също страдат от предразсъдъци, непоследователност и склонност към самозаблуда. Именно затова добрите аналитични системи са ценни. Те могат да разкрият зависимости, които човекът е пропуснал, и да поставят под въпрос неговите предварителни убеждения. Но технологичната помощ достига истинската си стойност, когато съществува възможност за взаимна проверка между данните, контекста и аргументите. Нито човешкото впечатление е непременно истина, нито машинната прогноза е автоматично доказателство. Разумното решение изисква основания, а не предпочитан източник на увереност.

Когато грешката придобие мащаб

Една от най-съществените икономически особености на автоматизацията е възможността една и съща процедура да бъде изпълнявана многократно при сравнително нисък допълнителен разход. Това е сред причините технологиите да създават толкова значителна производителност. Но мащабът е безразличен към качеството на първоначалното решение. Ако процедурата е добре проектирана, автоматизацията може да увеличи ползите от нея. Ако съдържа системна грешка, технологията може да разшири и последствията от тази грешка.

Представям си компания, която използва автоматизирана система за генериране на индивидуални търговски предложения. Софтуерът извлича информация за клиентите, изчислява цени и подготвя условия за договор. Процесът спестява време и значително ускорява комуникацията. Но в ценовата логика е пропуснат специфичен разход, който възниква при определен тип поръчки. Докато служителите са подготвяли предложенията индивидуално, подобни случаи понякога са били разпознавани и коригирани. След автоматизацията системата може да започне последователно да предлага икономически неизгодни условия на десетки клиенти. Техническата ефективност на процеса действително се е подобрила. За съжаление това важи и за способността на компанията да губи пари по една и съща причина.

Особено тревожно е, когато повторяемостта започне да се възприема като доказателство за правилност. Щом системата дава сходни резултати при сходни случаи, значи е последователна. Но последователността и коректността са различни качества. Един алгоритъм може да възпроизвежда една и съща неправилна класификация с впечатляваща надеждност. Може да поддържа неподходящо ценообразуване без никакви колебания. Може да генерира документи, в които системно липсва важна информация. А когато грешката се превърне в стандартна част от работния процес, хората постепенно престават да я възприемат като отклонение. Тя вече изглежда като нормалния начин, по който функционира организацията.

Това е моментът, в който техническата архитектура се превръща в управленски въпрос. Кой проверява резултатите? Как се откриват системни отклонения? Съществува ли възможност за спиране на автоматизирани действия, преди да са създали трудно обратими последствия? Има ли механизъм за оспорване на решенията? Отговорите не могат да се ограничат до уверението, че компанията използва съвременна технология. Съвременността не е категория за качество на управлението. Тя обозначава исторически момент, не професионална компетентност.

Отговорността, която никой не е автоматизирал

Философският проблем за отговорността става особено интересен, когато решенията възникват от взаимодействието между множество участници. Разработчикът проектира определена функционалност. Доставчикът предлага технологична услуга. Мениджърът избира как тя да бъде използвана. Служителят обработва или потвърждава резултата. Организацията определя правилата, а клиентът понася последиците. В подобна система причините за даден проблем могат да бъдат разпределени между различни етапи и различни решения. Това обаче не означава, че отговорността изчезва. Означава, че установяването ѝ изисква по-прецизен анализ.

Не бих приела и обратното опростяване, според което единствено собственикът на бизнеса носи всякаква отговорност за всичко, което технологията прави. В действителността могат да съществуват отделни технически, договорни, професионални и правни задължения на различните участници. Но управленската отговорност за избора, внедряването и контрола на дадена система не може да бъде отменена с аргумента, че нейният резултат е бил автоматично генериран. Ако организацията реши да използва технология за действия, които засягат клиентите и партньорите ѝ, тя трябва да разбира достатъчно добре възможностите, ограниченията и рисковете на тази употреба.

Има една почти комична страна на съвременния организационен живот. Компаниите понякога инвестират значителни средства, за да премахнат човешкото участие от определени процеси, след което откриват, че при сериозен проблем все пак им е необходим човек. При това не просто човек, който да натисне бутон за потвърждение, а специалист, способен да разбере причините, да оцени последствията и да вземе обосновано решение. Оказва се, че критическата преценка е била обявена за ненужна малко преждевременно. Жалко, особено ако междувременно сме престанали да развиваме компетенциите, необходими за нея.

Смисленият човешки контрол не се изчерпва с формалното присъствие на служител в процеса. Необходима е реална възможност автоматизираният резултат да бъде проверен, оспорен и при необходимост отменен. Това предполага компетентност, достъп до съществената информация и достатъчно време за преценка. Ако човекът е поставен пред стотици предложения, които трябва да потвърди за минути, присъствието му едва ли гарантира задълбочен анализ. То може да изпълнява предимно административна функция, докато организацията продължава да представя процеса като управляван от човек.

Контролът има смисъл само когато съществува реална способност за намеса. Иначе сме създали доста оригинална форма на отговорност, при която човекът е необходим най-вече за да подпише последствията.

Прогресът не отменя необходимостта от мислене

Не желая да превръщам тази критика в защита на миналото. Няма особено интелектуално достойнство в това да настояваме, че човекът трябва да извършва ръчно дейности, които машината може да изпълнява по-надеждно, по-бързо или с по-нисък разход. Историята на технологиите е история и на освобождаването на човешки ресурси от трудоемки операции, разширяването на познанието и създаването на нови възможности. Системите за машинно обучение и съвременните езикови модели са част от този процес. Би било несериозно да отричаме потенциала им само защото някои рекламни обещания звучат като научна фантастика, написана от маркетингов отдел.

Но технологичният прогрес не освобождава обществото от задължението да мисли критично за собствените си инструменти. Напротив, колкото по-значително става тяхното въздействие, толкова по-съществена е необходимостта да разбираме условията, при които ги използваме. В бизнеса това означава да разграничаваме техническите възможности от икономическата стойност, автоматизираните действия от управленските решения и статистическите резултати от техните интерпретации. Не всяка бърза процедура е ефективна. Не всяка точна прогноза е полезна. Не всяка препоръка заслужава изпълнение, а не всяко човешко решение става по-разумно само защото е подкрепено от алгоритъм.

Най-същественият въпрос според мен е дали технологиите разширяват способността ни да разбираме и управляваме сложността, или ни предоставят достатъчно удобство, за да престанем да се интересуваме от нея. Разбира се, тези две възможности не се изключват напълно. Една и съща система може да подпомага задълбочен анализ в една организация и да насърчава повърхностно вземане на решения в друга. Разликата не се определя единствено от модела, неговия размер или функционалност. Тя зависи и от целите, процесите, компетенциите и културата на хората, които го използват.

Тъкмо затова смятам, че разговорът за изкуствения интелект трябва да бъде и разговор за качеството на човешкото управление. В противен случай рискуваме да инвестираме в системи, които могат да обработват огромни количества информация, докато организациите, в които ги внедряваме, продължават да страдат от неясни цели, противоречиви решения и недостатъчна отговорност. Технологията няма магическото свойство да поправя тези слабости само чрез присъствието си. Понякога дори ги разкрива по-безмилостно, отколкото бихме искали.

Правото да не се съглася с машината

Никога не съм смятала, че интелектуалната независимост се измерва с количеството информация, което човек може да възпроизведе. За мен тя се проявява в способността да разграничаваме твърдението от доказателството, вероятността от сигурността и убедителната формулировка от обоснованото заключение. Не е необходимо да знаем всичко, нито да отхвърляме технологичните препоръки от принципно недоверие. Но трябва да запазим способността да разпознаваме границите на собственото си познание и да изискваме основания за решенията, чиито последствия ще трябва да понесем.

Не ме тревожи, че машините могат да извършват все повече сложни операции. Намирам това за закономерен и изключително интересен резултат от развитието на информатиката, математиката и изследванията върху езика. Много по-неприятна ми изглежда перспективата човекът постепенно да започне да възприема собственото си оттегляне от критическата преценка като показател за технологична зрялост. Защото между освобождаването от рутинен труд и отказа от интелектуална отговорност има разстояние, което не бива да преодоляваме толкова безгрижно.

Не настоявам човекът да бъде последната инстанция във всяко изчисление, нито смятам човешката интуиция за непогрешима. Искам обаче да знам кой е определил целта, защо е избран конкретният метод, как са оценени рисковете и дали съществува възможност за корекция. Това са въпроси, които не изчезват с развитието на технологията. Напротив, придобиват по-голямо значение, когато една система може да влияе върху хиляди решения едновременно.

Бих определила за истински технологичен напредък не просто способността да създаваме все по-мощни системи, а умението да ги използваме така, че човешката преценка да става по-информирана, по-отговорна и по-способна да се справя с несигурността. Ако вместо това започнем да приемаме готовите отговори като заместител на собственото си разбиране, ще сме постигнали впечатляващ успех в автоматизацията на едно твърде старо човешко изкушение. Желанието някой друг да мисли вместо нас.

Ако собственикът на един бизнес не може да обясни защо е взето определено решение, какви предпоставки стоят зад него и кой ще понесе последствията, проблемът не е само технологичен. Той е управленски, интелектуален и в определени случаи морален.

Можем да поверим на машината изчисленията, обработката на информация и изпълнението на множество операции. Можем да използваме способностите ѝ, за да откриваме грешки в собствените си предположения и да разширяваме възможностите си за анализ. Но не бива да превръщаме тази полезна зависимост в доброволен отказ от критическа преценка.

Защото най-голямата ирония на технологичната епоха няма да бъде, ако машините започнат да изпълняват все повече от нашите задачи. Тя ще бъде, ако в стремежа си да ги направим по-способни, престанем да изискваме същото от себе си.

Бизнесът е твой. Алгоритъмът не командва. А ако вече командва, въпросът е кой му е предоставил тази власт и защо се е отказал да я упражнява сам.