La ruta d'excepció: el que decideix si una automatització amb IA serveix

Aquí hem escrit sobre automatitzar amb IA les ofertes comercials, les respostes a RFPs, els comptes a pagar, el suport B2B i els sinistres. Les cinc peces resolen la part humana amb una línia semblant: «validant el sensible amb una persona», «control humà en les excepcions».

La frase és correcta i no diu gairebé res. No diu qui és aquesta persona, què rep, quant de temps té per resoldre-ho, què passa si la cua creix, ni —sobretot— què passa amb el cas que l'agent va resoldre malament sense marcar-lo com a dubtós, que és el que no arriba mai a aquesta persona.

Aquesta peça és la que faltava sota aquella línia. La tesi cap en una frase: un procés automatitzat no es jutja per la seva taxa d'encert, sinó per la seva ruta d'excepció. La taxa d'encert descriu el camí feliç. La ruta d'excepció decideix si el procés aguanta el primer mes en producció, si la gent l'adopta i si algú pot explicar què va fer quan un client ho pregunti.

Quatre caselles, i el quadre de comandament n'ensenya dues

Cada cas que entra en un procés automatitzat acaba en una de quatre caselles. El sistema el resol sol o l'envia a una persona; i, en cada cas, aquella decisió era la bona o no ho era.

La casella perillosa és invisible per construcció. Un error que el sistema no marca no genera cap esdeveniment: no hi ha res a comptar, i per tant no apareix en cap mètrica que compti esdeveniments. L'única cosa que el fa visible és anar-lo a buscar, i hi tornarem més avall.

Les dues caselles de la fila de dalt estiren en sentits oposats, i aquí hi ha tot el disseny. Escalar més redueix l'error silenciós, però omple la cua de soroll. I el soroll no és només un cost d'hores: una persona que aprova quaranta casos seguits que estaven bé aprèn a aprovar el quaranta-unè sense llegir-lo. El soroll acaba fabricant errors silenciosos dins de la mateixa ruta d'excepció.

La taxa d'encert depèn de quant deixes passar

Hi ha una idea de l'aprenentatge automàtic amb més de mig segle que gairebé mai no arriba a les propostes comercials: la de l'opció de rebuig, o classificació selectiva. Un sistema que es pot abstenir tria, en cada cas, entre contestar o no contestar, i el seu error es mesura només sobre el que contesta.

Yonatan Geifman i Ran El-Yaniv ho van formular per a xarxes neuronals profundes a NeurIPS 2017: el risc d'un classificador selectiu «es pot intercanviar per cobertura», i el seu rendiment es descriu amb una corba de risc davant de cobertura, no amb un número. El seu exemple: un error del 2% a ImageNet (top-5) garantit amb una probabilitat del 99,9%… contestant només en gairebé el 60% dels casos.

La conseqüència és directa: qualsevol taxa d'encert és un punt d'una corba. Un percentatge d'encert que no diu sobre quin percentatge de casos es calcula és mig número.

Un exemple amb xifres suposades (el càlcul és nostre). Dues propostes per al mateix procés, amb 2.000 casos al mes:

• Proposta A: resol sola el 95% i s'equivoca en el 4% del que resol. Deixa 100 excepcions i 76 errors silenciosos al mes.
• Proposta B: resol sola el 80% i s'equivoca en l'1%. Deixa 400 excepcions i 16 errors silenciosos al mes.

A la presentació guanya A: automatitza més. Quina és millor depèn de dues coses que no surten en cap de les xifres: quant costa un error silenciós en aquest procés —no és el mateix una etiqueta mal posada que un pagament duplicat— i si teniu capacitat per atendre bé 400 excepcions al mes. Aquestes dues preguntes són la ruta d'excepció. Sense contestar-les, es tria el punt de la corba que queda millor en una diapositiva.

La confiança del model no és un bon disparador

La resposta intuïtiva a «quins casos escalem» és «els que el model no tingui clars». Té dos problemes, i el segon és més important que el primer.

El primer és el calibratge. A l'informe tècnic de GPT-4, el model preentrenat estava molt ben calibrat —la seva confiança coincidia amb la probabilitat d'encertar— i després del post-entrenament el calibratge va empitjorar: en un subconjunt de MMLU, l'error de calibratge va passar de 0,007 a 0,074, i el peu de figura diu que el post-entrenament «perjudica significativament el calibratge». És un model concret, del 2023, mesurat amb probabilitats internes sobre preguntes tipus test, no amb la confiança que el model verbalitza «de l'1 al 10». El que sí que ensenya és que el calibratge s'ha de mesurar per model i per tasca, no suposar. Des del setembre del 2026 hi ha un model entrenat precisament per a això; l'analitzem a la peça sobre Jev.

El segon problema no l'arregla un model més ben calibrat: la confiança mesura el dubte del model, no la conseqüència del cas. Un 97% de confiança sobre una factura de 200 euros i sobre una de 200.000 no són el mateix cas, i el model no ho sabrà si no li ho diu el procés.

Els disparadors que funcionen millor són els que el model no controla:

En els comptes a pagar, el primer disparador fa dècades que està resolt, i per això és dels processos més agraïts d'automatitzar. El tercer és la quarta pregunta de la frontera de l'ERP vista des de l'altre costat: quan el sistema està equivocat, l'única cosa que el delata és que una altra font digui una cosa diferent.

Posar-hi una persona no arregla res per si sol

Fins aquí, sembla que el disseny consisteix a triar bé què s'escala. Falta la part incòmoda: què passa quan el cas arriba a la persona.

L'octubre del 2024, Michelle Vaccaro, Abdullah Almaatouq i Thomas Malone van publicar a Nature Human Behaviour una metaanàlisi preregistrada de 106 experiments i 370 mides d'efecte, tots publicats entre el gener del 2020 i el juny del 2023, que mesuraven tres coses alhora: el rendiment de la persona sola, el de la IA sola i el de la combinació. El resultat central és que, de mitjana, la combinació va rendir pitjor que el millor dels dos per separat (g de Hedges = −0,23).

Té matisos que importen. La combinació sí que va millorar la persona sola; el que no va fer, de mitjana, va ser superar la IA sola quan la IA era millor. Les pèrdues es van concentrar en tasques de decisió —triar entre opcions tancades— i els guanys, en tasques de creació de contingut. I la troballa més útil per dissenyar una ruta d'excepció: quan la persona era millor que la IA en aquella tasca, la combinació guanyava; quan la IA era millor, perdia.

Més del 95% dels sistemes estudiats seguien el mateix patró: la IA proposa i la persona decideix. És el disseny «humà en les excepcions» del principi, l'habitual al sector i també a les nostres pròpies peces. Mostrar nivells de confiança o explicacions no va canviar el rendiment de manera significativa. Els autors apunten que hauria anat millor repartir la tasca segons qui és millor en cada part, però només tres experiments ho van provar i el resultat no va ser significatiu: és una hipòtesi raonable, no una conclusió.

La lectura pràctica: la ruta d'excepció no consisteix a posar una persona darrere del model, sinó a enviar-li els casos en què ella és millor que el model. El que el model encerta més que el revisor no hauria d'arribar a la cua; el que hi arriba hauria d'arribar a algú que en sàpiga més que el sistema sobre aquell tipus de cas.

Lisanne Bainbridge ho va veure el 1983, estudiant plantes de procés i cabines d'avió, en cinc pàgines titulades Ironies of Automation. La seva segona ironia és exacta per a la IA: el dissenyador que intenta eliminar l'operador «li deixa les tasques que no sap com automatitzar», un conjunt arbitrari de tasques en el suport de les quals potser s'ha pensat poc. Les altres continuen vigents: recuperar amb soltesa el que se sap depèn de fer-ho servir sovint; ningú no manté l'atenció més d'una mitja hora sobre una cosa en què gairebé mai no passa res, de manera que les anomalies rares les ha de vigilar una alarma; i, l'última, els sistemes automatitzats amb més èxit, els que gairebé mai no demanen intervenció manual, poden ser els que exigeixen més formació de qui hi intervé.

Traduït a una cua d'excepcions: com més bé funciona l'automatització, més rares i més difícils són les excepcions, i menys pràctica té qui les resol. Una excepció no és un cas mitjà que l'agent no ha volgut fer: és, per construcció, dels més difícils del procés. El prudent és pressupostar que triga més que la mitjana manual d'abans i que demana més criteri, no menys.

Què rep la persona, i en quin ordre

El paquet amb què arriba una excepció decideix la qualitat de la resposta, i hi ha dos estudis que convé conèixer abans de dissenyar-lo.

El primer, de Gagan Bansal i set coautors de la Universitat de Washington i Microsoft Research (CHI 2021), va provar si les explicacions de la IA milloraven equips humà-IA en tres conjunts de dades, amb una IA de precisió comparable a la de les persones. No els van millorar: van augmentar la probabilitat que la persona acceptés la recomanació, fos correcta o no.

El segon, de Zana Buçinca, Maja Barbara Malaya i Krzysztof Gajos (CSCW 2021), va provar tres maneres d'obligar a pensar: ensenyar el suggeriment de la IA només si la persona el demana, fer que decideixi primer i vegi el suggeriment després, o fer-la esperar trenta segons. Totes tres van reduir l'excés de confiança respecte de mostrar el suggeriment amb la seva explicació, tot i que no el van eliminar ni van millorar de manera significativa el resultat de l'equip. I els dissenys que més el van reduir van ser els que menys van agradar. Eren 199 persones, una tasca de nutrició i una IA simulada: no és un protocol d'empresa, però apunta en una direcció clara.

D'aquí surten cinc decisions de disseny per al paquet d'excepció:

1. Per què ha arribat. La regla concreta que ha saltat —«l'import no quadra amb la comanda 4471»—, no «confiança baixa». Sense motiu, la persona ha de redescobrir el problema, i amb pressa no ho farà.
2. Les dades d'origen, no només el resum. El document, el registre, el fil. Un resum de l'agent és una conclusió, i qui revisa una conclusió l'accepta amb més facilitat que qui revisa els fets.
3. La proposta de l'agent, en l'ordre correcte. Per a les excepcions en què la persona és l'experta, primer l'evidència i després, a petició, el que proposa l'agent. Per a les de molt de volum i poca conseqüència, la proposta a la vista. No és un dogma: és triar segons quina casella de Vaccaro ocupa aquell tipus de cas.
4. Què se'n pot fer. Aprovar, corregir, retornar amb una instrucció o escalar a un altre nivell. I la correcció capturada de manera estructurada, perquè és la dada més valuosa que produeix el procés.
5. El termini. Quant pot esperar aquell cas abans que el procés s'encalli o el client ho noti, visible per a qui el rep.

Qui i quan: la cua també és un sistema

«Les excepcions van a l'equip d'administració» no és una ruta, és una adreça de correu. La ruta té un responsable per tipus d'excepció, amb nom i amb autoritat per canviar la decisió, perquè l'excepció de proveïdor nou i la d'import disputat no les resol la mateixa persona ni amb el mateix criteri.

El termini surt del procés, no de l'acord de nivell de servei d'un altre equip: si una factura ha d'estar comptabilitzada abans del tancament o una reclamació contestada dins d'un termini legal, l'excepció hereta aquell rellotge.

I la capacitat es calcula, no se suposa. Seguint amb la proposta B d'abans (400 excepcions al mes, càlcul nostre): a 15 minuts per excepció són 100 hores al mes, una mica més de mitja persona a jornada completa. Si les excepcions són, com deia Bainbridge, els casos difícils i cadascuna porta 25 minuts, són unes 167 hores: una persona sencera. El cas de negoci que promet alliberar un lloc de treball i en crea un altre d'excepcions no està malament, però està incomplet, i convé que ho digui el projecte abans que ho descobreixi l'equip.

Quan la cua creix més de pressa que la capacitat, sempre passa el mateix: qui revisa accelera, i revisar de pressa és aprovar. Per això la mètrica que millor descriu la salut de la ruta no és el temps en cua sinó la taxa d'esmena: quin percentatge de les excepcions acaba amb la persona canviant el que proposava l'agent. Si durant mesos és a prop de zero, només hi ha dues explicacions, i totes dues són dolentes: o s'escala el que no calia, o se signa sense mirar.

El cas que no arriba mai a la cua

Queda la casella de baix a l'esquerra. Un dels casos públics més citats és petit en diners i enorme en lliçó.

El novembre del 2022, després de la mort de la seva àvia, Jake Moffatt va preguntar al xatbot del web d'Air Canada per les tarifes per dol. El xatbot li va dir que podia volar ja i demanar la tarifa reduïda després, dins dels 90 dies següents a l'emissió del bitllet. La pàgina de la mateixa aerolínia deia el contrari: la política no s'aplicava a sol·licituds posteriors al viatge. Moffatt va volar, va demanar el reemborsament i es va passar tres mesos creuant correus, fins que el febrer del 2023 va enviar la captura de la conversa. Air Canada va admetre llavors que el xatbot havia donat «paraules enganyoses» i va dir que n'havia pres nota per poder-lo actualitzar.

Un any després, el Civil Resolution Tribunal de la Colúmbia Britànica li va donar la raó. Segons la resolució, Air Canada venia a sostenir que el xatbot era «una entitat legal separada, responsable dels seus propis actes»; el tribunal ho va qualificar d'«una al·legació notable» i va escriure que hauria de ser obvi per a l'aerolínia «que és responsable de tota la informació del seu web», tant si ve d'una pàgina estàtica com d'un xatbot. La condemna va ser de 812,02 dòlars canadencs.

La xifra és anecdòtica. El que no ho és: l'error no el va trobar l'empresa. El va treure a la llum el client, i l'aerolínia el va reconèixer tres mesos després, quan va insistir amb la captura. La resolució no entra en quina tecnologia hi havia a sota, i per a la lliçó tant fa. Aquesta és la ruta d'excepció per defecte de qualsevol sistema que no busca els seus propis errors silenciosos: el client, l'auditor o el tancament. Un suport automatitzat ben fet sap dir «no ho sé»; aquest cas ensenya què passa amb el que l'agent no sabia que no sabia.

Per trobar aquests casos abans que el client hi ha tres eines, i cap no és cara:

• Mostreig aleatori del que el sistema ha resolt sol. Una mostra fixa cada setmana, revisada per algú que decideix abans de veure què ha fet l'agent: és el disseny de «decidir primer» de l'estudi de Buçinca, aplicat a l'auditoria.
• Senyals que arriben després. Reobertures, abonaments, reclamacions, correccions manuals a l'ERP sobre registres que va escriure l'agent. Cadascun és un error silenciós que ja s'ha fet visible; només cal creuar-los.
• Cada error trobat, convertit en un cas del conjunt d'avaluació. És la regla que desenvolupem a la peça sobre el golden set: un incident que no acaba convertit en cas de prova és un incident que es pot repetir sense que ningú se n'assabenti.

Sobre la mida de la mostra hi ha un compte que convé fer abans de celebrar res (aritmètica nostra, amb una aproximació estadística coneguda). Si es revisen n casos i no apareix cap error, la taxa real encara compatible amb aquest resultat, amb un 95% de confiança, és aproximadament de 3 entre n. Cinquanta casos nets continuen sent compatibles amb un 6% d'error silenciós; per descartar un 1% en calen uns 300. La mida de la mostra no és una qüestió d'esforç: és decidir quina taxa d'error voleu poder descartar.

La llei ja distingeix entre revisar i signar

Res del que s'ha dit fins aquí no és només bona pràctica. Dos textos europeus ho diuen amb paraules que convé llegir senceres.

L'article 14 del Reglament Europeu d'IA exigeix que els sistemes d'alt risc es puguin supervisar de manera efectiva, i concreta què vol dir: entre altres coses, que els qui supervisen siguin «conscients de la possible tendència a confiar automàticament o en excés en els resultats de sortida» —el reglament en diu literalment «biaix d'automatització»— i que puguin decidir, en qualsevol situació concreta, «no utilitzar el sistema d'IA d'alt risc o descartar, invalidar o revertir els resultats de sortida». Només obliga els sistemes d'alt risc, i el seu calendari s'ha mogut; el repassem quan parlem de sinistres.

L'altre text és més antic i més directe. Les directrius del Grup de Treball de l'Article 29 —el predecessor del Comitè Europeu de Protecció de Dades— que interpreten l'article 22 del RGPD diuen que el responsable «no pot eludir les disposicions de l'article 22 inventant-se una participació humana», i que, per comptar com a tal, la supervisió ha de ser «significativa, en comptes de ser únicament un gest simbòlic», feta «per part d'una persona autoritzada i competent per modificar la decisió» que tingui «en compte totes les dades pertinents». Es refereix a decisions sobre persones amb efectes jurídics o igualment significatius —una reclamació, un crèdit, una contractació—, no a la factura d'un proveïdor.

Encara que el vostre procés no sigui en cap dels dos casos, aquestes frases són la millor definició disponible d'una ruta d'excepció que funciona: algú amb autoritat per canviar la decisió, amb totes les dades al davant, conscient de la tendència a acceptar el que proposa la màquina i amb possibilitat real de descartar-ho. Una cua on s'aprova el cent per cent en vint segons no compleix cap de les quatre condicions, i la taxa d'esmena és justament la prova que la supervisió no és simbòlica. Com es construeix això des del disseny ho tractem a compliance-first: agents que passen una auditoria.

Dos informes per al mateix comitè

Tot això acaba canviant una cosa molt concreta: el que s'ensenya quan algú pregunta si l'automatització funciona.

L'informe de la dreta és més lleig i més llarg, i té un avantatge que el de l'esquerra no tindrà mai: aguanta la primera pregunta incòmoda. Quan un client reclami, quan un auditor pregunti o quan algú del comitè vulgui ampliar l'abast, la resposta honesta no és un percentatge. És: sabem què resol sol i amb quin error, què ens arriba, qui ho rep, quant triga, quantes vegades la persona canvia el que proposava el sistema i quants errors se'ns escapen — i com ho sabem.

Si hi falten les dues últimes, la taxa d'encert és una opinió amb decimals.

Preguntes freqüents

Què és la ruta d'excepció d'un procés automatitzat?

És el que passa amb els casos que el sistema no ha de resoldre sol: què els detecta, a qui arriben, amb quina informació, en quin termini i què pot fer-ne aquella persona. Inclou la part que gairebé ningú no dissenya: com es troben els casos que l'agent va resoldre malament sense marcar-los. Un procés sense ruta d'excepció dissenyada en té una igualment, només que per defecte: el client, l'auditor o el tancament comptable.

Quin percentatge de casos hauria d'anar a una persona?

No hi ha una xifra correcta: com més s'escala, menys s'equivoca el sistema sobre el que resol sol, i la literatura sobre classificació selectiva ho descriu com una corba de risc davant de cobertura. El punt de la corba es tria amb dues dades que no surten en cap taxa d'encert: quant costa un error silenciós en aquell procés i quantes excepcions al mes pot atendre bé el vostre equip.

Puc fer servir la confiança que dona el model per decidir què s'escala?

Com un senyal entre d'altres, no com l'únic. A l'informe tècnic de GPT-4, el post-entrenament va empitjorar significativament el calibratge del model: l'error de calibratge va passar de 0,007 a 0,074 en un subconjunt de MMLU. I encara que estigui ben calibrada, la confiança mesura el dubte del model, no la conseqüència del cas. Són més fiables els disparadors que el model no controla: regles de negoci, llindars per import, desacord entre fonts i casos nous.

Revisar amb una persona el que proposa la IA no en garanteix la qualitat?

No per si sol. Una metaanàlisi de 106 experiments publicada a Nature Human Behaviour el 2024 va trobar que, de mitjana, la combinació d'humà i IA rendeix pitjor que el millor dels dos per separat, i que guanya quan la persona és millor que el model en aquella tasca. A més, les explicacions de la IA augmenten l'acceptació de la seva proposta, sigui correcta o no. La revisió funciona quan arriba a qui en sap més que el model, amb les dades d'origen i amb temps per pensar.

Com es mesura l'error que ningú no veu?

Amb un mostreig aleatori del que el sistema ha resolt sol, revisat per algú que decideix abans de veure la resposta de l'agent; amb els senyals que arriben després, com reobertures, abonaments o reclamacions; i convertint cada error trobat en un cas d'avaluació. La mida importa: 50 casos revisats sense cap error continuen sent compatibles amb una taxa real de fins a un 6%, i per descartar un 1% en calen uns 300.

La supervisió humana és obligatòria?

L'article 14 del Reglament Europeu d'IA l'exigeix als sistemes d'alt risc, i demana expressament que qui supervisa sigui conscient del biaix d'automatització i pugui descartar o revertir la sortida. Quan una decisió totalment automatitzada té efectes jurídics o significatius sobre una persona entra, a més, l'article 22 del RGPD, les directrius del qual aclareixen que un gest simbòlic no compta com a participació humana. Encara que el vostre procés no sigui en aquests casos, és la millor definició disponible de supervisar de debò.

Fonts citades

• Vaccaro, M., Almaatouq, A. i Malone, T. — When combinations of humans and AI are useful: A systematic review and meta-analysis (Nature Human Behaviour 8, 2293–2303, publicat el 28 d'octubre de 2024; metaanàlisi preregistrada de 106 experiments i 370 mides d'efecte; g de Hedges = −0,23 respecte del millor dels dos; pèrdues en tasques de decisió; guanys quan la persona supera la IA)
• Bainbridge, L. — Ironies of Automation (Automatica 19(6), 775–779, 1983; les tasques que el dissenyador no sap automatitzar, la pèrdua de destresa, els límits de la vigilància i la ironia final sobre la formació)
• Bansal, G., Wu, T., Zhou, J., Fok, R., Nushi, B., Kamar, E., Ribeiro, M. T. i Weld, D. S. — Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance (CHI 2021; les explicacions augmenten l'acceptació de la recomanació de la IA, sigui correcta o no)
• Buçinca, Z., Malaya, M. B. i Gajos, K. Z. — To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making (CSCW 2021; 199 participants; tres dissenys que redueixen l'excés de confiança sense eliminar-lo, i els menys preferits pels usuaris)
• Geifman, Y. i El-Yaniv, R. — Selective Classification for Deep Neural Networks (NeurIPS 2017; la corba de risc davant de cobertura i l'exemple d'ImageNet)
• OpenAI — GPT-4 Technical Report (2023; figura 8: calibratge del model preentrenat respecte del post-entrenat en un subconjunt de MMLU)
• Civil Resolution Tribunal de la Colúmbia Britànica — Moffatt v. Air Canada, 2024 BCCRT 149 (14 de febrer de 2024; text íntegre de la resolució)
• Unió Europea — Reglament d'IA, article 14 · Supervisió humana (biaix d'automatització i capacitat de descartar o revertir la sortida en els sistemes d'alt risc; traduït de la versió castellana del Diari Oficial)
• Grup de Treball de l'Article 29 — Directrius sobre decisions individuals automatitzades i elaboració de perfils als efectes del Reglament 2016/679 (WP251rev.01) (adoptades el 2017 i revisades el 6 de febrer de 2018; participació humana significativa davant de gest simbòlic; traduït de la versió oficial en castellà)

Les cites de fonts publicades en anglès o en castellà estan traduïdes per nosaltres.