Enginyeria de IA: del pilot a producció

Què mesura de debò aquesta capa

Mesura repetibilitat.

Una demo demostra que una cosa pot passar. Producció exigeix que passi sempre, amb entrades que ningú no va preveure, a un cost predictible i sense que la qualitat es degradi en silenci quan canvia un model per sota.

El que no mesura: la sofisticació del model. L'elecció de model és de les decisions menys determinants del conjunt, i sol ser la que més temps consumeix als comitès.

Per què és la quarta capa i no la primera

Gairebé tothom entra per aquí, perquè és l'única capa amb un comercial trucant a la porta. I no és un error absurd: és on es veu alguna cosa.

El problema és que l'enginyeria resol molt bé el problema que li donen. Si el problema està mal triat —perquè ningú no va fer la capa de valor— produirà una solució impecable a una cosa que no importava. Si el material no existeix —perquè ningú no va fer la capa de dades— produirà respostes segures i alienes. En tots dos casos el sistema funcionarà i el projecte fracassarà, que és la manera més cara de fracassar.

Col·locar-la la quarta no la degrada. La protegeix: arriba quan el problema ja està acotat i mesurat, que és quan la feina d'enginyeria rendeix de debò.

Les quatre decisions que importen

1 · Construir o comprar. El criteri que apliquem no és el cost inicial sinó el cost de sortida. Comprar és correcte quan el procés és comú a tot el sector i no et diferencia. Construir és correcte quan el procés codifica com treballa la teva empresa, perquè allà l'actiu és el context i no vols que visqui al proveïdor. La pregunta que ordena la decisió: si d'aquí a dos anys volguéssim canviar de proveïdor, què ens enduríem? Si la resposta és «res», estàs llogant el teu diferencial.

2 · Avaluació. És el que separa els equips que arriben a producció dels que no, i és el que menys es fa. Sense un conjunt de casos de prova amb respostes correctes conegudes, no hi ha manera de saber si un canvi millora o empitjora el sistema. S'acaba decidint per impressions, i les impressions no detecten degradacions del 8%.

3 · Cost per tasca. No cost mensual: cost per unitat de feina. És la mètrica que permet decidir si un cas escala, i la que gairebé ningú no instrumenta fins que arriba una factura desagradable.

4 · Observabilitat. Què es va registrar, amb quin context, què va retornar i qui ho va revisar. Sense això, una fallada en producció no és diagnosticable: és una anècdota.

Diagnòstic: on ets

Estadi 1 · Demo. Funciona a les mans de qui el va construir. No hi ha avaluació, ni cost per tasca, ni registre. Senyal observable: quan falla, l'explicació és «la IA de vegades s'equivoca».

Estadi 2 · Pilot operable. Hi ha conjunt d'avaluació, cost per tasca conegut i registre bàsic. Senyal observable: hi ha un número que diu quant encerta, i es torna a mesurar quan es canvia alguna cosa.

Estadi 3 · Servei. Té amo, llindars, alertes quan la qualitat cau i un procediment quan això passa. Senyal observable: la degradació es detecta abans que la reporti un usuari.

Els primers 90 dies

Setmanes 1-2 · Conjunt d'avaluació. Trenta a cinquanta casos reals amb resposta correcta coneguda, trets de l'històric. És l'actiu d'enginyeria més rendible que es pot construir i costa dies, no mesos.

Setmanes 3-4 · Decisió build/buy documentada, amb el criteri de cost de sortida escrit, no intuït.

Setmanes 5-8 · Construcció o integració acotada, mesurant contra el conjunt d'avaluació a cada iteració.

Setmanes 9-10 · Cost per tasca i llindars. Quant costa cada unitat i a partir de quina xifra deixa de tenir sentit.

Setmanes 11-12 · Registre i porta de revisió humana on la sortida tingui impacte extern, connectant amb la capa de governança.

Què NO fer encara

• No muntis una plataforma d'IA. Una plataforma per a un cas és infraestructura buscant problema. Quan hi hagi tres casos, es justificarà sola i a més sabràs què ha de fer.
• No optimitzis el model abans de tenir avaluació. Sense mesurament, «millorar» és una opinió.
• No persegueixis l'última versió de cada model. El cost d'estar al dia és alt i el retorn, en la majoria de casos d'empresa, marginal davant de millorar el context.
• No construeixis agents autònoms d'entrada. Gartner preveu que més del 40% dels projectes basats en agents es cancel·lin abans de 2027. L'autonomia es guanya per trams.

El que costa saltar-se-la

Costa la credibilitat de l'equip tècnic. Un sistema que arriba a producció sense avaluació ni observabilitat falla de manera aleatòria als ulls del negoci, i l'equip no pot explicar per què. A partir d'aquí cada incident reforça la idea que «això no està madur», quan el que no estava madur era la pràctica d'enginyeria del voltant.

I costa diners de manera silenciosa: sense cost per tasca, un cas que no escala pot trigar mesos a delatar-se, i llavors ja està integrat a l'operació.

Quarta capa de la sèrie sobre les set capes de maduresa en IA.

Preguntes freqüents

Què cal per portar la IA a producció de debò?

Quatre coses: un conjunt d'avaluació amb casos reals i resposta coneguda, cost per tasca instrumentat, registre de què va entrar i què va sortir, i una porta de revisió humana on la sortida tingui impacte extern. Sense avaluació no es pot saber si un canvi millora el sistema.

Construir o comprar una solució d'IA?

El criteri decisiu és el cost de sortida, no el preu inicial. Comprar és adequat per a processos comuns al sector que no et diferencien. Construir té sentit quan el procés codifica com treballa la teva empresa: allà l'actiu és el context, i convé que es quedi a casa.

Quant costa mantenir un sistema d'IA en producció?

Depèn del volum, però la mètrica que cal exigir és el cost per tasca, no el cost mensual. És l'única que permet saber si el cas escala. Un sistema sense cost per tasca instrumentat pot trigar mesos a revelar que no és viable.

Val la pena començar amb agents autònoms?

Com a norma, no d'entrada. Gartner preveu la cancel·lació de més del 40% dels projectes basats en agents abans de 2027. L'autonomia es concedeix per trams i després que el sistema demostri encert mesurat sota supervisió humana.