Ingeniería de IA: del piloto a producción

Qué mide de verdad esta capa

Mide repetibilidad.

Una demo demuestra que algo puede ocurrir. Producción exige que ocurra siempre, con entradas que nadie previó, a un coste predecible y sin que la calidad se degrade en silencio cuando cambia un modelo por debajo.

Lo que no mide: la sofisticación del modelo. La elección de modelo es de las decisiones menos determinantes del conjunto, y suele ser la que más tiempo consume en los comités.

Por qué es la cuarta capa y no la primera

Casi todo el mundo entra por aquí, porque es la única capa con un comercial llamando a la puerta. Y no es un error absurdo: es donde se ve algo.

El problema es que la ingeniería resuelve muy bien el problema que le dan. Si el problema está mal elegido —porque nadie hizo la capa de valor— producirá una solución impecable a algo que no importaba. Si el material no existe —porque nadie hizo la capa de datos— producirá respuestas seguras y ajenas. En ambos casos el sistema funcionará y el proyecto fracasará, que es la forma más cara de fracasar.

Colocarla la cuarta no la degrada. La protege: llega cuando el problema ya está acotado y medido, que es cuando el trabajo de ingeniería rinde de verdad.

Las cuatro decisiones que importan

1 · Construir o comprar. El criterio que aplicamos no es el coste inicial sino el coste de salida. Comprar es correcto cuando el proceso es común a todo el sector y no te diferencia. Construir es correcto cuando el proceso codifica cómo trabaja tu empresa, porque ahí el activo es el contexto y no quieres que viva en el proveedor. La pregunta que ordena la decisión: si dentro de dos años quisiéramos cambiar de proveedor, ¿qué nos llevaríamos? Si la respuesta es «nada», estás alquilando tu diferencial.

2 · Evaluación. Es lo que separa a los equipos que llegan a producción de los que no, y es lo que menos se hace. Sin un conjunto de casos de prueba con respuestas correctas conocidas, no hay forma de saber si un cambio mejora o empeora el sistema. Se acaba decidiendo por impresiones, y las impresiones no detectan degradaciones del 8%.

3 · Coste por tarea. No coste mensual: coste por unidad de trabajo. Es la métrica que permite decidir si un caso escala, y la que casi nadie instrumenta hasta que llega una factura desagradable.

4 · Observabilidad. Qué se registró, con qué contexto, qué devolvió y quién lo revisó. Sin esto, un fallo en producción no es diagnosticable: es una anécdota.

Diagnóstico: dónde estás

Estadio 1 · Demo. Funciona en manos de quien lo construyó. No hay evaluación, ni coste por tarea, ni registro. Señal observable: cuando falla, la explicación es «la IA a veces se equivoca».

Estadio 2 · Piloto operable. Hay conjunto de evaluación, coste por tarea conocido y registro básico. Señal observable: existe un número que dice cuánto acierta, y se vuelve a medir cuando se cambia algo.

Estadio 3 · Servicio. Tiene dueño, umbrales, alertas cuando la calidad cae y un procedimiento cuando eso pasa. Señal observable: la degradación se detecta antes de que la reporte un usuario.

Los primeros 90 días

Semanas 1-2 · Conjunto de evaluación. Treinta a cincuenta casos reales con respuesta correcta conocida, sacados del histórico. Es el activo de ingeniería más rentable que se puede construir y cuesta días, no meses.

Semanas 3-4 · Decisión build/buy documentada, con el criterio de coste de salida escrito, no intuido.

Semanas 5-8 · Construcción o integración acotada, midiendo contra el conjunto de evaluación en cada iteración.

Semanas 9-10 · Coste por tarea y umbrales. Cuánto cuesta cada unidad y a partir de qué cifra deja de tener sentido.

Semanas 11-12 · Registro y puerta de revisión humana donde la salida tenga impacto externo, conectando con la capa de gobernanza.

Qué NO hacer todavía

• No montes una plataforma de IA. Una plataforma para un caso es infraestructura buscando problema. Cuando haya tres casos, se justificará sola y además sabrás qué tiene que hacer.
• No optimices el modelo antes de tener evaluación. Sin medición, «mejorar» es una opinión.
• No persigas la última versión de cada modelo. El coste de estar al día es alto y el retorno, en la mayoría de casos de empresa, marginal frente a mejorar el contexto.
• No construyas agentes autónomos de entrada. Gartner prevé que más del 40% de los proyectos basados en agentes se cancelen antes de 2027. La autonomía se gana por tramos.

Lo que cuesta saltársela

Cuesta la credibilidad del equipo técnico. Un sistema que llega a producción sin evaluación ni observabilidad falla de forma aleatoria a ojos del negocio, y el equipo no puede explicar por qué. A partir de ahí cada incidente refuerza la idea de que «esto no está maduro», cuando lo que no estaba maduro era la práctica de ingeniería alrededor.

Y cuesta dinero de forma silenciosa: sin coste por tarea, un caso que no escala puede tardar meses en delatarse, y para entonces está integrado en la operación.

Cuarta capa de la serie sobre las siete capas de madurez en IA.

Preguntas frecuentes

¿Qué hace falta para llevar la IA a producción de verdad?

Cuatro cosas: un conjunto de evaluación con casos reales y respuesta conocida, coste por tarea instrumentado, registro de qué entró y qué salió, y una puerta de revisión humana donde la salida tenga impacto externo. Sin evaluación no se puede saber si un cambio mejora el sistema.

¿Construir o comprar una solución de IA?

El criterio decisivo es el coste de salida, no el precio inicial. Comprar es adecuado para procesos comunes al sector que no te diferencian. Construir tiene sentido cuando el proceso codifica cómo trabaja tu empresa: ahí el activo es el contexto, y conviene que se quede en casa.

¿Cuánto cuesta mantener un sistema de IA en producción?

Depende del volumen, pero la métrica que hay que exigir es el coste por tarea, no el coste mensual. Es la única que permite saber si el caso escala. Un sistema sin coste por tarea instrumentado puede tardar meses en revelar que no es viable.

¿Merece la pena empezar con agentes autónomos?

Como norma, no de entrada. Gartner prevé la cancelación de más del 40% de los proyectos basados en agentes antes de 2027. La autonomía se concede por tramos y después de que el sistema demuestre acierto medido bajo supervisión humana.