El ROI de automatización necesita un contrafactual, no una anécdota antes/después
Por Equipo Quantum Developers
Resumir:
Tesis operativa
“Después del agente tardamos menos” es una observación útil, pero no demuestra ROI. Entre el antes y el después pudieron cambiar el volumen, la mezcla de casos, la plantilla humana, la política comercial o la calidad de los datos. La tesis es concreta: un comité solo puede atribuir valor a un agente si define antes del piloto la unidad de análisis, el resultado, la línea base y una comparación que aproxime qué habría ocurrido sin la intervención.
El Magenta Book de HM Treasury explica que la evaluación de impacto intenta identificar el cambio causado por una intervención y requiere estimar el contrafactual. El manual de evaluación de impacto del Banco Mundial desarrolla la misma idea mediante grupos de comparación y métodos de inferencia causal. Para automatización empresarial, esto no obliga a convertir cada piloto en un ensayo académico. Sí obliga a separar resultado observado de resultado atribuible.
La ficha de medición que debe aprobarse primero
Antes de habilitar el agente, el patrocinador, operaciones y finanzas deberían firmar una ficha de una página:
| Campo | Pregunta que debe quedar cerrada |
|---|---|
| Unidad | ¿Se mide factura, cotización, caso, pedido o cliente? |
| Intervención | ¿Qué acción exacta cambia y desde qué fecha? |
| Población elegible | ¿Qué casos puede tratar el agente y cuáles quedan fuera? |
| Resultado primario | ¿Tiempo hasta cierre, costo por caso, recuperación, error o margen? |
| Línea base | ¿Qué ventana anterior y qué reglas de depuración se usarán? |
| Comparación | ¿Qué cohorte representa razonablemente la operación sin agente? |
| Horizonte | ¿Cuándo se espera el efecto y cuánto dura la observación? |
| Costos | ¿Qué construcción, operación, revisión, integración y control se incluyen? |
| Regla de decisión | ¿Qué evidencia permite ampliar, ajustar o detener? |
Esta ficha evita una práctica común: escoger después la métrica que mejor se movió. También impide sumar beneficios incompatibles. Si el tiempo liberado no reduce horas pagadas ni se reasigna a trabajo medible, no es ahorro de caja; puede ser capacidad recuperada, que es valiosa, pero debe nombrarse así.
Un contrafactual proporcional al riesgo
La comparación más limpia asigna aleatoriamente casos elegibles entre proceso actual y proceso asistido. No siempre es viable. Una alternativa es desplegar por equipos, regiones o semanas, conservando grupos comparables. Otra es emparejar casos por complejidad, importe, canal y antigüedad. Una serie temporal interrumpida puede servir si existe suficiente historia y no coincide con otros cambios relevantes.
Ningún método elimina toda incertidumbre. El diseño debe registrar diferencias iniciales, contaminación entre grupos, casos excluidos y cambios concurrentes. NIST pide que las métricas, los métodos de evaluación, sus limitaciones y la incertidumbre se documenten y se revisen durante el ciclo de vida en el AI RMF Core. En términos ejecutivos: la cifra debe viajar con sus condiciones de validez.
La fórmula mínima para un resultado es:
Efecto incremental = cambio de la cohorte intervenida − cambio de la cohorte de comparación.
El ROI financiero puede expresarse después como beneficio incremental monetizado menos costo total, dividido por costo total. Pero esa división solo es útil si el numerador no mezcla causalidad, capacidad teórica y ahorro realizado.
Ejemplo ilustrativo, no benchmark
Imagine dos cohortes de cien casos comparables. En la línea base, ambas tardan cerca de diez horas por caso. Durante el piloto, la cohorte con agente baja a siete horas y la comparación baja a nueve porque el equipo también simplificó una política. El antes/después atribuiría tres horas al agente. La diferencia de cambios atribuye aproximadamente dos: tres de mejora intervenida menos una de mejora que ocurrió sin el agente.
Suponga además que cada hora recuperada se valora internamente en una unidad monetaria y que solo la mitad puede reasignarse a trabajo productivo verificable. El caso económico no debería monetizar las dos horas completas como ahorro. Debe mostrar por separado el efecto operativo, la tasa de realización y el beneficio financiero. Todos estos números son ficticios y solo ilustran la mecánica; no son una promesa ni una referencia de industria.
La cohorte también puede revelar heterogeneidad. Tal vez el agente mejore mucho los casos estándar y empeore excepciones. Un promedio favorable no autoriza ampliar el alcance a poblaciones que no estuvieron representadas. La decisión correcta puede ser escalar solo el segmento donde hay evidencia y mantener revisión humana para el resto.
Costos que suelen desaparecer del relato
El denominador no es únicamente consumo tecnológico. Incluye descubrimiento, integración, limpieza de datos, pruebas, observabilidad, aprobaciones, revisión humana, gestión de excepciones, soporte, seguridad, formación, mantenimiento y retiro. También incluye el costo de oportunidad del personal que valida el piloto.
Conviene reportar tres capas:
- Resultado operativo: cambio incremental en tiempo, error, recuperación o margen.
- Realización económica: qué parte se convierte en caja, capacidad usada o riesgo evitado.
- Costo total: inversión inicial, costo recurrente y costo de control.
El riesgo evitado merece una hipótesis explícita: frecuencia esperada, magnitud de pérdida y grado de reducción atribuible. No debe presentarse como dinero ahorrado si el evento nunca fue observable o si el control no tiene cobertura demostrada.
El tablero ejecutivo de decisión
En Quantum Automation Center, cada ejecución puede conservar identificador de caso, versión de flujo, intervención, revisión humana, resultado y artefactos. Esos eventos permiten construir cohortes reproducibles en lugar de reconstruir historias desde capturas. El tablero debería mostrar población elegible y excluida, equilibrio inicial, tendencia por cohorte, efecto incremental, intervalo o rango de incertidumbre, costos acumulados y fallas materiales.
La regla se define antes: por ejemplo, ampliar si mejora el resultado primario sin cruzar un límite de error y con cobertura suficiente; ajustar si la dirección es favorable pero la incertidumbre es alta; detener si crece el daño, desaparece la trazabilidad o el costo por resultado supera el límite acordado. Los umbrales son decisiones de la empresa, no cifras universales.
El mejor contraargumento
En una operación pequeña, crear grupos comparables puede costar más que el piloto. Además, retener deliberadamente una mejora a un grupo puede parecer injusto. Si el efecto es grande, visible y reversible, un despliegue por etapas con una línea base estable puede bastar para decidir.
Ese contraargumento es válido. La respuesta es proporcionalidad, no ritual metodológico. Use el diseño más sencillo que pueda falsar la historia favorita del patrocinador. Una introducción escalonada, una comparación por cola o un muestreo independiente pueden generar evidencia suficiente sin paralizar la operación. Lo que no es aceptable es declarar causalidad porque dos capturas tienen fechas distintas.
Cuándo no usar este enfoque
No use un diseño causal pesado cuando la automatización es una obligación legal, responde a un incidente inmediato o procesa tan pocos casos que ninguna comparación será defendible. En esos escenarios, mida cumplimiento, seguridad, costo total y calidad del despliegue sin fingir precisión causal.
Tampoco fuerce un ROI monetario cuando el objetivo real es aprendizaje exploratorio. Defina entonces qué incertidumbre se reducirá y qué decisión habilitará el piloto. Para flujos repetidos, con volumen y una decisión de inversión relevante, el contrafactual sí es indispensable: convierte una mejora aparente en una afirmación que finanzas, operaciones y riesgo pueden discutir con la misma evidencia.
Sources
Temas del artículo
