Ningún agente del catálogo está “listo” sin madurez de datos, control y dueño
Por Equipo Quantum Developers
Resumir:
Tesis operativa
“Listo para desplegar” mezcla al menos cinco preguntas: ¿hay datos autorizados?, ¿la decisión se puede validar?, ¿los controles funcionan?, ¿la operación puede responder? y ¿alguien es dueño del resultado? Un catálogo responsable no promedia estas respuestas. La preparación equivale a la dimensión más débil: una buena demo no compensa datos sin derecho, controles sin prueba ni una operación sin dueño.
GAO organiza su AI Accountability Framework alrededor de gobernanza, datos, desempeño y monitoreo. NIST pide inventario, roles, evaluación en condiciones de despliegue y gestión continua en el AI RMF Core. Ambos marcos contradicen la idea de que “agente” sea un producto terminado que se selecciona de una vitrina sin contexto.
El catálogo como inventario de capacidad, no de nombres
Una tarjeta útil empieza por el objeto y la decisión:
- objeto: factura, embarque, cotización, orden o caso;
- población: condiciones de elegibilidad y exclusión;
- modo actual: exploración, sombra, asistencia o acción;
- resultado: evento que confirma éxito o daño;
- datos: fuentes, derechos, frescura y procedencia;
- control: límite, aprobación, permiso y rollback;
- propiedad: dueño, guardia, presupuesto y fecha de revisión;
- evidencia: cobertura, excepciones, cambios y nivel de atribución;
- siguiente entrada: prueba necesaria para avanzar;
- caducidad: momento en que la evaluación deja de ser vigente.
No use “agente de finanzas” como unidad. Puede incluir clasificación reversible y liberación de pago irreversible. Deben ser tarjetas distintas.
Cinco niveles verificables
Nivel 0: concepto delimitado
Existe problema, objeto, acción propuesta y dueño de exploración. No hay afirmación de preparación. La entrada exige propósito, población, alternativa no basada en IA, límite de datos y fecha de expiración.
Salida: continuar a descubrimiento o archivar.
Acción permitida: ninguna sobre trabajo real.
Nivel 1: evidencia observable
Fuentes autorizadas y versionadas, casos históricos, resultado de cierre y línea base existen. El equipo conoce exclusiones y puede unir entrada con objeto. La entrada exige derechos de datos, procedencia, calidad mínima y resultado verificable.
Salida: prueba en sombra.
Acción permitida: lectura sobre copia o flujo aislado.
Nivel 2: asistencia validada
El agente procesa entradas actuales sin decidir de forma autónoma. Se observan cobertura, calidad por consecuencia, desacuerdo, excepciones y costo de revisión. El humano recibe contexto y conserva autoridad.
Entrada: evidencia en sombra, contrato de decisión, población estrecha y ruta de excepción.
Acción permitida: recomendación; la persona ejecuta.
Nivel 3: acción acotada
Una acción reversible se ejecuta en una población probada. Hay permiso mínimo, aprobación cuando aplica, idempotencia, rollback y reconciliación. Los SLO incluyen calidad, escalamiento y evidencia.
Entrada: resultados cerrados, control probado, riesgo residual aceptado y modo degradado.
Acción permitida: solo verbos y límites del contrato.
Nivel 4: capacidad operativa
El agente tiene dueño de resultado, guardia, runbook, presupuesto, gestión de cambios, monitoreo y regla de retiro. La evidencia sigue al objeto hasta resultado; revisiones periódicas confirman que el nivel continúa vigente.
Entrada: preparación operativa demostrada, costo sostenible y recuperación ensayada.
Acción permitida: autonomía aprobada dentro del alcance, nunca fuera de él.
No existe un nivel “autónomo en todo”. La madurez pertenece a una decisión y población concretas.
Matriz de dimensiones
Para asignar nivel, evalúe cada dimensión por separado:
| Dimensión | Pregunta de entrada | Evidencia |
|---|---|---|
| datos | ¿tenemos derecho, procedencia, frescura y calidad? | contrato, perfil y fallas |
| resultado | ¿podemos observar cierre y comparar? | definición, cobertura y base |
| control | ¿la acción tiene límite, aprobación y reversión? | prueba de permiso y rollback |
| operación | ¿detectamos, escalamos, degradamos y recuperamos? | ejercicio y runbook |
| propiedad | ¿quién acepta resultado, riesgo y costo? | estatuto y presupuesto |
| economía | ¿el valor observado supera costo total dentro de rango? | medición y validación financiera |
El nivel publicado es el mínimo de las dimensiones críticas. Si datos está en nivel uno y operación en tres, la tarjeta permanece en uno. Se puede mostrar el perfil completo para dirigir inversión, pero no ocultar el cuello de botella con un promedio.
Artefacto: la tarjeta de entrada
La tarjeta del catálogo debería responder:
- ¿Cuál es el nivel actual y desde cuándo?
- ¿Qué evidencia lo sostiene y qué cobertura tiene?
- ¿Cuál es la dimensión limitante?
- ¿Qué acción está permitida hoy?
- ¿Qué acción sigue prohibida?
- ¿Qué prueba habilita el siguiente nivel?
- ¿Quién firma esa entrada?
- ¿Qué evento reduce o vence el nivel?
El nivel baja automáticamente ante cambio material de política, fuente, población, permiso o resultado. La revalidación no es castigo; reconoce que preparación es contextual.
Ejemplo ilustrativo: cuentas por pagar
Una tarjeta llamada “agente de cuentas por pagar” se divide. Extracción de campos puede estar en asistencia validada; propuesta de codificación, en acción acotada para facturas con orden; cambio bancario y liberación de pago permanecen fuera de autonomía. Comparten documentos, pero no consecuencia.
El catálogo muestra el perfil en lugar de una insignia única. Si falta dueño para excepciones, toda acción que las genere se mantiene en asistencia. Este ejemplo es ilustrativo y no certifica un producto ni un nivel universal.
Revisión de preparación y evidencia propia
AWS describe sus Operational Readiness Reviews como checklists adaptados con aprendizajes de incidentes para inspeccionar riesgos durante el ciclo de vida. El catálogo puede usar el mismo mecanismo: cada incidente agrega una pregunta o prueba, no una regla abstracta copiada de otro sector.
En Quantum Automation Center, el catálogo, estados, cronologías, artefactos, logs, analítica, agentes, permisos y aprobaciones pueden enlazar nivel con ejecuciones. La etiqueta no debe editarse manualmente sin referencias a la evidencia que la sostiene.
Evitar el teatro de madurez
No premie cantidad de documentos. Una prueba de rollback vale más que un runbook que nadie ejecutó. No permita autoevaluación sin revisión para acciones materiales. No congele niveles por año: use fechas y eventos de caducidad. No convierta nivel en ranking de equipo; mide preparación del caso.
Tampoco confunda madurez con valor. Un agente puede estar muy preparado y resolver un problema pequeño. El portafolio decide inversión por valor y riesgo; el catálogo informa qué puede operarse de forma responsable.
El mejor contraargumento
Los niveles pueden convertirse en burocracia estática. Equipos llenan plantillas para obtener una insignia y el contexto cambia al día siguiente. La barrera también puede desalentar experimentos de bajo riesgo que necesitan velocidad.
La crítica es válida. Mantenga pocos criterios observables, automatice evidencia y use nivel cero para experimentar con expiración. La rigurosidad aumenta antes de la acción, no antes de pensar. Un nivel se demuestra con comportamiento, no con volumen de documentación.
Cuándo no usar este enfoque
No aplique niveles de producción a prototipos aislados sin acción real. Etiquételos como exploración con límite de datos y caducidad. Tampoco use la escala como garantía regulatoria o certificación externa.
Úsela cuando el catálogo influye en compras, despliegues o permisos. Sustituir “listo” por un nivel y una entrada pendiente transforma una promesa comercial en una decisión operativa que puede verificarse, reducirse y revocarse.
Sources
Temas del artículo
