Cuando todo funciona… y aun así vamos mal

#

Hay pocos momentos más peligrosos en una organización tecnológica que aquel en el que todo parece ir bien.

No hay incidentes graves.
Los proyectos se entregan.
Las métricas suben.
Los dashboards están en verde.

La caja negra con sonrisa responde rápido, los equipos avanzan y alguien dice, con sincero alivio:

“Parece que ya le hemos cogido el truco.”

Y ahí es donde empieza el verdadero problema.

Cuando algo falla de forma evidente, al menos hay una señal.
Un error en producción, una caída, una reclamación, una alarma que obliga a parar y pensar. El fallo introduce fricción, y la fricción obliga a entender.

Pero cuando todo funciona, nadie quiere hacer preguntas incómodas.

Si el código compila, los tests pasan y el despliegue se completa, ¿para qué revisar más?
Si el cliente no se queja, ¿para qué mirar dentro?
Si la IA responde bien, ¿para qué discutirle?

La sonrisa de la caja tranquiliza.
Y la tranquilidad, en sistemas complejos, suele ser engañosa.

Imaginemos una situación que, como siempre, no ocurre en la realidad.

Un equipo lleva meses usando IA. El ritmo es bueno. Se entregan cosas. Los tiempos han bajado. Los juniors son productivos. Los seniors revisan rápido. Nadie parece especialmente estresado.

Desde fuera, el sistema funciona.

Desde dentro, empiezan a aparecer pequeñas señales: hay partes del código que nadie quiere tocar,
ciertas decisiones no están del todo claras,
algunas explicaciones suenan… vagas,
y la frase “esto lo generó la IA” aparece cada vez más a menudo.

Nada de eso es crítico. Todavía.

El problema de los sistemas que “funcionan” es que ocultan el deterioro.

La deuda técnica no suele romper nada de golpe.
Se acumula silenciosamente.

La pérdida de criterio tampoco se nota en el corto plazo.
Simplemente, cada vez cuesta más razonar sobre el sistema sin acudir a la caja.

La dependencia se instala sin dramatismo.
No porque la IA sea imprescindible, sino porque resulta incómodo prescindir de ella.

Y como no hay dolor inmediato, nadie lo prioriza.

Aquí ocurre algo especialmente perverso: el éxito valida el modelo.

Si todo funciona, la narrativa se refuerza: “vemos resultados”,
“la adopción está siendo positiva”,
“el cambio cultural avanza”.

Cualquier duda empieza a sonar a resistencia.
Cualquier objeción parece exagerada.

La caja negra con sonrisa no discute.
Simplemente sigue respondiendo.

Este es el momento en el que la organización empieza a confundirse.

Confunde estabilidad con comprensión,
ausencia de errores visibles con calidad,
velocidad con madurez,
y funcionamiento con salud.

Pero un sistema puede funcionar durante mucho tiempo sin estar sano.

Especialmente si quienes lo mantienen han dejado de entenderlo del todo.

Hay una señal clara de que algo no va bien, aunque cueste reconocerla.

Cuando una organización empieza a depender más de la explicación posterior que del razonamiento previo, algo se ha roto.

Las decisiones ya no se toman porque se entienden,
sino porque “tienen sentido cuando se explican”.

La caja ayuda mucho en ese punto.
Siempre puede generar una justificación plausible.

Y eso es peligroso.

Porque en sistemas complejos, los problemas graves no suelen venir de decisiones obviamente malas. Vienen de decisiones razonables tomadas sin comprender del todo sus consecuencias, acumuladas durante meses o años.

Cada una funciona.
Todas juntas, no.

Y cuando el fallo aparece de verdad, suele hacerlo lejos del punto donde se tomó la decisión original.

Aquí es donde la metáfora de la caja deja de ser amable.

La caja no recuerda errores pasados.
No aprende de incidentes organizativos.
No carga con las consecuencias.

Sigue sonriendo.

Y cuando algo falla de verdad, nadie sabe muy bien por dónde empezar a mirar, porque la comprensión se ha ido erosionando poco a poco, justo mientras todo parecía funcionar.

Este es el escenario más difícil de corregir.

No hay crisis que lo justifique.
No hay urgencia clara.
No hay un “antes y después” evidente.

Solo una sensación difusa de que cada cambio cuesta más,
de que cada decisión necesita más validación,
de que cada sistema es un poco más opaco que el anterior.

Y, aun así, las métricas siguen bien.

Quizá la IA nos esté ayudando de verdad.
Es muy posible.

Pero si solo celebramos que todo funcione, sin preguntarnos por qué funciona, quién lo entiende y qué estamos perdiendo por el camino, estaremos optimizando para el corto plazo.

La caja negra con sonrisa es muy buena haciendo que las cosas avancen.
No lo es garantizando que avancemos en la dirección correcta.

El verdadero riesgo no es que la IA falle.
El verdadero riesgo es acostumbrarnos a que todo funcione sin comprenderlo.

Porque cuando eso ocurre, el día que deje de funcionar —y dejará de hacerlo—
ya no sabremos si el problema es la caja, el sistema…
o la organización que dejó de hacer preguntas cuando aún estaba a tiempo.

Nota: Este artículo forma parte de una serie sobre el uso real de la IA en entornos profesionales. A veces, el mayor síntoma de un problema no es el fallo, sino la ausencia de señales claras mientras el deterioro avanza.