La nueva autoridad: cuando la IA hereda credibilidad

Las recomendaciones de la inteligencia artificial casi nunca llegan solas. Llegan con autoridad prestada: el semáforo verde del tablero de cumplimiento, el formato de un informe de auditoría, el tono sereno de una cita a la política interna. Esa credibilidad la ganaron, durante años, personas a las que se les podía preguntar y que respondían por su trabajo. Cuando un modelo empieza a producir la señal, la credibilidad se transfiere. La rendición de cuentas no. En esa brecha el sesgo de automatización deja de ser un descuido personal y se convierte en un problema de la organización.

La mayoría de los directivos ya aceptó varias de estas transferencias sin darse cuenta. Nadie firmó un oficio que dijera que el resultado del modelo ahora pesa lo mismo que la revisión del contralor o el visto bueno del área de cumplimiento. Ocurrió porque el resultado se veía como siempre se han visto los resultados confiables. Este ensayo le pone nombre a esa transferencia, muestra dónde se esconde y plantea la decisión que los directivos deberían tomar a propósito, no por omisión.

¿Qué es la autoridad prestada en un sistema de IA?

La autoridad prestada es la credibilidad que un resultado de IA hereda de la forma institucional en que aparece, y no de evidencia de que se la merezca. Una lista jerarquizada parece análisis. Un estatus en color parece un hallazgo. Una carta de negativa ya redactada, que cita la sección correcta de la política, parece una decisión que alguien ya tomó.

Nada de esto exige que el sistema esté equivocado. El resultado puede ser correcto casi siempre. El problema es que la confianza de la organización en él nunca se fijó de manera deliberada. Se heredó de lo que antes ocupaba ese lugar en la pantalla. Cuando un analista armaba el tablero, el verde significaba que una persona con nombre había revisado, podía explicar por qué y se iba a enterar si se equivocaba. Cuando lo produce un modelo, el verde se ve igual y significa otra cosa.

¿Por qué los resultados de la IA parecen más creíbles que las personas?

Porque se ven más limpios. Una calificación de un modelo parece más neutral que la corazonada de un gerente. Un resumen generado parece más completo que la memoria de un revisor cansado. Con el tiempo, el semáforo rojo, amarillo o verde empieza a funcionar como un vocabulario moral, y la gente trata la interfaz como si tuviera autoridad además de información.

Los reguladores ya lo notaron. La Ley de IA de la Unión Europea pide que quienes supervisan sistemas de alto riesgo estén conscientes de la tendencia a confiar, o a confiar de más, en el resultado del sistema, y le da su nombre: sesgo de automatización. La ley lo trata como un requisito de diseño, no como un recordatorio de capacitación. Es el instinto correcto. El sesgo de automatización no es sobre todo una falla de atención individual. Es lo que pasa cuando la organización arma el sistema de modo que estar de acuerdo es rápido, visible y premiado, mientras que cuestionar es lento, invisible y se mide como productividad perdida.

La presión suele ser cotidiana. Una fila de casos atrasada. Dos personas fuera. Los tiempos de atención del mes pegados en el archivero. En ese ambiente, quien se detiene a reconstruir un caso se ve menos eficiente que quien acepta la recomendación con soltura. Nadie ordenó obedecer. Lo hizo el arreglo.

¿Cómo se ve una transferencia de credibilidad en la práctica?

Un caso compuesto, armado a partir de varias empresas industriales medianas. Un grupo de operaciones regional usa un tablero de cumplimiento de proveedores. Durante años, un equipo de dos personas revisaba certificados, hallazgos de auditoría y acciones correctivas, y asignaba a mano el estatus de cada proveedor. El comité de riesgos del consejo aprendió a leer ese tablero como un hecho: verde quería decir aprobado.

Luego se automatizó la revisión. Ahora un modelo lee los documentos y asigna el estatus. Dieciocho meses después, nadie ha vuelto a examinar con qué datos se entrenó, la base de proveedores se movió hacia otras regiones y ya son comunes dos formatos de certificado que el modelo nunca vio. El tablero sigue en verde casi en todos lados. El comité sigue leyendo verde como aprobado. Las dos personas que revisaban ya están en otras funciones.

Nada en esta historia es una falla técnica. Cada paso fue razonable. Pero el significado del verde cambió y nadie se lo dijo a quienes dependen de él. El comité confía en una señal cuya autoridad venía de un proceso de revisión que ya no existe. Si un proveedor falla, el análisis posterior va a estar lleno de frases como “el tablero estaba en verde”. Esa frase describe un hecho. No describe una razón.

¿Por qué “lo dijo el sistema” nunca es una respuesta completa?

Los experimentos de obediencia de mediados del siglo pasado se siguen debatiendo, con razón, por su ética y por lo mucho que se han simplificado sus lecciones. Un hallazgo resiste el debate. El poder de aquel cuarto no estaba solo en el hombre de bata gris. Estaba en el arreglo: el procedimiento daba el marco, la máquina daba la secuencia, las etiquetas daban la escalada. El cuarto no eliminaba la posibilidad de elegir. Hacía que continuar pareciera la tarea asignada.

El trabajo moldeado por la IA puede reconstruir ese arreglo sin que nadie lo busque. Las empresas dicen “lo dijo el sistema” de muchas maneras: el modelo lo marcó, la fila lo priorizó, el proveedor lo configuró así, la IA recomendó negar. Cualquiera puede describir una restricción real. Ninguna es una razón que alguien pueda asumir como propia. Una razón es algo que una persona puede explicar, defender y corregir cuando cambian los hechos. Como lo plantea un libro reciente sobre el tema, la nueva bata de laboratorio no pide desconfiar de los sistemas; pide desconfiar de la facilidad cuando la facilidad sustituyó a la responsabilidad.

Aquí importa la autoría humana. La pregunta no es si hay una persona en algún punto del circuito. Casi cualquier implementación de IA puede mostrar un clic humano. La pregunta es si la persona en ese punto tiene autoridad real, utilizable bajo presión, para cambiar el resultado, y si el registro muestra que la ejerció.

¿Cómo decide un directivo qué transferencias de credibilidad aceptar?

Algunas transferencias son sanas. Un modelo bien validado que clasifica facturas rutinarias puede merecer la confianza que hereda, siempre que alguien responda por mantenerlo válido. La meta no es rechazar transferencias. Es que cada una sea una decisión y no una deriva. Cuatro preguntas ayudan:

1. ¿Qué significaba esta señal antes de que la produjera la IA? Ponga por escrito qué representaba el verde, la calificación o la recomendación, y quién respondía por ella.
2. ¿Qué significa ahora? Describa el proceso actual en lenguaje sencillo. Si las dos descripciones no coinciden, hay que avisarle a quien depende de la señal.
3. ¿Quién responde por la validez de la señal? Nombre a una persona, no a un equipo ni a un proveedor, dueña del reentrenamiento, de vigilar desviaciones y de decidir cuándo dejar de confiar en el resultado.
4. ¿Qué autoridad tiene realmente quien revisa? Verifique si la persona que recibe el resultado puede contradecirlo sin castigo, y si el tiempo y los indicadores se lo permiten.

También conviene escuchar la frase misma. Cuando “el tablero estaba en verde” o “la IA lo recomendó” aparece en una revisión o en un reporte de incidente, no prueba que algo saliera mal. Puede describir un proceso sano. También puede revelar que la responsabilidad se movió sin que nadie lo dijera. En ambos casos merece una pregunta más.

Preguntas frecuentes

¿Qué es el sesgo de automatización en las organizaciones? Es la tendencia a aceptar el resultado de un sistema con menos escrutinio del que recibiría el mismo juicio de una persona. En las organizaciones es sobre todo estructural: los flujos, los indicadores y las interfaces hacen que estar de acuerdo sea rápido y cuestionar sea costoso, y la gente cede aunque tenga dudas.

¿Cómo se reduce el sesgo de automatización en decisiones asistidas por IA? Dé a quien revisa autoridad real para contradecir el sistema, proteja el tiempo para ejercerla y mida la calidad del juicio además de la velocidad. Nombre a un responsable de la validez de cada modelo, revise qué significa cada señal tras automatizarla y exija razones, no solo aprobaciones.

¿Quién responde cuando un tablero de IA está equivocado? La rendición de cuentas sigue en la organización y en los directivos que decidieron confiar en la señal. En la práctica, una persona con nombre debe ser dueña de la validez del modelo. Sin ella, la responsabilidad le cae a quien esté más cerca cuando aparece la falla, que casi nunca es quien pudo evitarla.

¿Está mal confiar en las recomendaciones de la IA? No. La confianza es adecuada cuando se fijó deliberadamente: el resultado se validó para el contexto actual, alguien responde por mantenerlo válido y quien lo usa todavía puede cuestionarlo. El problema es la confianza heredada del formato de un resultado, no ganada por su historial.

---

Los consejos y equipos directivos que quieran ubicar dónde la IA heredó autoridad en silencio dentro de su organización pueden iniciar una conversación con Anker Bioss sobre cómo gobernar el juicio y la rendición de cuentas en el trabajo moldeado por la IA. Lecturas relacionadas: El punto de dependencia y Autor, no aprobador.

Jose J. Ruiz es CEO y Managing Partner de Alder Koten y Presidente del Consejo de Anker Bioss. Desarrolla estas ideas a profundidad en AI in the Org Chart: A Leadership Guide to Implementing AI Without Losing Human Judgment, Accountability, and Trust, publicado por Elavant Press y disponible en Amazon.