La aprobación no es juicio: registros de decisión para el trabajo con IA

Una bitácora de auditoría puede estar completa y no explicar nada. En el trabajo asistido por IA, los registros de decisión capturan cada vez con más precisión firmas, fechas y aprobaciones, pero no conservan el razonamiento que hacía defendible la decisión, porque la justificación la redactó un sistema y alguien la aceptó sin dejar por escrito por qué.

Esa brecha suele pasar inadvertida hasta que alguien de fuera hace una pregunta sencilla sobre una decisión tomada hace tiempo. A continuación se revisa por qué los registros convencionales no pasan esa prueba, la diferencia entre una bitácora de auditoría y un rastro de juicio, qué contiene en realidad un registro de decisión con juicio, y cómo pueden exigirlo los responsables de cumplimiento, calidad y auditoría interna sin llenar a la organización de trámites.

¿Por qué la bitácora de auditoría no explica las decisiones asistidas por IA?

La bitácora de auditoría prueba que el proceso ocurrió. Muestra quién abrió qué documento, cuándo, durante cuánto tiempo y bajo qué versión de qué procedimiento. En industrias reguladas suelen ser excelentes, y las organizaciones tienen razón en sentirse orgullosas de ellas.

Pero la bitácora responde la pregunta del auditor: ¿siguieron su procedimiento? No responde la más difícil, la que tarde o temprano hacen reguladores, tribunales, consejos y clientes afectados: cuando su herramienta les dijo que no había de qué preocuparse, ¿por qué le creyeron?

Antes de la IA, el propio trabajo llenaba en parte ese hueco. Alguien tenía que redactar la evaluación, y el borrador conservaba huellas de su razonamiento: qué destacó, qué señaló, qué dejó abierto. Cuando un sistema redacta la evaluación, el documento sigue pareciendo razonado. Tiene conclusión, datos de soporte y recomendación. Lo que ya no tiene es evidencia de que una persona lo haya ponderado. El expediente conserva el borrador y la aprobación con la misma fidelidad, y nada en medio, porque nunca se pidió nada en medio.

¿Cómo se ve una decisión sin juicio registrado?

Pensemos en un caso compuesto en una empresa fabricante de dispositivos médicos. Una revisión mensual de poscomercialización analiza una tendencia creciente de quejas sobre una línea de producto. Un módulo de IA lee los relatos de las quejas, los codifica en categorías, los pondera contra los volúmenes de embarque y redacta una evaluación de dos páginas: la tasa está dentro del rango histórico, las muestras devueltas pasaron las pruebas y ninguna categoría de queja muestra tendencia. Recomendación: mantener el monitoreo de rutina. El punto toma nueve minutos. Firman cinco revisores.

Un año después, tras un incidente grave y un retiro de producto, el regulador pide a la empresa explicar el fundamento de esa decisión. No presentarla, eso toma una hora. Explicarla. Cada cifra de la evaluación resulta correcta. Cada firma es válida. Y nadie de los que firmaron puede reconstruir por qué estuvo de acuerdo. La respuesta honesta de quien presidió es que nada en la carpeta le dio una razón para no estarlo.

En algún punto del flujo, una analista de quejas varios niveles abajo había notado que los relatos, leídos en orden, sonaban a un solo problema descrito con palabras distintas. Escribió una nota en el campo de clasificación. La siguiente versión de la evaluación absorbió los mismos datos y reportó, con exactitud, que todas las categorías seguían dentro de rango. Nadie rechazó su inquietud. Simplemente no dejó huella en el registro de la decisión. La minuta decía: “Se discutió. Se acepta la recomendación.”

¿Cuál es la diferencia entre una bitácora de auditoría y un rastro de juicio?

Un rastro de juicio es la prueba de que alguien se hizo dueño de la decisión. No de que estuvo de acuerdo, eso ya lo establece la firma, sino de por qué. Es el registro que permite a un lector, meses o años después, ver que había una mente presente cuando se decidió.

La distinción pesa sobre todo en el trabajo asistido por IA, porque el resultado del sistema puede ser exacto en cada detalle y aun así no bastar para decidir. Un comité de revisión puede actuar con diligencia, con la atención que permite la tarde, con una herramienta cuyas cifras son correctas, y dejar un registro en el que la propiedad de la decisión solo existe en el papel. Y una propiedad que no deja huella es, después, indistinguible de una propiedad que nunca se asumió.

Aquí es donde la autoría humana se encuentra con el registro. En el Segundo Mapa del Trabajo, la Dependencia es el punto en que alguien empieza a actuar como si el resultado fuera confiable, y la Consecuencia es donde el trabajo aterriza en una persona. Un rastro de juicio registra lo que ocurrió entre esos dos puntos: qué aportó la persona al resultado, de qué dudó y por qué decidió apoyarse en él de todos modos.

¿Qué debe contener un registro de decisión con juicio?

Puede ser más pequeño de lo que la mayoría de las organizaciones imagina. Un diseño funcional usa cuatro entradas, escritas por la persona responsable de la decisión, con sus propias palabras, antes de aplicar cualquier firma:

Qué consideramos. La conclusión de la herramienta y todo lo que se puso sobre la mesa más allá de ella: otros datos, observaciones de campo, la inquietud de un colega.

De qué seguimos sin estar seguros. Las preguntas abiertas alrededor de las cuales se toma la decisión, incluidas las que cambiarían la respuesta si se resolvieran de otro modo.

Quién cuestionó la conclusión y qué pasó con ese cuestionamiento. Cada cuestionamiento lleva un nombre y solo puede cerrarlo una persona identificada que dé una razón. Responder a la duda se vuelve una responsabilidad, no algo que el sistema resuelve de paso.

Por qué estoy de acuerdo. La frase que quien decide estaría dispuesto a leer en voz alta un año después ante un regulador, un tribunal o la persona afectada.

La tercera entrada es la más exigente. Es la que habría mantenido en la sala la nota de la analista, con su nombre, hasta que alguien la respondiera. Si la respuesta es “lo revisamos y las pruebas no lo respaldan”, es válida. Es un juicio con dueño. Lo que deja de ser aceptable es una duda que se disuelve sin dejar rastro.

¿Cómo exigir rastros de juicio sin agregar burocracia?

El primer reflejo de casi cualquier organización es crear una plantilla. Conviene resistirlo. Una plantilla invita a la frase copiada, y “consistente con datos previos” en el campo de por qué estoy de acuerdo no es más que una firma convertida en oración.

Aplicarlo donde las consecuencias viajan. Un rastro de juicio en todo es un rastro de juicio en nada. Hay que reservar las cuatro entradas para decisiones cuyas consecuencias pueden llegar a un paciente, un cliente, un colaborador o un regulador antes de que alguien las vuelva a revisar. Los registros de rutina pueden quedarse como están.

Escribir antes de firmar, no después. Las entradas no documentan una decisión ya tomada. Son el lugar donde la decisión se toma. Quien preside y tiene que escribir por qué está de acuerdo a veces descubre, con la reunión todavía en curso, que aún no lo sabe.

Esperar que las primeras semanas sean torpes. La gente llena los campos nuevos como llena cualquier campo: con relleno, o con extensión confundida con rigor. Hay que revisar las entradas, dar retroalimentación y acotar el alcance antes de abandonar la práctica.

Abrir el registro a quienes están más cerca de los datos. Analistas, revisores y personal de primera línea suelen ver el patrón primero. El registro debe conservar sus observaciones con su nombre, no solo sus clics.

Probarlo como lo haría alguien de fuera. Auditoría interna puede tomar una decisión relevante de hace un año y preguntar: ¿podríamos explicar no solo lo que concluyó la herramienta, sino por qué una persona estuvo de acuerdo? Si la respuesta es no, el registro se diseñó para la aprobación, no para el juicio.

Como lo dice un personaje de un libro reciente: “The rest of the file proves the process ran. These four lines prove a person was in it.” (El resto del expediente prueba que el proceso ocurrió; estas cuatro líneas prueban que una persona estuvo ahí.)

Preguntas frecuentes

¿Qué es un rastro de juicio en el gobierno de la IA? Es un registro que muestra por qué una persona estuvo de acuerdo con una recomendación asistida por IA, no solo que la aprobó. Recoge lo que se consideró más allá del resultado de la herramienta, lo que seguía incierto, quién cuestionó la conclusión y cómo se respondió, y las razones propias de quien decide, escritas antes de firmar.

¿En qué se diferencia un rastro de juicio de una bitácora de auditoría? La bitácora de auditoría prueba que el proceso ocurrió: quién tocó qué documento, cuándo y bajo qué procedimiento. El rastro de juicio prueba que alguien se hizo dueño de la decisión y puede explicar por qué. La primera responde si se siguió el procedimiento; el segundo, si los responsables realmente ejercieron juicio cuando la IA influyó en el resultado.

¿Qué decisiones requieren una justificación documentada cuando interviene la IA? Las decisiones cuyas consecuencias pueden llegar a un paciente, un cliente, un colaborador o un regulador antes de una segunda revisión. Revisiones de seguridad de producto, decisiones de crédito y siniestros, contrataciones y bajas, y clasificaciones de riesgo relevantes son ejemplos típicos. Exigirlo en cada decisión de rutina lo diluye y convierte las entradas en relleno.

¿Cómo documentar la supervisión humana de decisiones con IA ante un regulador? Hay que registrar, con las palabras de quien decide y antes de la firma, qué se consideró más allá del resultado de la IA, qué seguía incierto, qué cuestionamientos surgieron y cómo los resolvió una persona identificada, y por qué estuvo de acuerdo. Los reguladores piden cada vez más el fundamento de una decisión, no solo la prueba de que se aprobó.

---

Los responsables de cumplimiento, calidad y auditoría interna que estén rediseñando cómo se registran las decisiones asistidas por IA pueden iniciar una conversación. Anker Bioss asesora a las organizaciones en el gobierno del juicio en el trabajo mediado por IA. Lectura relacionada: Autor, no aprobador: rediseñar al humano en el circuito.

Jose J. Ruiz es CEO y Managing Partner de Alder Koten y Presidente del Consejo de Anker Bioss. Desarrolla estas ideas a profundidad en AI in the Org Chart: A Leadership Guide to Implementing AI Without Losing Human Judgment, Accountability, and Trust, publicado por Elavant Press y disponible en Amazon.