Cuando el sistema decide, ¿quién responde?

El 14 de febrero de 2024, un tribunal de British Columbia dictó una sentencia que debería estar enmarcada en cada comité de auditoría. Jake Moffatt, un pasajero que acababa de perder a su abuela, consultó al chatbot de Air Canada sobre tarifas de duelo y el sistema le prometió un reembolso retroactivo que la política de la compañía no contemplaba. La aerolínea se negó a pagarlo: el chatbot, alegó, era «una entidad separada responsable por sus propios actos». El tribunal ordenó honrar lo prometido. El monto era trivial, 812 dólares canadienses; el principio no lo es. Una empresa responde por lo que dice su sistema de IA igual que por lo que dice un empleado. Primer precedente explícito en una jurisdicción occidental. No será el último.

En los últimos años he tenido versiones de la misma conversación con ejecutivos financieros e industriales. Llegan con una pregunta que consideran urgente: ¿cuáles son los riesgos de adoptar IA? Mencionan sesgos en los datos, exposición regulatoria, dependencia de proveedores, impacto en el empleo. Preocupaciones legítimas. Pero casi nunca formulan la más profunda: que su organización empiece a delegar el juicio sin darse cuenta.

La urgencia no es solo conceptual. Según el State of AI 2024 de McKinsey, la proporción de empresas con uso regular de IA generativa casi se duplicó en 12 meses; encuestas de KPMG, Deloitte y BCG muestran que solo una minoría tiene marcos formales de gobernanza. En esa brecha ocurren los errores más costosos.

Ese riesgo no tiene nombre en los marcos de gestión de riesgo tecnológico ni aparece en los informes de auditoría, y es el que más determina cómo se gobierna una organización. Su origen es una confusión sobre qué es la inteligencia: la IA contemporánea no es una versión más rápida de la humana, sino una forma estructuralmente distinta de operación. Confundirlas es el error estratégico que define, en silencio, cómo se gobierna una generación de empresas.

El desplazamiento que nadie votó

Considere a un analista senior de una empresa de inversión: 12 años construyendo criterio sobre un sector. Conoce los ciclos, los actores, los momentos en que los números mienten. Ese conocimiento no está en ninguna base de datos: está sedimentado en él a través de experiencia con consecuencias reales. Hoy dispone de un modelo que sintetiza el mercado en segundos y la organización, razonablemente, le cede el análisis de primer nivel. Hasta ahí, todo correcto. El problema llega cuando empieza a tratar lo que produce el modelo como si tuviera la misma autoridad epistémica que el criterio del analista: cuando el sistema anuncia señales de recuperación y nadie pregunta cómo llegó ahí. Eso ya no es una decisión operativa: es un desplazamiento en la definición de inteligencia, de facultad de juicio a capacidad de producir resultados observables.

Por qué el lenguaje engaña especialmente bien

Con otras tecnologías, la distancia entre operación y comprensión es visible: nadie confunde una hoja de cálculo con un contador ni un escáner con un radiólogo. Pero la IA generativa se expresa en lenguaje natural, y conversa, argumenta y redacta con una fluidez que desarma las intuiciones.

Los modelos de lenguaje operan sobre la forma del lenguaje (sintaxis), no sobre su significado (semántica). Aprenden correlaciones estadísticas en cantidades de texto que ningún ser humano leería en varias vidas, y lo que producen resulta extraordinariamente plausible. Es el cuarto chino de John Searle a escala industrial: un operador puede manipular símbolos siguiendo reglas formales y producir respuestas correctas sin entender una palabra. Lo más difícil de sostener en la práctica es que la ilusión de comprensión no la produce el sistema: la producimos nosotros, al atribuir propósito a salidas que, para el modelo, carecen de referencia al mundo.

El caso Mata v. Avianca (Nueva York, 2023) lo mostró con consecuencias profesionales: un abogado experimentado presentó al tribunal un escrito con seis citas jurisprudenciales fabricadas por ChatGPT, impecables en la forma, con números de expediente y citas textuales de apariencia irreprochable. Ninguno de los casos existía. Lo que falló no fue el sistema, que hizo aquello para lo que estaba diseñado, sino el supuesto de que plausibilidad y verdad eran la misma cosa.

El problema no es el error: es el tipo de error

La crítica a la IA no es que se equivoque con frecuencia; bajo condiciones bien definidas se equivoca menos que un ser humano. La crítica es el tipo de error. Pensemos en una institución financiera que usa IA para apoyar decisiones de crédito: el modelo puede ser estadísticamente impecable y no «saber» que la empresa solicitante atraviesa una transición generacional en su directorio o que su historial de pagos refleja una crisis puntual ya superada. Esos factores no son invisibles: están en documentos, en conversaciones, en el contexto institucional. Pero no están en los datos que el modelo procesa.

La organización que trata la recomendación del modelo como una decisión, y no como un insumo para una decisión, no está siendo más eficiente. Está transfiriendo responsabilidad sin transferir comprensión.

El analista experimentado incorpora esos factores sin esfuerzo porque su comprensión del negocio es encarnada. Repetida en miles de decisiones medianas, esa transferencia de responsabilidad sin comprensión produce algo que ningún directorio aprobaría explícitamente: una organización que ha externalizado su juicio.

La trampa de la Zona 2: una distinción que los líderes pueden usar

En mi trabajo con organizaciones financieras e industriales, el patrón más frecuente no es que la IA se use mal en decisiones claramente estratégicas, donde la cautela suele existir, sino en la zona intermedia: decisiones que parecen rutinarias y no lo son. La pregunta útil no es «¿debemos usar IA para decidir?» sino «¿qué tipo de decisión es esta?». Cruce dos dimensiones, cuán estructurado está el problema y cuánto importa el contexto, y obtendrá cuatro zonas con reglas distintas (ver figura 1).

Cuando el problema está bien estructurado y el contexto importa poco (clasificar transacciones, detectar anomalías, procesar formularios), la IA no solo puede decidir: probablemente debe hacerlo. Es más rápida, más uniforme y menos propensa al error de fatiga que un ser humano en volumen. Es la Zona 1, donde automatizar es genuinamente correcto.

Cuando el problema está bien estructurado pero el contexto importa, la IA es un insumo valioso y la decisión requiere un ser humano que entienda lo que el modelo no ve: una evaluación de desempeño en pleno cambio organizacional, un crédito en un sector en transición, un diagnóstico en un paciente atípico. El error más frecuente es tratar la respuesta del sistema como si ya fuera la decisión. Es la Zona 2.

Cuando el problema está mal estructurado (una fusión, un giro estratégico, una crisis reputacional), la IA ayuda a explorar opciones, pero no reemplaza el juicio. No porque falle técnicamente, sino porque ese tipo de decisión exige a alguien capaz de responder por los fines elegidos, no solo por los medios ejecutados. Es la Zona 3, y es la distinción decisiva: hay decisiones que requieren responsabilidad moral, alguien que pueda mirar a los afectados y decir «esto lo decidí yo, con la información que tenía, y asumo las consecuencias». Esa capacidad no es delegable.

Queda el reverso: problema mal estructurado y contexto poco relevante. Son tareas abiertas y de bajo riesgo, como explorar escenarios sin forma o generar borradores, donde la IA sirve para abrir posibilidades y no para cerrar decisiones. Es la Zona 4, y su regla es simple: lo que produce el sistema es materia prima, no veredicto.

La Zona 2 merece nombre propio, porque ahí se concentra el error organizacional: la trampa de la Zona 2. Se llama trampa porque se siente como Zona 1, con insumos definidos y resultados binarios que invitan a automatizar, mientras los costos del error se acumulan de manera invisible hasta que estalla un caso público.

Tres preguntas diagnósticas permiten distinguir, antes de delegar, si una decisión es Zona 1 o Zona 2:

1. Si esta decisión sale mal, ¿necesita la organización ser capaz de explicarla a un afectado, a un regulador o a un tribunal?

Si la respuesta es sí, es Zona 2 como mínimo.

2. ¿Existen variables relevantes que no están en los datos que el modelo procesa?

Si la respuesta es sí, es Zona 2.

3. ¿La distribución de casos que el modelo ve hoy se parece a la que verá en los próximos 12 meses?

Si la respuesta es no o «no estoy seguro», es Zona 2.

Cualquier «sí» o «no estoy seguro» ubica la decisión en la Zona 2 y prohíbe tratarla con la lógica de la Zona 1.

La IA no solo decide: redefine lo que se decide

El filósofo Luciano Floridi ha mostrado que la revolución digital no añade herramientas a un mundo estable: transforma el entorno. Un sistema de evaluación de desempeño no mide una realidad preexistente: la produce, y al producirla modifica la conducta de quienes saben que serán medidos por él. De ahí una consecuencia que rara vez aparece en los análisis de riesgo: cuando todas las empresas de un sector consultan los mismos modelos, todas ven las mismas señales con los mismos pesos implícitos. Eso no es pensar mejor. Es pensar igual, más rápido y con menos fricción. Y bajo alta incertidumbre la ausencia de fricción no es una virtud: es un riesgo que solo se vuelve visible cuando la crisis que todos los modelos descartaron ya ocurrió.

El problema de la responsabilidad que se evapora

Cuando un sistema de IA produce un resultado erróneo o injusto, ¿quién responde? La dificultad no es accidental: es estructural. El despliegue distribuye causalidad entre diseñadores, dueños de datos, operadores, instituciones usuarias y reguladores. Cuando «el sistema decidió», nadie niega la responsabilidad: simplemente nadie la reclama con precisión.

Tres episodios públicos lo ilustran. En Apple Card / Goldman Sachs (2019), el algoritmo asignó a la esposa de un usuario un límite de crédito 20 veces menor pese a un historial mejor, y el regulador neoyorquino terminó criticando que la institución no supiera explicar cómo fijaba los límites. En Zillow Offers (2021), un modelo de precios falló al cambiar la distribución de datos pospandemia: 304 millones de dólares de desvalorización en un trimestre. En el Toeslagenaffaire neerlandés (2013-2021), un algoritmo de fraude fiscal acusó erróneamente a unas 26.000 familias y le costó el cargo al gobierno de Mark Rutte. En los tres, las firmas estaban y los procesos se cumplieron. Cuando llegó la pregunta por quién había decidido, la respuesta se evaporó entre eslabones.

Los problemas de la IA no son solo técnicos: son epistemológicos y normativos. Un sistema puede cumplir sus métricas de diseño y fallar exactamente en las dimensiones que más importan a los afectados. El riesgo no es solo reputacional: es institucional. Una empresa que delega decisiones de alta consecuencia sin mecanismos robustos de rendición de cuentas no está siendo ágil. Está acumulando una fragilidad que se volverá costosa cuando algo salga mal. Y algo siempre sale mal.

El human in the loop que no decide nada

Aquí surge un riesgo más sutil que la ausencia de supervisión: la que existe en el papel y no en la práctica. Muchas regulaciones, del AI Act europeo a las orientaciones que la CMF desarrolla en Chile, exigen un ser humano en los procesos críticos. Pero esa presencia no garantiza responsabilidad si la persona carece de autoridad real, tiempo, información adecuada o capacidad de contradecir al sistema.

Esto es particularmente relevante en América Latina. El peso de los grupos económicos familiares, la concentración accionaria y la velocidad con que se adopta tecnología de proveedores globales producen una combinación específica: gobiernos corporativos alineados con las buenas prácticas internacionales, pero sin capacidad técnica para auditar lo que esos modelos hacen. El human in the loop regulatorio convive con un board out of the loop técnico, y esa brecha es donde ocurrirán las próximas crisis reputacionales de la región.

El sesgo de automatización está bien documentado: confiamos en exceso en sistemas técnicamente prestigiosos, sobre todo cuando el contexto penaliza la demora. Un médico que revisa 50 alertas algorítmicas en una hora no ejerce juicio clínico sobre 50 casos: administra un flujo. Un comité que aprueba créditos según un puntaje que no entiende no supervisa el sistema: lo legitima.

El human in the loop puede convertirse fácilmente en un ritual de validación. La firma está. El juicio no. El reto no es incluir seres humanos en los circuitos de decisión, sino diseñar condiciones para que ejerzan juicio de verdad: con tiempo, con información contrastada, con autoridad para disentir y, esto es lo que más se olvida, con incentivos que no castiguen la prudencia. Una organización que premia la velocidad de aprobación y no la calidad de la revisión selecciona contra el juicio que dice preservar.

La amenaza más profunda no es la sustitución: es la atrofia

Hay un riesgo que no figura en ningún informe operativo y que puede ser el más significativo a largo plazo: el debilitamiento gradual de las capacidades de juicio que hacen posible el liderazgo.

No ocurre de golpe, sino por acumulación de pequeñas comodidades. El ejecutivo que antes elaboraba su propio análisis llega con el resumen del modelo. El equipo que deliberaba sobre una hipótesis refina la que propuso el sistema. El director que formulaba la pregunta estratégica evalúa las opciones que el modelo generó. Cada movimiento es razonable por separado; acumulados, producen algo que nadie eligió.

Shannon Vallor lo ha formulado con precisión: las tecnologías no solo exigen reglas, moldean hábitos. Y los que más se necesitan bajo incertidumbre, tolerancia a la ambigüedad y capacidad de sostener criterio propio frente al consenso algorítmico, son los que la comodidad de los sistemas bien calibrados vuelve innecesarios.

La pregunta que debería hacerse cualquier organización no es solo «¿qué hace la IA por nosotros?». Es la más difícil: «¿qué dejamos de saber hacer?».

La ventaja competitiva no estará donde todos creen

En un escenario donde los modelos son cada vez más accesibles y homogéneos entre competidores, la diferenciación no vendrá de la adopción sino de la calidad del juicio con que se usan, y eso depende de algo que ningún proveedor puede vender. Se construye en dos lugares. El primero es el talento: la escasez real no será de gente que sepa usar herramientas, sino de personas capaces de formular las preguntas correctas y responder por las conclusiones, algo que no se aprende usando IA sino practicando juicio con consecuencias reales. El segundo es la secuencia de los procesos: la mayoría de las organizaciones hace que el ser humano llegue al final, a validar lo que el sistema propone. Debería llegar con una lectura propia ya formada.

Cinco preguntas para el próximo directorio

Antes de aprobar la próxima inversión en IA, cinco preguntas separan a las organizaciones que conservarán el juicio de las que lo están externalizando sin saberlo.

1. ¿En qué zona está esta decisión?

Si la respuesta es Zona 2 y el diseño la trata como Zona 1, hay un error de gobernanza, no de tecnología. Corríjalo antes del despliegue.

2.¿Quién, con nombre y apellido, responde por el resultado?

Si la respuesta es «el sistema», «el comité» o «el proceso», la responsabilidad se ha evaporado. Reconstrúyala antes de operar.

3. ¿La persona en el circuito tiene tiempo, información y autoridad para discrepar?

Si no, no es un human in the loop: es un ritual de validación.

4. ¿Qué músculo cognitivo estamos dejando de ejercitar?

La pregunta dual a «¿qué nos ahorra la IA?» es «¿qué dejamos de saber hacer?». Las dos respuestas deben revisarse al mismo tiempo.

5. ¿Estamos pensando igual que nuestros competidores?

Si todos consultan al mismo modelo antes de decidir, la diversidad epistémica del sector se está erosionando. Eso no aparece en el panel de indicadores del trimestre: aparece en la próxima crisis.

La pregunta que nadie quiere hacerse

Durante años, el debate sobre inteligencia artificial giró en torno a una pregunta: ¿llegarán las máquinas a pensar de verdad? Para el management ya no es la relevante. La decisiva es más incómoda: ¿están las organizaciones perdiendo la capacidad de pensar por sí mismas mientras la delegan en sistemas que no piensan?

La amenaza más profunda no es la sustitución repentina del juicio humano. Es su progresiva irrelevancia: el proceso lento y sin drama por el cual las organizaciones rediseñan su arquitectura de decisión hasta que el juicio deja de ser necesario, antes de que nadie haya decidido que debía dejar de serlo.

Lo que está en juego no es la supervivencia de un rol ni la resistencia a una tecnología. Es la capacidad de una organización de responder por sus decisiones. De entender por qué eligió lo que eligió. De mirar hacia atrás, después de un error, y aprender algo que no estaba en los datos.

La ventaja competitiva no estará en la inteligencia artificial. Estará en las organizaciones que hayan tenido la disciplina de no confundirla con la propia.

Acerca del autor

Álvaro Pezoa es director del Centro de Ética y Sostenibilidad Empresarial y profesor titular del área de Liderazgo y Ética del ESE Business School (Universidad de los Andes), donde también dirige la Formación Integral. Doctor en filosofía y máster en artes liberales por la Universidad de Navarra, es magíster en ciencia política por la Universidad de Chile e ingeniero comercial. Ha sido profesor visitante en la Graduate School of Business de Stanford, en el Markkula Center for Applied Ethics de Santa Clara University y en el W. Michael Hoffman Center for Business Ethics de Bentley University, donde es research fellow. Autor de Política y Economía en el Pensamiento de John Locke y de otros libros y artículos sobre ética empresarial y filosofía política, su trabajo se centra en la dimensión ética de la empresa y el liderazgo.

Acerca de el autor

Álvaro Pezoa

Álvaro Pezoa es director del Centro de Ética y Sostenibilidad Empresarial y profesor titular del área de Liderazgo y Ética del ESE Business School (Universidad de los Andes), donde también dirige la Formación Integral. Doctor en filosofía y máster en artes liberales por la Universidad de Navarra, es magíster en ciencia política por la Universidad de Chile e ingeniero comercial. Ha sido profesor visitante en la Graduate School of Business de Stanford, en el Markkula Center for Applied Ethics de Santa Clara University y en el W. Michael Hoffman Center for Business Ethics de Bentley University, donde es research fellow. Autor de Política y Economía en el Pensamiento de John Locke y de otros libros y artículos sobre ética empresarial y filosofía política, su trabajo se centra en la dimensión ética de la empresa y el liderazgo.

Todos sus artículos →  ·  Perfil en el ESE ↗