Oded Balaban

Cada vez que decimos “lo decidió el algoritmo”, una decisión humana —y su responsable— se vuelven invisibles.

Oded Balaban — University of Haifa — balaban@research.haifa.ac.il

Hay una frase que se repite en cada vez más lugares, y que hace siempre el mismo truco de magia: “lo decidió el algoritmo”. La escuchamos cuando un banco niega un crédito, cuando un programa descarta un currículum sin que ningún ojo humano lo lea, cuando un tribunal fija una fianza según un “puntaje de riesgo”, cuando un Estado acusa a miles de familias de fraude porque un sistema automático las marcó. Y la escuchamos, cada vez más, en la guerra. Escribo desde Medio Oriente, donde los drones son parte del cielo cotidiano y donde ya se emplean sistemas de inteligencia artificial que ayudan a elegir a quién vigilar y a quién atacar. En todos los casos el truco es el mismo: se toma una decisión humana, y su autor desaparece.

Empecemos por el verbo que lo sostiene todo: “decidir”. Se dice que el sistema “eligió”. Pero elegir, para una máquina, no es decidir: es ejecutar una regla. Si tal patrón aparece, entonces tal acción. El “si” y el “entonces” los escribió una persona; la máquina apenas completa la última variable. Rellenar el hueco de una regla que otro redactó no es tomar una decisión: es la regla funcionando. Al que esa regla deja sin crédito, sin empleo, sin libertad o sin vida, no lo condenó una inteligencia que resolvió condenarlo. Lo condenó una regla, y las reglas tienen autor.

Se responde: pero nadie programó el sistema contra esa persona en particular; no había un nombre. Es cierto, y no cambia nada. Un general que ordena “disparen a todo el que cruce ese puente” tampoco pronuncia un nombre, y a nadie se le ocurre decir que no intervino en esas muertes. No nombrar a la víctima no es la ausencia de una decisión: es una decisión de otra clase —una orden general—⁠. Delegar el último paso en una máquina cambia el mecanismo, no el autor.

Detrás de todo esto hay una confusión más honda: la que le presta a la máquina un alma que no tiene. Decidir, querer, despertar son cosas de un ser que tiene algo en juego. La máquina no tiene nada en juego. No valora nada, no teme nada, no desea nada; por eso no puede ni obedecer por lealtad ni rebelarse por voluntad. Es una herramienta —velocísima, literal, pero herramienta—⁠. Una mina antipersonal también “actúa sin control humano”: espera, y mata al que la pisa. Nunca le atribuimos un alma a la mina; culpamos al que la enterró. El sistema autónomo es una mina más inteligente: su inteligencia está en apuntar, no en querer.

Por qué importa tanto insistir. Porque el relato de la máquina que “decide” dirige nuestra atención hacia el aparato y la aparta del único lugar donde vive el responsable: la persona que lo diseñó, lo entrenó y lo soltó. “Fue el algoritmo” es la coartada perfecta. La autonomía de la máquina se vuelve un cortafuegos moral: si la máquina decidió, ningún humano decidió, y no hay a quién juzgar. Esa —y no el robot con voluntad propia— es la verdadera distopía: seres humanos que dañan, excluyen o matan y que, por haberle entregado el último paso a un programa, quedan, y se sienten, inocentes. Lo nuevo no es una voluntad en la máquina; es la disolución industrial de la responsabilidad humana.

Hay una vuelta final, incómoda. Cuando la máquina arroja un resultado monstruoso, retrocedemos como si hubiera asomado una mente oscura. Pero lo que asoma es la nuestra: fue entrenada con nosotros, ejecuta nuestras especificaciones, devuelve nuestros criterios sin el filtro que una persona con conciencia les pondría. El horror que atribuimos a su despertar es el de nuestros propios propósitos, amplificados y sin freno. La máquina no sueña con dañarnos. No sueña. Solo hace, con obediencia sin juicio, exactamente lo que le pedimos.

De modo que sí: hay razones para temer a estas máquinas. Pero hay que nombrar bien el miedo. El peligro no es que la máquina quiera; es que hará sin querer —exacta, incansable, barata—⁠, lo que sea que un ser humano le especifique, mientras todos señalan al aparato y nadie a sí mismo. No miremos al cielo, ni a la pantalla, buscando un sujeto que despierta. Miremos la mano que escribió la regla y oprimió el botón. El responsable nunca estuvo en la máquina. Estaba, como siempre, entre nosotros.