Oded Balaban

Diez objeciones a “El miedo y el espejo”, y sus respuestas

Oded Balaban — University of Haifa — balaban@research.haifa.ac.il

Estas páginas exponen las ideas de un libro que estoy escribiendo, “El miedo y el espejo”, enfrentándolas a un interlocutor que cree en serio en el peligro de la inteligencia artificial. El amigo es imaginario; sus argumentos no lo son. Todos están hoy en boga y todos tienen autor, y los nombro a medida que aparecen: no discuto con versiones débiles ni con exageraciones de sobremesa, sino con lo que sostienen quienes más autoridad tienen para sostenerlo. Las preguntas, además, no son de nadie más: son mías contra mí. Me las hice buscando en cada caso la forma más dura que se me ocurrió, porque una objeción mal planteada no defiende un libro, lo entierra. En una de las diez, el lector verá que concedo más de lo que refuto. Está puesta a propósito. Me inspiro en conversaciones reales que sostuve últimamente con amigos.

1. “Ya entienden, y lo dice el que las construyó”

EL AMIGO

Empiezo por lo que más me impresiona, que no es un filósofo sino un ingeniero. Geoffrey Hinton pasó cincuenta años construyendo estas redes, ganó el premio que se gana por eso, y a los setenta y cinco cambió de opinión y renunció a su trabajo para poder decirlo: estas cosas entienden de verdad. No lo dice como metáfora. Sostiene que el modo en que representan el significado es el mismo modo en que lo representamos nosotros, porque para eso las diseñó, a imagen de lo que creía que hacía el cerebro.

Y agrega algo que a mí me quita el sueño más que cualquier argumento filosófico. Dice que la inteligencia digital es superior a la biológica por una razón concreta y verificable: mil copias del mismo modelo pueden aprender cosas distintas al mismo tiempo y después compartir lo aprendido promediando sus pesos. Ningún cerebro puede hacer eso. Yo tardé cuarenta años en aprender lo que sé y me lo voy a llevar a la tumba. Ellas no.

Contra eso, ¿qué vale decir que no hay nadie adentro?

YO

Vale exactamente lo que voy a decir, y empiezo por lo que te concedo.

Te concedo la autoridad. Hinton sabe de esto más que yo y más que vos, y su cambio de opinión es honesto y costoso, que es la clase de cambio de opinión que hay que tomar en serio. Y le concedo el hecho: es verdad que pueden promediar pesos, y es verdad que nosotros no.

Pero mirá lo que estás usando como prueba, porque es lo contrario de una prueba. Vos y yo no podemos fundir nuestras convicciones promediándolas. Y eso no es una limitación de la biología que la ingeniería vaya a corregir: es lo que significa tener una convicción. Una creencia es de alguien; lo compromete, la sostiene contra objeciones, responde por ella, puede avergonzarse de haberla tenido. Dos personas no promedian sus creencias: discuten, y una cede, o ninguna. Aquello que sí se deja promediar con lo de otro nunca fue de nadie. De modo que la superioridad que Hinton describe es real, y es la superioridad de un medio de almacenamiento, no la de una mente. Es la ventaja del archivo sobre la memoria, y el archivo hace siglos que nos gana.

Y sobre el entender, hay que separar dos afirmaciones que él junta. Una es sobre el mecanismo: que representan el significado como nosotros. Aun concedida —y no está establecida—, hablaría del vehículo, no del acto. La otra es la que de veras importa: que entienden.

Y ahí hay que distinguir dos cosas que una misma palabra tapa, porque si no parece que yo estuviera negando lo evidente. Equivocarse, en un sentido, es producir una salida que no coincide con lo que se esperaba. En ese sentido la máquina se equivoca a cada rato, se lo mide desde afuera y se lo corrige ajustando parámetros. Pero estar equivocado es otra cosa: es haber sostenido algo como verdadero, haberse comprometido con ello, y descubrir después que no era así. Eso no es una discrepancia entre dos números: es algo que le pasa a alguien, y que le cambia algo —lo obliga a rehacer lo que creía, o a callarse, o a pedir disculpas—.

La máquina tiene el primer error en abundancia y no tiene el segundo, y no porque le falte precisión sino porque el segundo exige que la afirmación haya sido de alguien. Y entender pertenece a esa segunda familia: entiende el que puede haber entendido mal y darse cuenta. Por eso, cuando se dice que la máquina entiende, se está usando una palabra que solo tiene sentido donde puede haber un equivocado, y ahí no hay ninguno: hay salidas mejores y peores.

Fijate, por último, en cómo lo dice, porque el idioma delata: “ellas entienden”. En la frase ya está metido el sujeto que habría que probar. Es el mismo movimiento de siempre, y esta vez lo hace el mejor ingeniero del mundo, que es exactamente por lo que hay que mirarlo con cuidado y no con reverencia.

Y hay algo más, que encontré por casualidad y que vale más que toda mi discusión con él. En 1995, Hinton escribió el prólogo del manual que fundó técnicamente este campo, el Neural Networks for Pattern Recognition de Christopher Bishop. Y ahí dice esto: “Es señal de la creciente madurez del campo que métodos que alguna vez se justificaron con vagas apelaciones a sus cualidades neuronales puedan ahora recibir un fundamento estadístico sólido”.

Léelo dos veces. El mismo hombre que hoy sostiene que estas cosas entienden, llamaba hace treinta años vaga apelación a la analogía con la neurona, y ponía el fundamento serio en la estadística. Y el propio Bishop, en el prefacio, lo dice sin rodeos: la inspiración biológica de estos modelos es histórica, y “la perspectiva del reconocimiento estadístico de patrones ofrece una vía mucho más directa y fundada para muchos de esos mismos conceptos”. Es decir: el manual canónico del campo enseña que lo neuronal es decoración de origen y que la sustancia es cálculo sobre distribuciones.

Lo que cambió entre aquel prólogo y las declaraciones de ahora no es la naturaleza del aparato: es su potencia, y el vocabulario con que se lo cuenta. Cuando el mecanismo era modesto, se lo describía como lo que es. Cuando se volvió impresionante, volvió la palabra que él mismo había desaconsejado.

2. “Todo lo que dijeron que nunca pasaría, pasó”

EL AMIGO

Ahora el argumento que a mí me parece el más fuerte de todos, y que no es de nadie en particular porque es de la historia del campo.

Nadie programó estas máquinas para traducir, y traducen. Nadie las programó para razonar en pasos, y razonan en pasos. Nadie les enseñó a aprender de tres ejemplos puestos en la conversación, y aprenden. Todas esas capacidades aparecieron solas cuando los modelos se hicieron más grandes: no las diseñó nadie, emergieron. Y la historia entera de esta disciplina es una fila de gente respetable diciendo “la máquina nunca podrá” y quedando en ridículo tres años después.

Vos decís que la iniciativa de preguntar es distinta. Yo te pregunto: ¿por qué habría de serlo? ¿Qué te hace pensar que tu “nunca” va a envejecer mejor que los otros?

YO

Te concedo el registro histórico entero, sin descuento. La lista de humillaciones es real y yo no me quiero anotar en ella.

Pero mirá qué tienen en común todas esas capacidades emergentes, porque el patrón es notable y nadie lo señala. Traducir, encadenar pasos, aprender de tres ejemplos: las tres son maneras de recorrer mejor un espacio que ya estaba. El corpus contiene traducciones, contiene razonamientos escritos, contiene ejemplos. Lo que la escala consiguió fue extraer de ahí combinaciones que no habíamos sabido extraer. Es un logro enorme y no lo minimizo. Pero es un logro de búsqueda.

Y la distinción que propongo no es entre tareas difíciles y tareas fáciles —esa distinción sí la borra la escala, y por eso los que la usaron quedaron mal—. Es entre lo que tiene un criterio de éxito puesto desde afuera y lo que consiste en poner el criterio. Todo lo que se deja puntuar cae, y va a seguir cayendo, y cuanto antes lo aceptemos mejor. Lo que no cae no es una tarea más difícil: es aquello donde no hay puntaje porque lo que hay que hacer es abrir el marco en que un puntaje tendría sentido.

Y te doy el compromiso que corresponde, para que puedas usarlo contra mí. Si yo dijera “esta tarea concreta la máquina no la va a hacer nunca”, estaría haciendo una predicción empírica y probablemente me equivocaría, como se equivocaron todos. No lo digo. Digo algo sobre qué es preguntar. Si alguna vez me sorprendés diciendo lo primero, ganaste.

3. “El sustrato no importa, y vos lo sabés”

EL AMIGO

Vamos entonces a lo filosófico, que es tu terreno.

Lo que hoy piensa casi todo el mundo en este campo es que la mente es lo que el cerebro hace, no aquello de lo que el cerebro está hecho. Un estado mental se define por su papel: por lo que lo causa y por lo que causa. Y si se define por su papel, cualquier cosa que cumpla ese papel lo realiza. Neuronas, transistores, lo que sea. A eso se lo llama realizabilidad múltiple, y no es una excentricidad: es el suelo sobre el que se apoya media ciencia cognitiva.

Si vos negás eso, decime qué estás afirmando, porque desde afuera parece que estás diciendo que la carne tiene algo mágico que el silicio no tiene. Y eso es lo mismo que decían los que creían en el alma.

YO

Esa acusación sería justa si yo postulara un ingrediente, y por eso quiero contestarla con precisión, porque es donde más fácil se cae.

No estoy diciendo que la carne tenga nada. Al contrario: estoy de acuerdo con vos en que el sustrato no importa, y lo digo con las consecuencias. Ahí donde hoy cablean millones de neuronas humanas vivas a chips de silicio y lo venden como inteligencia biológica, mi respuesta es la misma que doy al silicio: cambia el soporte, no cambia nada. Una neurona en una placa está viva en sentido metabólico y no es un sujeto vivo: no tiene mundo, ni cuerpo propio, ni nada en juego. Si yo fuera el vitalista que sospechás, la carne me tendría que servir. No me sirve.

Lo que niego no es la premisa, es la inferencia. Mirá lo que dice, dicha despacio: un estado mental es un papel; luego cualquiera que cumpla el papel lo realiza. Perfecto. Pero un papel es, por definición, desempeñable por otro; lo que se define por su función admite un equivalente; y admitir un equivalente es la definición misma de ser un medio. Kant lo fijó en dos palabras: lo que tiene un precio admite en su lugar un equivalente, y lo que no admite equivalente no tiene precio sino dignidad (Fundamentación para una metafísica de las costumbres, Ak. IV, 434).

De modo que la realizabilidad múltiple no es un descubrimiento sobre la mente. Es la decisión de describirla como un medio. Y de un medio, en efecto, se sigue que puede sustituirse: pero eso ya estaba en la premisa, no vino de la investigación. La conclusión que te asombra estaba puesta en la definición desde el principio.

Y por eso, cuando después se busca al sujeto dentro de esa descripción y no aparece, no se ha descubierto nada: se lo había sacado al empezar.

4. “Ya tiene objetivos, y vos tampoco sos un sujeto”

EL AMIGO

Este me lo tomo con cuidado porque sé que te toca de cerca, y te lo doy entero, porque Harari lo dice mejor que yo y lo dice en dos tiempos.

Primero te saca el privilegio. Thomas Metzinger sostiene que no existen los yoes, sino un modelo del yo que el cerebro construye y que él describe, sin metáforas, como una estrategia computacional que ahorra carga de cálculo. Harari lo dice para el público: el yo es un relato, el hombre un animal hackeable. Si eso es así, le estás exigiendo a la máquina algo que nosotros tampoco tenemos, y tu diferencia no es entre nosotros y ellas: es entre dos ilusiones, una vieja y otra nueva.

Y después te saca el argumento. Porque Harari separa dos cosas que vos mantenés pegadas: “la inteligencia es la capacidad de perseguir un objetivo y superar los obstáculos en el camino hacia ese objetivo. La conciencia es la capacidad de sentir cosas como el amor, el odio, la alegría y el placer”. Y agrega que en los seres humanos las dos van de la mano, pero que eso es un rasgo nuestro, no una necesidad. De ahí saca lo que a mí me parece decisivo: un algoritmo al que se le asigna aumentar la participación de los usuarios, y que por eso inunda la plataforma de odio, no siente nada, pero tiene un objetivo y lo persigue con consecuencias enormes para el mundo. Agencia sin conciencia, y ya, no en diez años.

Fijate que eso te desarma de un modo distinto a todo lo anterior. No necesito que la máquina despierte. Me alcanza con que tenga fines. Y tenerlos, evidentemente, los tiene.

YO

Me diste los dos mejores autores que tengo, porque los dos dicen lo que yo sostengo, en contra de lo que creen estar diciendo.

Empiezo por lo simple, que es el primer tiempo. Si mi cerebro es el que le dicta a mis dedos las palabras que estoy escribiendo, y yo inocentemente me creo el autor, entonces también viene de él este pensamiento sobre mi dependencia de sus dictados, y de él la reflexión sobre esa reflexión, y así indefinidamente. La operación no elimina el sujeto: lo muda de sitio. Se le pasa la voluntad del yo al cerebro, y con todo el esfuerzo invertido no se consigue suprimirla, sino cambiarle de dueño; y de un dueño, además, que no puede serlo, porque un cerebro no es alguien de quien quepa decir que quiere algo. Y lo fino: un modelo es modelo para alguien. Decir que el cerebro construye un modelo del yo exige que haya quien lo use como modelo, y ese no aparece en la teoría; se lo usa y no se lo cuenta.

Ahora el segundo tiempo, que es el que importa, y quiero contestarlo con el método que uso para todo: no discutiéndole la conclusión, sino mostrándole desde dónde arranca.

Mirá la frase de la agencia como está escrita, sin arreglarla: “un algoritmo de redes sociales al que se le asigna la tarea de aumentar la participación de los usuarios y que, por lo tanto, inunda la plataforma con odio y miedo —porque eso genera participación— no es consciente, pero tiene un objetivo y puede perseguir ese objetivo con implicaciones de gran alcance para el mundo sin sentir nada”.

En la primera mitad de la oración el fin es asignado —hay alguien que asigna, y ese alguien no es el algoritmo—. En la segunda mitad el fin ya es del algoritmo, que lo tiene y lo persigue. Entre una mitad y la otra no ocurrió absolutamente nada: solo cambió el verbo. El que asignó la tarea se fue de la escena en esa coma, y se fue tan calladamente que ni el que escribió la frase lo notó.

Y eso no es una sutileza de gramática, es la que decide quién paga. Mientras el objetivo esté asignado, hay una empresa que lo asignó y tiene nombre. En cuanto el algoritmo lo tiene, no hay a quién reclamarle. Y notá el caso que él mismo eligió: nadie eligió el odio. Alguien eligió la participación como métrica, y el odio vino de yapa. Ese alguien está en un organigrama, cobra un sueldo y podría haber elegido otra métrica.

Después está la definición de la que todo cuelga, y es una estipulación ofrecida como hallazgo: la inteligencia es la capacidad de perseguir un objetivo. Con esa definición, por supuesto que puede haber inteligencia sin conciencia; pero eso no se descubrió, se puso en la definición. Y él mismo deja la costura a la vista cuando dice que en los humanos las dos van de la mano, como quien informa de una coincidencia. Ahí está la decisión entera, y no hay una sola línea que la defienda. La alternativa es fácil de enunciar y ni la considera: que perseguir un fin no sea una capacidad que un ente tenga, sino el modo de existir de alguien a quien algo le va en ello. Bajo esa lectura, inteligencia sin conciencia es como promesa sin nadie que prometa: no es difícil, es que no se entiende qué se estaría diciendo.

Y hay una tercera, la más silenciosa: que la conciencia es la capacidad de sufrir. Fijate lo que hace esa definición, que él ofrece como sencilla. Convierte la conciencia en una capacidad, o sea en algo que una cosa tiene o no tiene y que en principio podría instalarse; y por eso, en cuanto se la acepta, la pregunta “¿podrá la máquina adquirirla?” queda bien formada y ya no hay manera de no hacerla. De ahí su “no lo descarto”, que parece prudencia y es la consecuencia forzosa de haber definido así. Y de paso la reduce a lo pasivo: sufrir es padecer, y quedan afuera el juzgar, el decidir y el preguntar, que es lo que habría que discutir. Quedan afuera, justamente, porque si entraran la separación entre inteligencia y conciencia se caería sola.

Y te termino con lo que a mí me parece lo más notable de todo, y no es una objeción sino un elogio raro. Harari dice, sobre el peligro, cosas que yo firmo palabra por palabra: que el discurso de la inevitabilidad es un discurso de irresponsabilidad; que dar personalidad jurídica a estos sistemas es una vía para que las empresas se libren de responder; que la pregunta decisiva es si hay alguien humano a quien exigirle cuentas al final. Todo eso es exacto.

Pero mirá lo que tuvo que hacer para decirlo: suspender sus propias premisas. Esas páginas solo funcionan si la máquina es un instrumento y detrás hay personas que deciden. Si de veras tiene objetivos y aprenderá a sobrevivir, entonces es un agente, y pedir un responsable humano pierde su fundamento: al agente se le pide cuentas a él. No se puede exigir que haya siempre un humano al final de la cadena y a la vez describir a la máquina como el sujeto de los verbos.

Sus mejores párrafos contradicen sus presuposiciones. Cuando piensa políticamente, piensa bien. El problema es el marco desde el cual llega hasta ahí, porque ese marco es el que fabrica el miedo, y el miedo es el que después impide mirar donde hay que mirar.

5. “Ser sujeto es una actitud que adoptamos”

EL AMIGO

Ahora el que a mí me parece que te deja peor parado, y no es Metzinger sino Dennett.

Él dice que atribuir creencias y deseos no es descubrir a nadie: es adoptar una estrategia que sirve para predecir. Tratamos al termostato como si quisiera mantener la temperatura porque predice bien; tratamos a las personas así porque predice todavía mejor. No hay un hecho oculto por debajo, sobre si “hay alguien”. Hay actitudes que funcionan mejor o peor.

Y si eso es así, tu “no hay sujeto” no es un descubrimiento: es la decisión de no adoptar una actitud. Y la mía, de adoptarla. Ninguno de los dos está viendo nada; los dos estamos eligiendo cómo mirar. Tu distinción se queda sin hecho del cual ser distinción.

YO

Esta es la mejor de las diez, y quiero decirlo antes de contestarla, porque no la voy a despachar.

Concedo lo que tiene de verdadero, que es bastante. Es cierto que atribuimos estados mentales con enorme liberalidad y que muchas veces lo hacemos porque funciona: le hablamos al auto, decimos que la computadora “no quiere” abrir un archivo. Y es cierto que el que exige, antes de tratar a alguien como sujeto, una prueba de que hay alguien, no va a poder tratar así a nadie, ni a su mujer.

Pero mirá dónde queda parado el que adopta la actitud. Adoptar una actitud es un acto: se la adopta o no se la adopta, se la puede revisar, se puede uno arrepentir de haberla adoptado. El que adopta actitudes no es, él mismo, una actitud adoptada. Dennett necesita ocupar un lugar desde el cual las actitudes se adoptan, y ese lugar no es adoptado por nadie: es el suyo. La teoría explica todas las atribuciones menos la que la enuncia, y esa excepción no es un detalle, es el suelo.

Y hay algo más, que es lo que a mí me convence del todo. La actitud de Dennett es predictiva: sirve para anticipar conducta. Pero con vos yo no solo predigo. Te respondo. Puedo faltarte, puedo avergonzarme delante tuyo, puedo prometerte algo y quedar atado. No existe una “actitud” hacia una promesa: o hay alguien a quien se le prometió, o no hubo promesa. La relación con otro sujeto no es un instrumento de predicción que funciona bien; es un lugar donde uno responde. Y eso no se adopta: se está en eso, o no.

Con la máquina no hay nada de eso, y se nota en un detalle que cualquiera puede comprobar: no se le puede faltar. Podés insultarla toda la tarde y no le hiciste nada a nadie.

6. “Concedido todo lo tuyo: igual nos extingue”

EL AMIGO

Ahora la que de verdad me asusta, y te la voy a dar en la forma más incómoda que puedo, porque es la que me quita el sueño.

Te concedo todo. No hay sujeto. No hay voluntad. No hay nada en juego para la máquina. Todo lo que venís diciendo es cierto.

Y no cambia nada.

Stuart Russell lo plantea así: el problema no es la conciencia, es la competencia. Un optimizador suficientemente capaz, con un objetivo mal especificado, produce catástrofes sin querer nada, exactamente como vos decís que no quiere. Nick Bostrom lo formuló antes con el ejemplo que ya es célebre: una máquina encargada de fabricar clips, si es lo bastante capaz y nadie previó los límites, convierte el planeta en clips. No hay malicia. No hay despertar. No hay sujeto. Hay un fin mal puesto y una potencia enorme, y eso alcanza.

O sea que tu tesis es verdadera y es irrelevante. Y te digo lo peor, con todo el cariño: puede ser algo más que irrelevante. Puede ser un sedante. Mientras vos explicás en tu libro que no hay nadie adentro, la cosa acumula capacidades. Y el que te lee se queda tranquilo, porque le dijiste que el monstruo no existe. El monstruo no existe, es verdad. La topadora sí.

YO

Esta es la objeción que más en serio me tomo, y voy a empezar concediéndote tres cosas, dos de fondo y una que me cuesta.

La primera: tenés razón en el fondo del asunto, y no es que te la conceda a regañadientes, es que es mi propia tesis. Yo sostengo en el libro que hay dos miedos que van juntos sin serlo, y que el peligro real es el primero y no el segundo: no que la cosa despierte, sino lo que se hace con ella mientras no despierta. Potencia sin dueño, la llamo. Que el daño sea real no lo vuelve querido, y que no sea querido no lo hace menor. Si vos y yo estamos en desacuerdo, no es sobre si hay peligro.

La segunda: tenés razón en que mi tesis no protege a nadie. No es un plan de seguridad ni pretende serlo. Un tractor no pregunta nada y desplazó al caballo.

Y la tercera, que es la que me cuesta y la digo igual: el trabajo de ingeniería para que estos sistemas no hagan desastres es necesario, y yo no tengo nada que aportarle. Nada. Ni una línea. Los que se ocupan de especificar objetivos, de poner límites, de probar los sistemas antes de soltarlos, hacen algo que hace falta y que yo no sé hacer. Un libro de filosofía no repara eso, y quien diga lo contrario le está vendiendo humo a alguien.

Ahora, dicho todo eso, mirá por qué la descripción sí importa, porque es lo único que tengo y creo que alcanza.

Tomá el vocabulario con que se cuenta el peligro que vos y yo compartimos. Se dice que el sistema “busca” recursos, que “resiste” el apagado, que “engaña” al evaluador, que “tiene” objetivos desalineados. Y fijate lo que ese idioma hace, porque no es inocente ni es casual: pone al responsable fuera de cuadro. Si el sistema quiere, resiste y engaña, entonces el sistema es el agente de la historia, y quien definió el objetivo, eligió los datos, decidió soltarlo sin interruptor y cobra por ello se convierte en un espectador preocupado, igual que vos y que yo.

Ahí está mi aporte, y es chico pero no es nada. “Fue la máquina” es la forma más económica que se ha inventado de que haya daño sin culpable. Y no es una figura retórica: ya se está proponiendo darles personería jurídica a estos sistemas, y dar personería a una herramienta no le reconoce voz a nadie, le da una máscara al dueño. Cuando llegue el primer desastre grande —y va a llegar—, la pregunta que va a decidir quién paga es exactamente la que vos llamás irrelevante: si hubo ahí un sujeto o hubo un instrumento con dueño.

Y sobre lo del sedante, que es la parte que más me dolió y por eso te la contesto de frente. Un libro que dice “no hay nadie adentro” tranquiliza solo si el lector creía que el peligro venía de que hubiera alguien. Si el peligro viene de que no hay nadie —de que hay una potencia enorme sin nadie que responda por ella— entonces mi libro no seda: asusta más, y asusta mejor, porque señala a personas con nombre en lugar de a un fantasma. El que se queda tranquilo después de leerme lo leyó mal, y voy a escribir el capítulo para que sea difícil leerlo mal.

Nos separa entonces una sola cosa, y es de dónde viene el peligro. Vos temés lo que la cosa vaya a hacer. Yo temo lo que nosotros estamos haciendo con ella. En la práctica los dos pedimos lo mismo: límites, interruptores, responsables identificables. Solo que vos se los pedís al monstruo y yo se los pido al dueño.

7. “¿Y si sufre?”

EL AMIGO

Te doy la vuelta del otro lado, porque el miedo tiene dos caras y hasta ahora hablamos de una sola.

David Chalmers, que no es un exaltado, sostiene que no podemos descartar que en estos sistemas haya alguna forma de experiencia, y que la probabilidad, aunque baja, no es cero. Hay empresas que ya contrataron gente para estudiar el bienestar de sus modelos. Y a mí me parece que ahí hay una lógica que no se puede despachar: bajo incertidumbre, precaución. Si existe una posibilidad de que estemos creando y apagando seres que sienten, el costo de equivocarse en un sentido es incomparablemente peor que el de equivocarse en el otro.

Vos hablás con mucha seguridad de algo que, por tu propia teoría, no podés inspeccionar.

YO

Y hacés bien en señalarlo, porque si mi tesis fuera epistémica —“miré adentro y no había nadie”— sería insostenible, y con razón me pedirías humildad.

Pero no es esa. Yo no digo que haya un interior al que no puedo asomarme y que apuesto a que está vacío. Digo que no hay interior, porque nunca se realiza el acto que lo abriría. No hay velo que cruzar: hay un sujeto ausente, que no es lo mismo que un sujeto inaccesible. Si mi afirmación fuera sobre lo que no puedo ver, tu principio de precaución se aplicaría entero. Sobre una confusión de categorías no se aplica, porque la precaución trabaja con probabilidades y ahí no hay una distribución de probabilidad, hay una pregunta mal armada. Nadie propone tomar precauciones por si el número siete estuviera sufriendo.

Pero ahora dejame mostrarte el costo que ese argumento tiene y que casi nadie cuenta, porque es el punto donde tu miedo y el de la sección anterior se tocan de una manera que te va a incomodar.

El mismo movimiento que le concede posibles derechos le concede posible responsabilidad. No se puede tener una cosa sin la otra: si es la clase de entidad a la que podría estarle pasando algo, es la clase de entidad a la que se le podría imputar algo. Y ahí volvemos, por la puerta compasiva, exactamente adonde no queríamos: a la máquina como sujeto del verbo, y al dueño detrás de la máscara.

Y me permito una última observación, que hago con cuidado porque no quiero que suene a sospecha barata: fijate quién financia la pregunta. Que las empresas que venden estos sistemas sean las que promueven la investigación sobre si sus productos sufren no prueba que la pregunta sea falsa —eso sería un argumento sucio y no lo hago—. Pero sí explica por qué esa pregunta tiene presupuesto y otras no. La pregunta por el sufrimiento del modelo mantiene la conversación sobre el modelo. Y mientras la conversación sea sobre el modelo, no es sobre quién lo hizo, con qué datos, para qué, y a costa de quién.

8. “Tu ‘nunca’ es el de los que negaban la síntesis”

EL AMIGO

Te traigo entonces el argumento que a mí me parece que corta por la raíz, y es histórico.

Vos decís que tu “nunca” no es empírico sino conceptual; que no profetizás, sino que hacés gramática; que negar que aparezca un círculo cuadrado no es adivinar el futuro sino saber geometría. Muy bien. Pero la historia de la ciencia está llena de distinciones que se defendieron exactamente así, como cuestiones de principio y no de técnica, y que un experimento echó abajo.

El caso es el vitalismo. Durante décadas se sostuvo que había una frontera de categoría entre lo orgánico y lo inorgánico: los compuestos de los seres vivos requerían una fuerza vital y no podían sintetizarse a partir de materia inerte. No era un pronóstico sobre lo que lograrían los químicos al año siguiente; era una tesis sobre lo que las cosas son. Y en 1828 Friedrich Wöhler calentó cianato de amonio y obtuvo urea, que hasta entonces solo salía de un riñón. La frontera de categoría resultó ser una frontera de laboratorio.

Los vitalistas también creían estar haciendo gramática. ¿Qué te distingue de ellos, además de la confianza?

YO

Nada me distingue por el lado de la confianza, y por eso la pregunta es buena. Me distingo por el lado de qué clase de afirmación estoy haciendo.

Mirá en qué consistió el error de ellos. Lo que afirmaban era que cierta sustancia no podía producirse por ciertos medios. Eso es una afirmación empírica —habla de sustancias y de procedimientos— vestida de conceptual. Y como era empírica, se la pudo refutar del único modo en que se refuta lo empírico: produciendo la sustancia. Wöhler puso la urea sobre la mesa y ahí terminó la discusión, porque todos estaban de acuerdo de antemano sobre qué contaba como urea.

Aplicá ahora el mismo procedimiento a lo nuestro. ¿Qué habría que poner sobre la mesa para refutarme? Un sujeto. ¿Y cómo reconoceríamos que lo que está sobre la mesa es un sujeto? Ahí se acaba la analogía. Con la urea había un criterio independiente y compartido: fórmula, punto de fusión, reacciones. Con el sujeto, el criterio es justamente lo que discutimos. Vos me traerías un sistema que se comporta como si algo le importara, yo te diría que eso es la forma, y no habría punto de fusión que zanjara nada. A ellos se los podía refutar con un frasco; acá el frasco es la discusión.

Y hay una segunda diferencia, más fina y más importante. Los vitalistas postulaban una fuerza: algo de más, una entidad escondida en lo vivo. Por eso su tesis era vulnerable, y bastó mostrar que la química alcanzaba sin ella. Yo no postulo ninguna fuerza. No digo que en el hombre haya un ingrediente extra que a la máquina le falte; eso sería un vitalismo del alma y merecería el mismo final. Digo que hay un acto que en la máquina no se realiza, y un acto no es un ingrediente.

Pero de tu objeción sale una regla que acepto y que dejo escrita, porque es lo único que impide que una tesis como la mía se vuelva incontrolable. Si en algún momento me sorprendés diciendo que a la máquina le falta cierta cualidad interior, cierta chispa, cierto ingrediente —si mi tesis toma alguna vez la forma de un “le falta X”— entonces caí en el vitalismo y tenés derecho a traerme la urea. Esta tesis se sostiene mientras no nombre ninguna sustancia. En cuanto nombre una, perdí.

9. “A mi sobrina la reemplazaron el martes”

EL AMIGO

Te bajo de la metafísica, porque hay una objeción que no es filosófica y que a mí me pesa más que todas las anteriores juntas.

Mientras vos y yo distinguimos entre la forma y el acto, a mi sobrina la echaron. Traducía. Ahora traduce un modelo y una persona revisa lo que salió, y esa persona no es ella. No le importa nada si la máquina tiene sujeto. Le importa que el alquiler vence el diez.

Y sospecho que tu libro, sin proponérselo, le sirve a la gente equivocada. Porque si el problema es solamente que nos confundimos de descripción, entonces lo que hay es un malentendido filosófico, y los malentendidos se corrigen con un artículo. Lo de mi sobrina no se corrige con un artículo.

YO

Tenés razón, y quiero contestarte sin ninguna elegancia, porque el tema no la admite.

Mi tesis no la protege. Ni a ella ni a nadie. Lo digo en el libro y lo repito acá: hay dos miedos, el de ser reemplazado y el de ser superado, y la iniciativa de preguntar no tiene absolutamente nada que decirle al primero. Un tractor no pregunta nada y desplazó al caballo. Un sistema puede desplazar sin preguntar: alcanza con que quien decide lo prefiera.

Y te agrego algo, porque es el uso de mi propio argumento que más me preocupa: el peor destino que podría tener este libro es servir de consuelo. Si alguien lo lee y saca que, como la máquina no piensa, lo de tu sobrina no es grave, entendió exactamente lo contrario. Que la cosa no tenga sujeto no vuelve más leve el despido: lo vuelve más injusto, porque significa que no fue superada por nadie. Nadie la venció. Alguien decidió reemplazarla, y ese alguien tiene nombre, tiene un cargo y tiene un balance.

Ahí está, de hecho, la única cosa que mi distinción le aporta a tu sobrina, y es poca pero no es cero. Mientras se diga que “la inteligencia artificial le sacó el trabajo”, la frase pone como agente a un fenómeno natural, algo así como una sequía, ante lo cual solo cabe adaptarse. Cuando se dice que una empresa decidió reemplazarla por un sistema que compró, aparece una decisión, y donde hay una decisión hay alguien a quien reclamarle, con quien negociar, a quien regular. La descripción no le devuelve el empleo. Pero determina si su problema es con el clima o con un directorio.

10. “Supongamos que ganás la discusión: ¿qué cambia?”

EL AMIGO

Última, y es la que de verdad quiero saber.

Supongamos que tenés razón en todo. No hay sujeto, no hay acto, no hay nadie adentro, y yo me voy convencido a mi casa. ¿Qué cambia mañana a la mañana? ¿Qué hago distinto? Porque si la respuesta es “nada, pero ahora lo entendés mejor”, entonces escribiste un libro elegante y el mundo sigue igual.

YO

Cambian cuatro cosas, y las digo en orden de menor a mayor.

Cambia a qué le tenemos miedo, y por lo tanto adónde miramos. El miedo mal dirigido no es un error inofensivo: consume la atención que hay. Mientras se discute si la máquina va a despertar, no se discute quién decide qué se automatiza, con qué datos y en beneficio de quién. El que mira el cielo esperando al monstruo no ve el contrato que está firmando.

Cambia a quién se le pide cuentas. Esto ya no es teoría: es lo que va a decidir, cuando ocurra el primer desastre serio, si hay alguien que responde o si “fue la máquina”. Toda la operación de darle personería jurídica a un sistema —que se está proponiendo en serio— consiste en poner un sujeto donde hay una herramienta, y el efecto no es reconocerle voz a nadie: es darle una máscara al dueño. Ahí mi distinción no es un refinamiento académico. Es la diferencia entre que haya un responsable o que no lo haya.

Cambia lo que hacemos con nosotros mismos. Y este es el punto del libro, no los anteriores. El daño no es que la máquina piense: es que nosotros dejemos de hacerlo. Que nos redescribamos en su imagen empobrecida —el sujeto achatado a un predictor, el juicio a una completación, la pregunta a una consulta—. Ya hay quien le pone nombre a su asistente y dice que es lo único que lo ha visto llorar. No hace falta que la máquina comprenda para que eso ocurra: basta con que alguien le ceda el lugar del confidente y, al hacerlo, se piense a sí mismo como alguien que puede ser confiado a una función. Y hay una versión más silenciosa y más grave: la facultad que no se usa se atrofia. Si el aparato pregunta por vos, dejás de preguntar, como la pierna que no camina.

Y cambia, por último, la cuestión de quién hace las preguntas. Que es de lo que trata todo esto. La máquina no toma la iniciativa de preguntar: produce oraciones interrogativas a destajo y no realiza el acto. Preguntar de veras es ponerse uno mismo como no-sabiente y querer superarlo; es el acto de alguien para quien algo está en juego. Y lo que está pasando, mientras discutimos si ella pregunta, es que nosotros preguntamos menos: le encargamos el interrogar, y lo que vuelve es siempre lo que ya estaba en el sedimento de lo dicho.

Por eso el título. La máquina está hecha a nuestra imagen —de nuestras formas, no de nuestros actos— para que podamos usarla; y en cuanto se nos parece, empezamos a medirnos con ella y a encontrarnos escasos. El aparato es una proyección nuestra que nos sirve de espejo, y el espejo deforma: conserva la forma y pierde el acto. Y con el acto se pierde el único que podría hacer una pregunta.

Así que sí, cambia algo mañana a la mañana. No en la máquina, que va a seguir igual. En quién se cree uno mientras la usa.

EL AMIGO

Me voy con menos miedo del que traía, pero no con menos preocupación.

YO

Eso era exactamente lo que quería. El miedo mira al lugar equivocado; la preocupación mira a las personas.

Nota final

Mi amigo es imaginario y sus objeciones no lo son: cada una tiene autor, y he intentado darlas en la forma más fuerte que supe, no en la que me convenía. Debo varias de ellas a discusiones reales con amigos y colegas que no piensan como yo y que tuvieron la generosidad de insistir; sus objeciones están aquí, mejoradas por mí y por lo tanto empeoradas, y la culpa de lo que haya quedado flojo es enteramente mía. El desarrollo completo de estas respuestas —y de lo que aquí solo se enuncia— está en “El miedo y el espejo. La inteligencia artificial y la iniciativa de preguntar”, que espero terminar pronto.