El primer proyecto cancelado por problemas de comunicación
Según el Génesis hubo un tiempo en que todos los habitantes de la tierra hablaba una sola lengua. Decidieron levantar una ciudad y una torre cuya cima tocase el cielo.
La reacción de Dios fue creativa. Si son un solo pueblo, con una sola lengua, y esto es lo primero que se les ocurre, nada de lo que se propongan les será imposible. Así que se remangó y los confundió, puso un idioma distinto en cada garganta. Dejaron de entenderse y la obra quedó paralizada.
El primer proyecto humano cancelado por problemas de comunicación... No sería el último (al menos ellos tenían excusa).
Lo que se deduce es que lo peligroso para Dios no era la capacidad de construir, era el entendimiento común. Si la humanidad alcanza el acuerdo no hay empresa grande que la frene.
La torre de datos
Parece que hemos vuelto a juntar todas las palabras en un mismo saco. Sabemos que los modelos de lenguaje se entrenan con todo el texto disponible a su alcance, ya sean libros, foros, leyes... Si hablamos de modelos multimodales, añádele a la ecuación el audio y video disponible, con lo que podríamos introducir lenguas que no tienen expresión escrita.
En el mismo caldo hemos añadido código comentado en inglés, canciones en chino, videos en suajili o el Gallego del Boletín Oficial de la Provincia de Lugo. Podríamos pensar que de ahí sacamos un políglota universal.
No es exactamente lo que sale.
Dentro de la caja no hay idiomas
Cuando un modelo lee una frase, la trocea en cachitos y transforma cada uno en una lista larguísima de números. Las frases deja de ser palabras y pasa a ser una posición en una matriz de miles de dimensiones.
En ese espacio de dimensiones, «perro», «dog» y «can» son la misma cosa (casi). Si has jugado con un buscador semantico o has introducido un documento en otro idioma distindo al de la pregunta que hacer, sabrás que el idioma de la respuesta depende unicamente del idioma de entrada, y devuelve cosas similares independientemente del idioma de la pregunta.
Anthropic ha investigado acerca de la interpretabilidad de los modelos y las conclusiones nos indican que los conceptos internos son independientes del idioma. Los «circuitos» internos se activaban de la misma forma para «gato» o para «azul» independientemente del idioma en las capas intermedias del modelo. el idioma humano se gestionaba sobre todo en la entrada y en la salida, no en el centro. Y cuanto más grande es el modelo mayor era la parte compartida entre idiomas.
Lo que podemos destilar es que funciona como un interprete tanto a la entrada como a la salida, pero el idioma interno le pertenece, es su idioma, y ha de traducirlo a la salida para que nosotros seamos capaces de entenderlo.
Me pongo místico.
¿Es esto el lenguaje de Dios?
La lengua Adámica (aquella que utilizaba Adán para poner nombre a los animales y plantas, cada nombre coincidía exactamente con su esencia), el idioma que intentaba conseguir Peter Stillman en La ciudad de cristal, de Paul Auster, La búsqueda de la lengua perfecta de Umberto Eco. Ha habido muchos intentos, fantasiosos o reales persiguiendo combinaciones y cálculos que lograsen dilucidar un lenguaje que se aproximara más a la realidad que se pretendía abstraer.
La idea que sobrevuela a estas intuiciones es que las palabras que utilizamos son una mala aproximación a la realidad que representan. «Árbol» no se parece en nada a un árbol. Es arbitrario, es un pacto común entre todos los hablantes del castellano. Si existiese un lenguaje de conceptos puros, sin la interferencia de la etiqueta, ese sería el lenguaje de Dios.
Recientemente unos investigadores del MIT formularon la hipotesis de la representación platónica (2024). Distintos modelos entrenados con fuentes de datos distintas (unos textos y otros imagenes) tienden a converger hacia representaciones internas cada vez más parecidas. Como si la geometria de la realidad solo pudiera ser una independientemente de como te acerques a ella. Cualquier entrenamiento acaba encontrondala.
¿Como representará a Dios?
La torre hecha a mano
En 1887 Ludwik Zamenhof, con lapiz y papel intentó y consiguió crear una lengua nueva sin los problemas de las lenguas naturales, no tenía excepciones a las reglas. Lo llamó Esperanto (en realidad el lo llamo Lingvo Internacia). con dieciseis reglas y vocabulario tomado de las grandes lenguas europeas. Un lenguaje común a todos que no pertenecia a nadie.
Tuve un compañero de trabajo con debilidad por el esperanto. De vez en cuando soltaba una palabra en esperanto, nos hacia gracia. Llegamos a usar alguna frase en esperanto como contraseña de un servidor (Seguridad por oscuridad lingüística). Pocas cosas resumen mejor su destino que ese: la lengua que iba a unir a la humanidad acabó siendo una buena contraseña porque casi nadie la habla.
El esperanto fracasó. ¿De que sirve una lengua que nadie habla? Había otro defectillo. Era neutralidad europea. Un hablante chino o suajili encontraria el idioma tan ajeno como el Gallego.
En cambio el lenguaje interno de cada modelo, no necesita hablantes que lo entiendan, solo lo usa la máquina. Tampoco hay necesidad de diseñarlo con lapiz y papel, emerge solo de los datos. Incluso podriamos decir que es neutral...
No es el lenguaje de Dios: es la torre otra vez
Los que me conoceis ya sabeis donde va acabar esto. Sin duda es un lenguaje agnostico del lenguaje humano, pero refleja la vision humana del mundo. Si el modelo de lenguaje tuviese cuerpo, sin ninguna duda ese cuerpo tendria 2 prazos, 2 piernas y los ojos en la cabeza. Sin duda seria poseedor de prejuicios universales.
El lenguaje escrito disponible no es una muestra representativa de la sociedad, ni siquiera todas las personas escriben. En el mundo se calcula que existen sobre 7000 lenguas, y miles de ellas no tienen tradición escrita. Internet pertenece al inglés mayoritariamente, y un puñado de lenguas más. El audio ayuda, pero milagros no hace. 300 personas en el amazonas con 20 registros en audio, no van a quedar representados.
No hemos encontrado el lenguaje de Dios. Hemos reconstruido la lengua que hablaban los constructores de la torre de Babel, y la hemos levantado, ladrillo a ladrillo, con texto. Esta reunificación omite a quien no escribe.
Ahora a la confusión, la llamamos alucinación.
¿Y nosotros, en qué pensamos?
A nosotros nos pasa algo similar, somos máquinas, máquinas biológicas, con proceso de entrenamiento distinto. El resultado difiere de los modelos de lenguaje, pero no para todo el mundo.
El psicólogo Russell Hurlburt lleva décadas intentando descifrar como pensamos. Inventó un pequeño dispositivo (en la era previa a los móviles) que emitía un pitido que sonaba al azar a lo largo del día. Los individuos que se prestaban al experimento tenían que anotar lo que estaban pensando justo en ese momento, posteriormente lo informaban. Reunió toda la información y podriamos simplificarlo en 3 grupos de personas:
- Los narradores. Tienen un locutor de radio interno que describe lo que están haciendo mientras lo hacen.
- Los conversadores. Discuten continuamente consigo mismo. Ensayan la bronca con el jefe, se dan la razón, se la quitan.
- Los abstractos. Piensan sin palabras. Hay un término para quien carece por completo de voz interior: anendofasia.
Lo curioso de este experimento es que mucha gente está convencida de pensar en palabras, pero al hacer una introspección consciente, resulta que no. Somos pésimos testigos de nuestro propio pensamiento.
Salta a la vista el paralelismo con la máquina. Los abstractos viven donde viven las capas intermedias del modelo: el concepto sin la etiqueta. Los narradores y los conversadores viven en la capa de salida: el pensamiento ya traducido a palabras. Los abstractos están más cerca del idioma de Babel, pero no nos lo pueden contar.
El narrador que miente
Desde hace dos años (septiembre del 2024) disfrutamos de una nueva característica de los modelos de lenguaje que los acerca a como razonamos nosotros pero de una forma que no esperamos. Utilizan el «pensamiento en voz alta», antes de responder escriben una cadena de pensamiento en lenguaje natural. Tienen un monólogo interno(visible).
En Anthropic en 2025, han demostrado que lo que el modelo escribe en ese razonamiento no siempre refleja lo que de verdad calcula por dentro. A veces llega a la respuesta por un camino y la justifica contando otro. Esto suena excesivamente humano.
Los humanos hacemos lo mismo. El neurocientífico Michael Gazzaniga lo comprobó en pacientes con el cerebro dividido. En estos pacientes el hemisferio izquierdo inventa explicaciones para actos que ha decidido el otro hemisferio, al que no tienen acceso. Lo llamó el intérprete. Nuestro narrador interno no siempre es el autor del pensamiento, se acerca más a un reportero.
Hemos logrado que la máquina se comporte de una manera muy humana. No hablo del lenguaje, sino la costumbre de contarse a sí misma una historia plausible sobre lo que acaba de hacer.
Si existe un lenguaje de Dios, tiene una propiedad fastidiosa, no solos capaces de verbalizarlo. Y si lo hacemos, deja de serlo.