Robots que escriben sobre computación

Si estás leyendo este texto, seguramente estás familiarizado con uno de los mayores problemas que enfrentamos los usuarios de las tecnologías de información: hay tanta basura flotando en la red, que cada vez que leemos una publicación sorprendente, tenemos que pasar un tiempo haciendo investigación sobre las fuentes y la legitimidad de lo que acabamos de leer. Si bien el problema no es exclusivo de los medios electrónicos, el hecho de que en éstos todos los usuarios se han convertido a su vez en creadores de contenido nos ha llevado a una situación ridícula cuya mejor expresión es la cita de Sócrates que leí el otro día, y que dice “Yo no he dicho la mitad de las cosas que dicen que dije en Internet”.  Sin embargo, en medio de todo ese ruido lograste encontrar este escrito, y yo me siento muy feliz por ello.

Aprender a distinguir entre la información fidedigna y el sinsentido pseudocientífico es, a primera vista, una de las funciones primordiales de la educación científica y la divulgación, y esperaríamos que, en la medida en que una comunidad la promueve y ejercita más fácil le resulta hacer la distinción. Pero incluso en publicaciones de amplio prestigio científico, las que representan los mayores estándares de rigor de contenido, se han publicado y publican, artículos que no tienen bases científicas: artículos de frases que, por su forma, aparentan tener el rigor necesario para una publicación, pero que en realidad no son fiables. Las explicaciones para la existencia de estos artículos espurios varían en el espectro que va del sensacionalismo, (como cuando se publicó el descubrimiento de neutrones que viajaban más rápido que la velocidad de la luz hace un par de años), al las prácticas fraudulentas (como aquellos famosos de la fusión en frío de los años 90 o el más reciente escándalo respecto a la investigación japonesa sobre células madre), pasando por las trampas intencionales, como el famosísimo artículo de Sokal (1996) escrito específicamente con la intención de mostrar que con suficiente malicia y renombre uno puede publicar artículos completamente absurdos.

Y, a todo esto, hay que sumarle el ataque de los robots.

Del mismo modo que en el buzón de tu correo electrónico aparece esporádicamente publicidad aleatoria (el maldito spam), los buzones de las revistas científicas reciben periódicamente artículos académicos escritos por robots y sabemos que se han publicado decenas de ellos.  En febrero de este año, por ejemplo, IEEE ( Institute of Electrical and Electronic Engineers) y Springer  anunciaron que retirarán más de 120 artículos (en conjunto) luego de que el investigador francés Cyril Labbé, descubriera que estos son producto de un código capaz de generarlos aleatoriamente. No es la primera vez que esto pasa, y probablemente no será la última, porque la aparición de “spam” académico es síntoma de una condición particular en la que se encuentra por un lado la ciencia y por otro la computación. Permítanme hacer un diagnóstico de la enfermedad siguiendo algunas preguntas básicas:

¿Quién hace estos programas y con qué fines?

Podemos entender fácilmente la motivación de un programador para crear un robot que escribe: simplemente es un juego divertido, es un acertijo interesante. La relación entre la computación y el lenguaje es, de hecho, tan interesante, que el padre de la computación, Alan Turing, sugirió en 1950 que una prueba para determinar si una máquina “piensa” es evaluar su capacidad de entablar una conversación con un humano de modo que este no pueda decir con confianza si el interlocutor es persona o máquina. El argumento es que, si el robot es capaz de imitar el comportamiento observable de un ser pensante, entonces no importa que internamente no cuente con los procesos que nosotros experimentamos (como una vocecita que tiene razonamientos, o una imagen en nuestra mente), para todo fin práctico el robot “piensa” (un argumento similar a los que esgrime la corriente conductista de la psicología que fue tan popular por esa misma época). Ya en 1966, Joseph Weizenbaum creó ELIZA, el primer programa que aparentaba pasar satisfactoriamente la prueba de Turing y desde entonces, han existido montones de intentos (algunos más exitosos que otros) de hacer robots que conversan y se ha convertido en un problema clásico de la ciencia de la computación. Hacer robots que escriben artículos académicos es un caso especial del problema.

En 2005 un grupo de investigadores de MIT escribieron el programa SCIGen, que a su vez escribió “Rooter: a methodology for the typical unification of access points and redundancy” que fue admitido por la novena multi-conferencia internacional en Sistemas, Cibernética e Informática (WMSCI). Pero no sólo publicaron un artículo lleno de sinsentido generado aleatoriamente por su programa, sino que además liberaron el mismo como una descarga gratuita para que cualquier usuario con suficiente curiosidad pueda tener en su computadora personal un generador de artículos académicos (en principio, sobre ciencias de la computación). Los 120 que reportó Cyril Labbé este año, están todos escritos por SCIGen. Ahora, si bien el párrafo anterior estuvo dedicado a las posibles motivaciones para crear un programa que escribe sobre ciencias de la computación, entender la motivación para publicar los artículos en revistas científicas es bastante más complicado y requiere que discutamos primero la siguiente pregunta.

¿Cómo es posible que textos generados al azar engañen a editores de publicaciones científicas?

Si nunca has leído un texto escrito por un robot,  puedes experimentar con las aplicaciones “What would I say?” o “Tofu Product”, para Facebook y Twitter respectivamente. El principio con el que funcionan es similar a SCIGen: toman partes de escritos previos y los acomodan aleatoriamente para producir nuevas publicaciones. Pero no hace falta mucho tiempo para descubrir que, si bien algunos de los resultados aleatorios son interesantes, divertidos o simbólicos (el primero que me salió a mi fue “No hay problema”) la gran mayoría parecen escritos por un esquizofrénico o, en el mejor de los casos, alguien con una atención francamente muy pobre (“war es probable que el ya se resolvió” fue el resultado de otro de mis intentos). Suena sorprendente que un programa que funciona de modo similar sea capaz de producir un texto completo que pueda hacerse pasar por una creación humana original. ¿Cómo es que SCIGen logra salirse con la suya? Hay al menos dos factores que contribuyen. Por un lado, los textos científicos tienen características formales que los distinguen de otros escritos. Para empezar, su principal objetivo es ser informativos, por lo que el lenguaje que usan suele ser neutro, monótono, llano. Tienen todos una estructura muy similar: empiezan por el “abstract” y terminan en las conclusiones, pasando por los resultados y la discusión. Además, son altamente especializados, lo que implica que usan muchos términos técnicos cuya referencia suele ser complicada de determinar. Es decir, prácticamente todos los artículos de una rama del conocimiento tienen elementos que se repiten, y si algo se repite, entonces un robot puede hacerlo. Un buen ejemplo de cómo esas características formales contribuyen a la dificultad para evaluar si un texto es originalmente humano o no, es el juego que se encuentra aquí. En el enlace se presentan dos títulos de artículos científicos, uno de los cuales fue generado por un robot. ¿Puedes distinguir cual es cual?

Ahora bien, imitar la forma de un artículo es mucho más fácil que imitar el contenido. Como la misma página de SCIGen informa, su propósito “es maximizar el entretenimiento, más que la coherencia”.  Y también advierten que “un propósito útil del programa es auto-generar entradas a conferencias que sospeches que tienen estándares de admisión muy bajos”. Originalmente, la idea de tener robots que escriben sobre ciencia empezó como una crítica a algunas conferencias que, en vez de promover estudios científicos serios, simplemente iban detrás de la ganancia económica. Pero la crítica en forma de artículo espurio caló más hondo de lo que se esperaba y ha sido capaz de mostrar que existe un problema sistémico en la forma en la que se revisan las publicaciones y por lo tanto, en la manera en la que se evalúa el mérito científico de las investigaciones. En el fondo, la única explicación convincente para el engaño de los robots es que el control de calidad de las publicaciones se ha deteriorado frente a la creciente presión que tienen los investigadores para publicar y los niveles de especialización que se requieren para revisar concienzudamente los detalles técnicos de los artículos. De este modo, el poder de cómputo de los robots, capaz de generar contenido falso, pero aparentemente verdadero, más rápido de lo que un revisión cuantitativa y rutinaria es capaz de discernirlo, se convierte en una llamada de atención sobre la organización institucional del quehacer cotidiano de los científicos.

¿Qué se puede hacer para minimizar el impacto de estos engaños?

La primera alternativa es declarar la guerra de los robots que escriben sobre ciencia. Cyril Labbé, el francés que reportó los 120 artículos, tiene en su sitio web un programa al que le puedes enviar un artículo y determina si fue escrito por SCIGen. Me puedo imaginar lo que viene a continuación: se inaugura una nueva rama de la ciencia de la computación en la que hay una competencia por hacer algoritmos que engañen a los algoritmos que se hicieron para revisar algoritmos, un poco como lo que pasa entre los que escriben virus y los que escriben antivirus pero alrededor de las publicaciones (a los computólogos les encantan estas batallas).

Pero tal vez una respuesta más sensata es aprender la lección que nos han dado los robots y comenzar a modificar la forma en que evaluamos la información, a la ciencia y a los científicos. En la medida en la que los criterios de promoción académica sean exclusivamente cuantitativos, la ciencia estará expuesta al bombardeo constante de balbuceos inconexos e incoherentes disfrazados en la forma de seriedad y bata blanca, algunos de ellos provenientes de robots. En este sentido, existe ya un amplio sector de la comunidad científica que está expresando su inconformidad con los actuales criterios de contratación, promoción y evaluación de los investigadores, y los criterios usados por las revistas para revisar las publicaciones. Un ejemplo importante de este movimiento se encuentra en la Declaración sobre Evaluación de la Investigación de San Francisco (que tiene el slogan: Poniendo ciencia en la evaluación de la investigación), firmada en diciembre de 2012 por editores de revistas científicas, e investigadores (principalmente de las áreas de medicina y salud) y que básicamente llama a todas las partes a promover un mejor balance entre los análisis cuantitativos y cualitativos.

Así es que, como decía en un inicio, celebro que entre toda la información que hay en la red, mucha buena, pero muchísima mala también, sea este el texto que decidiste leer. Como despedida, imagina que pasaría si ahora buscas en internet algo relacionado con este artículo, no se, SCIGen o Labbé, o algo así. Seguro que te salen algunas páginas interesantes, y seguro que en alguna de ellas mencionan a Turing, a ELIZA y a Sokal. Un robot fácilmente podría realizar esta búsqueda, seleccionar algunas partes del texto al azar, incluso poner algunas “entre comillas” o como citas y publicar su propio artículo sobre el tema. Con suficiente tiempo, los robots también escriben algunos textos que tienen valor, artículos que, a pesar de haber sido generados al azar, de hecho revelan investigaciones científicas fidedignas. Recuerdo un pasaje de la Historia Interminable en la que su protagonista se encuentra un ciudad habitada por unos seres que perdieron el lenguaje y que se dedican exclusivamente a jugar unos dados con letras y a acomodarlos en palabras aleatorias. “Si se juega eternamente, tendrán que surgir todos los poemas, todas las historias posibles, y luego todas las historias de historias, incluida ésta en la que precisamente estamos hablando.”

Dicho todo esto, ¿sigues convencido de que tu capacidad de distinguir información genuina no fue engañada por un robot?