• Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar
  • Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar
  • Visita nuestra tienda

Sociedad de Científicos Anónimos Sociedad de Científicos Anónimos

  • Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar
Artículos

Robots que escriben sobre computación

Si estás leyendo este texto, seguramente estás familiarizado con uno de los mayores problemas que enfrentamos los usuarios de las tecnologías de información: hay tanta basura flotando en la red, que cada vez que leemos una publicación sorprendente, tenemos que pasar un tiempo haciendo investigación sobre las fuentes y la legitimidad de lo que acabamos de leer. Si bien el problema no es exclusivo de los medios electrónicos, el hecho de que en éstos todos los usuarios se han convertido a su vez en creadores de contenido nos ha llevado a una situación ridícula cuya mejor expresión es la cita de Sócrates que leí el otro día, y que dice “Yo no he dicho la mitad de las cosas que dicen que dije en Internet”.  Sin embargo, en medio de todo ese ruido lograste encontrar este escrito, y yo me siento muy feliz por ello.

Aprender a distinguir entre la información fidedigna y el sinsentido pseudocientífico es, a primera vista, una de las funciones primordiales de la educación científica y la divulgación, y esperaríamos que, en la medida en que una comunidad la promueve y ejercita más fácil le resulta hacer la distinción. Pero incluso en publicaciones de amplio prestigio científico, las que representan los mayores estándares de rigor de contenido, se han publicado y publican, artículos que no tienen bases científicas: artículos de frases que, por su forma, aparentan tener el rigor necesario para una publicación, pero que en realidad no son fiables. Las explicaciones para la existencia de estos artículos espurios varían en el espectro que va del sensacionalismo, (como cuando se publicó el descubrimiento de neutrones que viajaban más rápido que la velocidad de la luz hace un par de años), al las prácticas fraudulentas (como aquellos famosos de la fusión en frío de los años 90 o el más reciente escándalo respecto a la investigación japonesa sobre células madre), pasando por las trampas intencionales, como el famosísimo artículo de Sokal (1996) escrito específicamente con la intención de mostrar que con suficiente malicia y renombre uno puede publicar artículos completamente absurdos.

Y, a todo esto, hay que sumarle el ataque de los robots.

Del mismo modo que en el buzón de tu correo electrónico aparece esporádicamente publicidad aleatoria (el maldito spam), los buzones de las revistas científicas reciben periódicamente artículos académicos escritos por robots y sabemos que se han publicado decenas de ellos.  En febrero de este año, por ejemplo, IEEE ( Institute of Electrical and Electronic Engineers) y Springer  anunciaron que retirarán más de 120 artículos (en conjunto) luego de que el investigador francés Cyril Labbé, descubriera que estos son producto de un código capaz de generarlos aleatoriamente. No es la primera vez que esto pasa, y probablemente no será la última, porque la aparición de “spam” académico es síntoma de una condición particular en la que se encuentra por un lado la ciencia y por otro la computación. Permítanme hacer un diagnóstico de la enfermedad siguiendo algunas preguntas básicas:

¿Quién hace estos programas y con qué fines?

Podemos entender fácilmente la motivación de un programador para crear un robot que escribe: simplemente es un juego divertido, es un acertijo interesante. La relación entre la computación y el lenguaje es, de hecho, tan interesante, que el padre de la computación, Alan Turing, sugirió en 1950 que una prueba para determinar si una máquina “piensa” es evaluar su capacidad de entablar una conversación con un humano de modo que este no pueda decir con confianza si el interlocutor es persona o máquina. El argumento es que, si el robot es capaz de imitar el comportamiento observable de un ser pensante, entonces no importa que internamente no cuente con los procesos que nosotros experimentamos (como una vocecita que tiene razonamientos, o una imagen en nuestra mente), para todo fin práctico el robot “piensa” (un argumento similar a los que esgrime la corriente conductista de la psicología que fue tan popular por esa misma época). Ya en 1966, Joseph Weizenbaum creó ELIZA, el primer programa que aparentaba pasar satisfactoriamente la prueba de Turing y desde entonces, han existido montones de intentos (algunos más exitosos que otros) de hacer robots que conversan y se ha convertido en un problema clásico de la ciencia de la computación. Hacer robots que escriben artículos académicos es un caso especial del problema.

En 2005 un grupo de investigadores de MIT escribieron el programa SCIGen, que a su vez escribió “Rooter: a methodology for the typical unification of access points and redundancy” que fue admitido por la novena multi-conferencia internacional en Sistemas, Cibernética e Informática (WMSCI). Pero no sólo publicaron un artículo lleno de sinsentido generado aleatoriamente por su programa, sino que además liberaron el mismo como una descarga gratuita para que cualquier usuario con suficiente curiosidad pueda tener en su computadora personal un generador de artículos académicos (en principio, sobre ciencias de la computación). Los 120 que reportó Cyril Labbé este año, están todos escritos por SCIGen. Ahora, si bien el párrafo anterior estuvo dedicado a las posibles motivaciones para crear un programa que escribe sobre ciencias de la computación, entender la motivación para publicar los artículos en revistas científicas es bastante más complicado y requiere que discutamos primero la siguiente pregunta.

¿Cómo es posible que textos generados al azar engañen a editores de publicaciones científicas?

Si nunca has leído un texto escrito por un robot,  puedes experimentar con las aplicaciones “What would I say?” o “Tofu Product”, para Facebook y Twitter respectivamente. El principio con el que funcionan es similar a SCIGen: toman partes de escritos previos y los acomodan aleatoriamente para producir nuevas publicaciones. Pero no hace falta mucho tiempo para descubrir que, si bien algunos de los resultados aleatorios son interesantes, divertidos o simbólicos (el primero que me salió a mi fue “No hay problema”) la gran mayoría parecen escritos por un esquizofrénico o, en el mejor de los casos, alguien con una atención francamente muy pobre (“war es probable que el ya se resolvió” fue el resultado de otro de mis intentos). Suena sorprendente que un programa que funciona de modo similar sea capaz de producir un texto completo que pueda hacerse pasar por una creación humana original. ¿Cómo es que SCIGen logra salirse con la suya? Hay al menos dos factores que contribuyen. Por un lado, los textos científicos tienen características formales que los distinguen de otros escritos. Para empezar, su principal objetivo es ser informativos, por lo que el lenguaje que usan suele ser neutro, monótono, llano. Tienen todos una estructura muy similar: empiezan por el “abstract” y terminan en las conclusiones, pasando por los resultados y la discusión. Además, son altamente especializados, lo que implica que usan muchos términos técnicos cuya referencia suele ser complicada de determinar. Es decir, prácticamente todos los artículos de una rama del conocimiento tienen elementos que se repiten, y si algo se repite, entonces un robot puede hacerlo. Un buen ejemplo de cómo esas características formales contribuyen a la dificultad para evaluar si un texto es originalmente humano o no, es el juego que se encuentra aquí. En el enlace se presentan dos títulos de artículos científicos, uno de los cuales fue generado por un robot. ¿Puedes distinguir cual es cual?

Ahora bien, imitar la forma de un artículo es mucho más fácil que imitar el contenido. Como la misma página de SCIGen informa, su propósito “es maximizar el entretenimiento, más que la coherencia”.  Y también advierten que “un propósito útil del programa es auto-generar entradas a conferencias que sospeches que tienen estándares de admisión muy bajos”. Originalmente, la idea de tener robots que escriben sobre ciencia empezó como una crítica a algunas conferencias que, en vez de promover estudios científicos serios, simplemente iban detrás de la ganancia económica. Pero la crítica en forma de artículo espurio caló más hondo de lo que se esperaba y ha sido capaz de mostrar que existe un problema sistémico en la forma en la que se revisan las publicaciones y por lo tanto, en la manera en la que se evalúa el mérito científico de las investigaciones. En el fondo, la única explicación convincente para el engaño de los robots es que el control de calidad de las publicaciones se ha deteriorado frente a la creciente presión que tienen los investigadores para publicar y los niveles de especialización que se requieren para revisar concienzudamente los detalles técnicos de los artículos. De este modo, el poder de cómputo de los robots, capaz de generar contenido falso, pero aparentemente verdadero, más rápido de lo que un revisión cuantitativa y rutinaria es capaz de discernirlo, se convierte en una llamada de atención sobre la organización institucional del quehacer cotidiano de los científicos.

¿Qué se puede hacer para minimizar el impacto de estos engaños?

La primera alternativa es declarar la guerra de los robots que escriben sobre ciencia. Cyril Labbé, el francés que reportó los 120 artículos, tiene en su sitio web un programa al que le puedes enviar un artículo y determina si fue escrito por SCIGen. Me puedo imaginar lo que viene a continuación: se inaugura una nueva rama de la ciencia de la computación en la que hay una competencia por hacer algoritmos que engañen a los algoritmos que se hicieron para revisar algoritmos, un poco como lo que pasa entre los que escriben virus y los que escriben antivirus pero alrededor de las publicaciones (a los computólogos les encantan estas batallas).

Pero tal vez una respuesta más sensata es aprender la lección que nos han dado los robots y comenzar a modificar la forma en que evaluamos la información, a la ciencia y a los científicos. En la medida en la que los criterios de promoción académica sean exclusivamente cuantitativos, la ciencia estará expuesta al bombardeo constante de balbuceos inconexos e incoherentes disfrazados en la forma de seriedad y bata blanca, algunos de ellos provenientes de robots. En este sentido, existe ya un amplio sector de la comunidad científica que está expresando su inconformidad con los actuales criterios de contratación, promoción y evaluación de los investigadores, y los criterios usados por las revistas para revisar las publicaciones. Un ejemplo importante de este movimiento se encuentra en la Declaración sobre Evaluación de la Investigación de San Francisco (que tiene el slogan: Poniendo ciencia en la evaluación de la investigación), firmada en diciembre de 2012 por editores de revistas científicas, e investigadores (principalmente de las áreas de medicina y salud) y que básicamente llama a todas las partes a promover un mejor balance entre los análisis cuantitativos y cualitativos.

Así es que, como decía en un inicio, celebro que entre toda la información que hay en la red, mucha buena, pero muchísima mala también, sea este el texto que decidiste leer. Como despedida, imagina que pasaría si ahora buscas en internet algo relacionado con este artículo, no se, SCIGen o Labbé, o algo así. Seguro que te salen algunas páginas interesantes, y seguro que en alguna de ellas mencionan a Turing, a ELIZA y a Sokal. Un robot fácilmente podría realizar esta búsqueda, seleccionar algunas partes del texto al azar, incluso poner algunas “entre comillas” o como citas y publicar su propio artículo sobre el tema. Con suficiente tiempo, los robots también escriben algunos textos que tienen valor, artículos que, a pesar de haber sido generados al azar, de hecho revelan investigaciones científicas fidedignas. Recuerdo un pasaje de la Historia Interminable en la que su protagonista se encuentra un ciudad habitada por unos seres que perdieron el lenguaje y que se dedican exclusivamente a jugar unos dados con letras y a acomodarlos en palabras aleatorias. “Si se juega eternamente, tendrán que surgir todos los poemas, todas las historias posibles, y luego todas las historias de historias, incluida ésta en la que precisamente estamos hablando.”

Dicho todo esto, ¿sigues convencido de que tu capacidad de distinguir información genuina no fue engañada por un robot?

Escrito por Nicolás Gaudenzi - 27 octubre, 2014
Tags | computación, divulgación científica, engaño, Filosofía de la ciencia, inteligencia artificial, internet, robótica

También podría gustarte

Kamazootra: los modos de reproducción más extravagantes del reino animal (evento en línea)

22 junio, 2020

Científicos Anónimos QRO #13: ¿Cómo escogemos? La selección sexual en el mundo animal

24 octubre, 2021

Científicos Anónimos QRO #03: Exoplanetas y biología

16 noviembre, 2020

2 Comentarios

  • GRAN SHOW RADIOFÓNICO presenta: ATRACCIÓN FATAL - Sociedad de Científicos Anónimos 10 febrero, 2019 at 8:34 pm

    […] Aquí puedes leer un texto de Nico al respecto de lo que estaremos charlando:  https://cientificosanonimos.org/robots-que-escriben-sobre-computacion/ […]

    Reply
  • Software y hardware evolutivos – Sociedad de Científicos Anónimos 19 abril, 2018 at 5:25 pm

    […] Robots que escriben sobre computación […]

    Reply
  • ¡Inicia la conversación!
    Cancelar respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

    Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

    Siguiente publicación
    Publicación anterior

    Síguenos en Facebook

    Síguenos en Instagram

    cientificosanonimos

    Hasta nos trajeron especímenes para interactuar, Hasta nos trajeron especímenes para interactuar, qué más se puede pedir… van los datos también de a quienes recurrir si se les mete un murciélago en casa
    Murciélagos en @lamano_jardin Murciélagos en @lamano_jardin
    Casa llena llena ayer en @lamano_jardin gracias po Casa llena llena ayer en @lamano_jardin gracias por acompañarnos 🦇 🦡 nos vemos a finales de mes…
    Reseña y reflexiones sobre el nuevo museo de Chap Reseña y reflexiones sobre el nuevo museo de Chapultepec en www.cientificosanonimos.org (enlace en la bio) 
#díamundialdelajolote🦎
    Hoy #díanacionaldelajolotemexicano visitamos anfi Hoy #díanacionaldelajolotemexicano visitamos anfibium, a las 12pm les contamos nuestras impresiones en cinetificosanonimos.org
    Cht Cht nos vemos mañana en @lamano_jardin Cht Cht nos vemos mañana en @lamano_jardin
    No olviden que nos vemos el miércoles en @lamano_ No olviden que nos vemos el miércoles en @lamano_jardin
    Las cenizas de hoy / 30 de enero #popocatépetl Las cenizas de hoy / 30 de enero #popocatépetl
    Ahí por si siguen pensando que los 🚗 eléctric Ahí por si siguen pensando que los 🚗 eléctricos van a llegar a solucionar algo… las columnas representan el coste ambiental (generacion de gases de efecto invernadero) de las distintas industrias. El de la derecha corresponde a la generación de energía eléctrica
    Ver más Seguir

    Etiquetas

    Aire Libre animales animales en peligro animales raros antropoceno biodiversidad Biodiversidad mexicana biología ciencia ciencia + música Ciencia en el bar ciencia en la radio ciencia y arte comunicación científica comunicación de la ciencia conservación Cultura Científica divulgación científica divulgación de la ciencia divulgación sonora dosis de arte drogas ecología ensayo ensayo literario Eventos SCA evolución Extinción Filosofía de la ciencia insectos literatura literatura científica medicina naturaleza pandemia paradigmas parásitos percepciones podcast psicología radio salud salud mental Salud pública zoología

    Contacto

      Presskit

      Descarga nuestro presskit para saber más sobre nuestra plataforma interactiva para la comunicación de la ciencia.

      Contenidos

      Eventos

      Podcasts

      Artículos

      Videos

      Tienda

      Sobre SCA

      Facebook

      Instagram

      Twitter

      ®Sociedad de Científicos Anónimos, 2018