• Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar / news letter
  • Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar / news letter
  • Visita nuestra tienda

Sociedad de Científicos Anónimos Sociedad de Científicos Anónimos

  • Inicio
  • Eventos
  • Artículos
  • Podcasts
  • Videos
  • Tienda
  • Quienes somos
    • Quienes somos
    • Manifiesto / Prensa
    • Colaborar / news letter
Artículos

Robots que escriben sobre computación

Si estás leyendo este texto, seguramente estás familiarizado con uno de los mayores problemas que enfrentamos los usuarios de las tecnologías de información: hay tanta basura flotando en la red, que cada vez que leemos una publicación sorprendente, tenemos que pasar un tiempo haciendo investigación sobre las fuentes y la legitimidad de lo que acabamos de leer. Si bien el problema no es exclusivo de los medios electrónicos, el hecho de que en éstos todos los usuarios se han convertido a su vez en creadores de contenido nos ha llevado a una situación ridícula cuya mejor expresión es la cita de Sócrates que leí el otro día, y que dice “Yo no he dicho la mitad de las cosas que dicen que dije en Internet”.  Sin embargo, en medio de todo ese ruido lograste encontrar este escrito, y yo me siento muy feliz por ello.

Aprender a distinguir entre la información fidedigna y el sinsentido pseudocientífico es, a primera vista, una de las funciones primordiales de la educación científica y la divulgación, y esperaríamos que, en la medida en que una comunidad la promueve y ejercita más fácil le resulta hacer la distinción. Pero incluso en publicaciones de amplio prestigio científico, las que representan los mayores estándares de rigor de contenido, se han publicado y publican, artículos que no tienen bases científicas: artículos de frases que, por su forma, aparentan tener el rigor necesario para una publicación, pero que en realidad no son fiables. Las explicaciones para la existencia de estos artículos espurios varían en el espectro que va del sensacionalismo, (como cuando se publicó el descubrimiento de neutrones que viajaban más rápido que la velocidad de la luz hace un par de años), al las prácticas fraudulentas (como aquellos famosos de la fusión en frío de los años 90 o el más reciente escándalo respecto a la investigación japonesa sobre células madre), pasando por las trampas intencionales, como el famosísimo artículo de Sokal (1996) escrito específicamente con la intención de mostrar que con suficiente malicia y renombre uno puede publicar artículos completamente absurdos.

Y, a todo esto, hay que sumarle el ataque de los robots.

Del mismo modo que en el buzón de tu correo electrónico aparece esporádicamente publicidad aleatoria (el maldito spam), los buzones de las revistas científicas reciben periódicamente artículos académicos escritos por robots y sabemos que se han publicado decenas de ellos.  En febrero de este año, por ejemplo, IEEE ( Institute of Electrical and Electronic Engineers) y Springer  anunciaron que retirarán más de 120 artículos (en conjunto) luego de que el investigador francés Cyril Labbé, descubriera que estos son producto de un código capaz de generarlos aleatoriamente. No es la primera vez que esto pasa, y probablemente no será la última, porque la aparición de “spam” académico es síntoma de una condición particular en la que se encuentra por un lado la ciencia y por otro la computación. Permítanme hacer un diagnóstico de la enfermedad siguiendo algunas preguntas básicas:

¿Quién hace estos programas y con qué fines?

Podemos entender fácilmente la motivación de un programador para crear un robot que escribe: simplemente es un juego divertido, es un acertijo interesante. La relación entre la computación y el lenguaje es, de hecho, tan interesante, que el padre de la computación, Alan Turing, sugirió en 1950 que una prueba para determinar si una máquina “piensa” es evaluar su capacidad de entablar una conversación con un humano de modo que este no pueda decir con confianza si el interlocutor es persona o máquina. El argumento es que, si el robot es capaz de imitar el comportamiento observable de un ser pensante, entonces no importa que internamente no cuente con los procesos que nosotros experimentamos (como una vocecita que tiene razonamientos, o una imagen en nuestra mente), para todo fin práctico el robot “piensa” (un argumento similar a los que esgrime la corriente conductista de la psicología que fue tan popular por esa misma época). Ya en 1966, Joseph Weizenbaum creó ELIZA, el primer programa que aparentaba pasar satisfactoriamente la prueba de Turing y desde entonces, han existido montones de intentos (algunos más exitosos que otros) de hacer robots que conversan y se ha convertido en un problema clásico de la ciencia de la computación. Hacer robots que escriben artículos académicos es un caso especial del problema.

En 2005 un grupo de investigadores de MIT escribieron el programa SCIGen, que a su vez escribió “Rooter: a methodology for the typical unification of access points and redundancy” que fue admitido por la novena multi-conferencia internacional en Sistemas, Cibernética e Informática (WMSCI). Pero no sólo publicaron un artículo lleno de sinsentido generado aleatoriamente por su programa, sino que además liberaron el mismo como una descarga gratuita para que cualquier usuario con suficiente curiosidad pueda tener en su computadora personal un generador de artículos académicos (en principio, sobre ciencias de la computación). Los 120 que reportó Cyril Labbé este año, están todos escritos por SCIGen. Ahora, si bien el párrafo anterior estuvo dedicado a las posibles motivaciones para crear un programa que escribe sobre ciencias de la computación, entender la motivación para publicar los artículos en revistas científicas es bastante más complicado y requiere que discutamos primero la siguiente pregunta.

¿Cómo es posible que textos generados al azar engañen a editores de publicaciones científicas?

Si nunca has leído un texto escrito por un robot,  puedes experimentar con las aplicaciones “What would I say?” o “Tofu Product”, para Facebook y Twitter respectivamente. El principio con el que funcionan es similar a SCIGen: toman partes de escritos previos y los acomodan aleatoriamente para producir nuevas publicaciones. Pero no hace falta mucho tiempo para descubrir que, si bien algunos de los resultados aleatorios son interesantes, divertidos o simbólicos (el primero que me salió a mi fue “No hay problema”) la gran mayoría parecen escritos por un esquizofrénico o, en el mejor de los casos, alguien con una atención francamente muy pobre (“war es probable que el ya se resolvió” fue el resultado de otro de mis intentos). Suena sorprendente que un programa que funciona de modo similar sea capaz de producir un texto completo que pueda hacerse pasar por una creación humana original. ¿Cómo es que SCIGen logra salirse con la suya? Hay al menos dos factores que contribuyen. Por un lado, los textos científicos tienen características formales que los distinguen de otros escritos. Para empezar, su principal objetivo es ser informativos, por lo que el lenguaje que usan suele ser neutro, monótono, llano. Tienen todos una estructura muy similar: empiezan por el “abstract” y terminan en las conclusiones, pasando por los resultados y la discusión. Además, son altamente especializados, lo que implica que usan muchos términos técnicos cuya referencia suele ser complicada de determinar. Es decir, prácticamente todos los artículos de una rama del conocimiento tienen elementos que se repiten, y si algo se repite, entonces un robot puede hacerlo. Un buen ejemplo de cómo esas características formales contribuyen a la dificultad para evaluar si un texto es originalmente humano o no, es el juego que se encuentra aquí. En el enlace se presentan dos títulos de artículos científicos, uno de los cuales fue generado por un robot. ¿Puedes distinguir cual es cual?

Ahora bien, imitar la forma de un artículo es mucho más fácil que imitar el contenido. Como la misma página de SCIGen informa, su propósito “es maximizar el entretenimiento, más que la coherencia”.  Y también advierten que “un propósito útil del programa es auto-generar entradas a conferencias que sospeches que tienen estándares de admisión muy bajos”. Originalmente, la idea de tener robots que escriben sobre ciencia empezó como una crítica a algunas conferencias que, en vez de promover estudios científicos serios, simplemente iban detrás de la ganancia económica. Pero la crítica en forma de artículo espurio caló más hondo de lo que se esperaba y ha sido capaz de mostrar que existe un problema sistémico en la forma en la que se revisan las publicaciones y por lo tanto, en la manera en la que se evalúa el mérito científico de las investigaciones. En el fondo, la única explicación convincente para el engaño de los robots es que el control de calidad de las publicaciones se ha deteriorado frente a la creciente presión que tienen los investigadores para publicar y los niveles de especialización que se requieren para revisar concienzudamente los detalles técnicos de los artículos. De este modo, el poder de cómputo de los robots, capaz de generar contenido falso, pero aparentemente verdadero, más rápido de lo que un revisión cuantitativa y rutinaria es capaz de discernirlo, se convierte en una llamada de atención sobre la organización institucional del quehacer cotidiano de los científicos.

¿Qué se puede hacer para minimizar el impacto de estos engaños?

La primera alternativa es declarar la guerra de los robots que escriben sobre ciencia. Cyril Labbé, el francés que reportó los 120 artículos, tiene en su sitio web un programa al que le puedes enviar un artículo y determina si fue escrito por SCIGen. Me puedo imaginar lo que viene a continuación: se inaugura una nueva rama de la ciencia de la computación en la que hay una competencia por hacer algoritmos que engañen a los algoritmos que se hicieron para revisar algoritmos, un poco como lo que pasa entre los que escriben virus y los que escriben antivirus pero alrededor de las publicaciones (a los computólogos les encantan estas batallas).

Pero tal vez una respuesta más sensata es aprender la lección que nos han dado los robots y comenzar a modificar la forma en que evaluamos la información, a la ciencia y a los científicos. En la medida en la que los criterios de promoción académica sean exclusivamente cuantitativos, la ciencia estará expuesta al bombardeo constante de balbuceos inconexos e incoherentes disfrazados en la forma de seriedad y bata blanca, algunos de ellos provenientes de robots. En este sentido, existe ya un amplio sector de la comunidad científica que está expresando su inconformidad con los actuales criterios de contratación, promoción y evaluación de los investigadores, y los criterios usados por las revistas para revisar las publicaciones. Un ejemplo importante de este movimiento se encuentra en la Declaración sobre Evaluación de la Investigación de San Francisco (que tiene el slogan: Poniendo ciencia en la evaluación de la investigación), firmada en diciembre de 2012 por editores de revistas científicas, e investigadores (principalmente de las áreas de medicina y salud) y que básicamente llama a todas las partes a promover un mejor balance entre los análisis cuantitativos y cualitativos.

Así es que, como decía en un inicio, celebro que entre toda la información que hay en la red, mucha buena, pero muchísima mala también, sea este el texto que decidiste leer. Como despedida, imagina que pasaría si ahora buscas en internet algo relacionado con este artículo, no se, SCIGen o Labbé, o algo así. Seguro que te salen algunas páginas interesantes, y seguro que en alguna de ellas mencionan a Turing, a ELIZA y a Sokal. Un robot fácilmente podría realizar esta búsqueda, seleccionar algunas partes del texto al azar, incluso poner algunas “entre comillas” o como citas y publicar su propio artículo sobre el tema. Con suficiente tiempo, los robots también escriben algunos textos que tienen valor, artículos que, a pesar de haber sido generados al azar, de hecho revelan investigaciones científicas fidedignas. Recuerdo un pasaje de la Historia Interminable en la que su protagonista se encuentra un ciudad habitada por unos seres que perdieron el lenguaje y que se dedican exclusivamente a jugar unos dados con letras y a acomodarlos en palabras aleatorias. “Si se juega eternamente, tendrán que surgir todos los poemas, todas las historias posibles, y luego todas las historias de historias, incluida ésta en la que precisamente estamos hablando.”

Dicho todo esto, ¿sigues convencido de que tu capacidad de distinguir información genuina no fue engañada por un robot?

Escrito por Nicolás Gaudenzi - 27 octubre, 2014
Tags | computación, divulgación científica, engaño, Filosofía de la ciencia, inteligencia artificial, internet, robótica

También podría gustarte

Científicos Anónimos QRO #23: Mitos del compostaje

27 agosto, 2022

Científicos Anónimos QRO #32: Animales fantásticos y dónde encontrarlos, de un mundo mágico a un mundo real

9 junio, 2023

KAMAZOOTRA en la FAC. CIENCIAS UNAM

2 marzo, 2020

2 Comentarios

  • GRAN SHOW RADIOFÓNICO presenta: ATRACCIÓN FATAL - Sociedad de Científicos Anónimos 10 febrero, 2019 at 8:34 pm

    […] Aquí puedes leer un texto de Nico al respecto de lo que estaremos charlando:  https://cientificosanonimos.org/robots-que-escriben-sobre-computacion/ […]

    Reply
  • Software y hardware evolutivos – Sociedad de Científicos Anónimos 19 abril, 2018 at 5:25 pm

    […] Robots que escriben sobre computación […]

    Reply
  • ¡Inicia la conversación!
    Cancelar respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

    Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

    Siguiente publicación
    Publicación anterior

    Síguenos en Facebook

    Síguenos en Instagram

    cientificosanonimos

    Gran entrada y que bonito evento el de ayer noche Gran entrada y que bonito evento el de ayer noche en @lamano_jardin con @santiago_arau gracias por acompañarnos y nos vemos en enero para más efervescencia neuronal
    TERCERA LLAMADA: nos vemos hoy con @santiago_arau TERCERA LLAMADA: nos vemos hoy con @santiago_arau para nuestro especial decembrino: ciencia, arte, antropología, historia entrelazadas en la exploración urbana... Imperdible para todos los que aprecian la CDMX

Volcanes, lagos, vestigios arqueológicos, pedregales y humedales, manchones de bosque, tierras de cultivo, nopaleras, canales, chinampas y un variopinto legado arquitectónico conforman el lugar en el que habitamos, el gran Valle de Anáhuac; en otros tiempos conocido como la región más transparente.

Acompáñanos a conocer, y sobretodo a reconocer, la urbe y sus alrededores, así como la rica historia que la consagra, desde la perspectiva aérea. A ojo de águila, o quizás mejor dicho de dron, refrescaremos las nociones que imperan sobre la megalópolis mexicana y el territorio en el que se despliega, al tiempo que observamos nuestro andar desde lo alto. Presente, pasado y futuro convergen en este banquete visual

Nos vemos en @lamano_jardin
    ¿Tienes idea cuántos volcanes hay en la CDMX? ¿ ¿Tienes idea cuántos volcanes hay en la CDMX? ¿Sabes cómo se llama el que tiene una cancha de fútbol en el cráter y cuáles están a punto de quedar enterrados por el asfalto? Nos vemos mañana en @lamano_jardin para sobrevolar la megalópolis a bordo del dron de @santiago_arau
    ¿Ya sigues las diversas cuentas de nuestros rizom ¿Ya sigues las diversas cuentas de nuestros rizomas en la república? Si vives en alguna de esas ciudades o sus alrededores, ese el mejor portal para enterarte de todas las actividades cerca de ti... gracias por participar y seguimos con este movimiento de expansión científica
    Te invitamos a nuestra posada científica 2023 don Te invitamos a nuestra posada científica 2023 donde tenemos la intención de unir el arte y la ciencia! Tendremos el cierre de la exposición Seres que soplan de las artistas @albaparamoart @ma.jo.petersen y @vmmv_palindroma. Después procederemos a una mesa de diálogo donde platicaremos de las metodologías que existen en el arte y la ciencia. Y terminamos con un convivio para echar chismesito científico.

La cita es el viernes 8 de diciembre a las 19:00 horas en @rayon.376

#científicosanónimos #científicosgdl #arteyciencia
    "Si nunca antes se ha tenido oportunidad de atesti "Si nunca antes se ha tenido oportunidad de atestiguar el frenesí derméstido con ojos propios, quizás cueste trabajo comprender su brío y poderío. La embestida es impactante a un grado extremo. Avasalladora. Inquietante como pesadilla de infancia. Corrosiva. Da la impresión de que lo que anega y hace desvanecer los tejidos fuese un potente reactivo. Ácido sulfhídrico mezclado con peróxido de hidrógeno"... Sobre gusanos carroñeros y taxidermia autodidacta: Devastación invertebrada, de @lafiera para @revistacaratula 

Sigue leyendo acá: https://www.caratula.net/devastacion-invertebrada/

https://www.caratula.net/devastacion-invertebrada/
    ¿Por qué pasan las ballenas por Oaxaca? ¿Qué b ¿Por qué pasan las ballenas por Oaxaca? ¿Qué ballenas son? ¿Qué están haciendo aquí? ¿De dónde vienen y a dónde van? ¿Cuántas hay? ¿Están en peligro? ¿Qué podemos hacer para conservarlas? Nos vemos en @lajicaraoaxaca
    Próximos eventos en la República de científicos Próximos eventos en la República de científicos anónimos: Querétaro, Colima, Campeche, CDMX

Vengan o manden a sus amistades
    La megalópolis desde los cielos con el dron de Sa La megalópolis desde los cielos con el dron de Santiago Arau, nos vemos el viernes
    Ver más Seguir

    Etiquetas

    animales animales en peligro animales raros antropoceno antropología arte y ciencia biodiversidad Biodiversidad mexicana biología biología humana ciencia ciencia + música Ciencia en el bar ciencia en la radio ciencia y arte Ciencia y letras comunicación científica comunicación de la ciencia conservación Cultura Científica divulgación científica divulgación de la ciencia dosis de arte drogas ecología ensayo ensayo literario Eventos SCA evolución Extinción Fauna mexicana Filosofía de la ciencia hongos literatura literatura científica liternatura medicina medio ambiente naturaleza podcast psicología radio salud Salud pública zoología

    Contacto

      Presskit

      Descarga nuestro presskit para saber más sobre nuestra plataforma interactiva para la comunicación de la ciencia.

      Contenidos

      Eventos

      Podcasts

      Artículos

      Videos

      Tienda

      Sobre SCA

      Facebook

      Instagram

      Twitter

      ®Sociedad de Científicos Anónimos, 2018