Los académicos acusan a las startups de IA de cooptar la revisión por pares para obtener publicidad

Existe una controversia creciente sobre los estudios 'generados por IA' presentados en la conferencia ICLR de este año, una conferencia académica de larga data enfocada en la IA.

Al menos tres laboratorios de IA - Sakana, Intology y Autoscience - afirman haber utilizado IA para generar estudios que fueron aceptados en los talleres de ICLR. En conferencias como ICLR, los organizadores de talleres suelen revisar los estudios para su publicación en la pista de talleres de la conferencia.

Sakana informó a los líderes de ICLR antes de presentar sus documentos generados por IA y obtuvo el consentimiento de los revisores por pares. Los otros dos laboratorios - Intology y Autoscience - no lo hicieron, confirmó un portavoz de ICLR a TechCrunch.

Varios académicos de IA recurrieron a las redes sociales para criticar las tácticas de Intology y Autoscience como una apropiación del proceso científico de revisión por pares.

“Todos estos documentos científicos de científicos de IA están utilizando plataformas revisadas por pares como sus evaluaciones humanas, pero nadie dio su consentimiento para proporcionar este trabajo gratuito”, escribió Prithviraj Ammanabrolu, profesor asistente de informática en UC San Diego, en una publicación en X. "Me hace perder el respeto por todos los involucrados, independientemente de lo impresionante que sea el sistema. Por favor, informen esto a los editores."

Como señalaron los críticos, la revisión por pares es una tarea que consume tiempo, intensiva en trabajo y en su mayoría voluntaria. Según una encuesta reciente de Nature, el 40% de los académicos dedican de dos a cuatro horas a revisar un solo estudio. Ese trabajo ha ido en aumento. El número de documentos presentados en la mayor conferencia de IA, NeurIPS, creció a 17,491 el año pasado, un 41% más que los 12,345 en 2023.

La academia ya tenía un problema de copia generada por IA. Un análisis encontró que entre el 6,5% y el 16,9% de los documentos presentados en conferencias de IA en 2023 probablemente contenían texto sintético. Pero las empresas de IA que utilizan la revisión por pares para medir y publicitar efectivamente su tecnología es un fenómeno relativamente nuevo.

“Los documentos [de Intology] recibieron críticas positivas unánimes”, escribió Intology en una publicación en X promocionando sus resultados en ICLR. En la misma publicación, la empresa afirmó que los revisores de talleres elogiaron una de sus estudios generados por IA por sus 'ideas inteligentes'.

Los académicos no vieron esto con buenos ojos.

Ashwinee Panda, becaria posdoctoral en la Universidad de Maryland, dijo en una publicación en X que presentar documentos generados por IA sin dar a los organizadores de talleres el derecho a rechazarlos mostraba una 'falta de respeto por el tiempo de los revisores humanos'.

“Sakana se acercó preguntando si estábamos dispuestos a participar en su experimento para el taller que estoy organizando en ICLR”, agregó Panda, “y yo (nosotros) dije no [...] Creo que presentar documentos de IA a un evento sin contactar a los [revisores] es malo”.

No es de extrañar que muchos investigadores sean escépticos sobre si los documentos generados por IA valen el esfuerzo de la revisión por pares.

Sakana admitió que su IA cometió 'vergonzosos' errores de citación, y que solo uno de los tres documentos generados por IA que la empresa eligió presentar habría cumplido con los estándares para la aceptación en la conferencia. Sakana retiró su documento de ICLR antes de que pudiera ser publicado en aras de la transparencia y el respeto por la convención de ICLR, dijo la empresa.

Alexander Doria, cofundador de la startup de IA Pleias, dijo que la avalancha de presentaciones sintéticas de ICLR siguen siendo un indicio de la necesidad de que una 'empresa/agencia pública regulada' realice evaluaciones de estudios generados por IA de 'alta calidad' por un precio.

“Las evaluaciones deberían ser realizadas por investigadores completamente compensados por su tiempo”, dijo Doria en una serie de publicaciones en X. “La academia no está para externalizar las evaluaciones de IA gratuitas”.