Ernesto Priani

Criterios de evaluación de publicaciones digitales

La producción científica, especialmente en las ciencias sociales y en las humanidades, ha girado en torno a la publicación de libros y artículos. En gran medida, la acreditación del valor y la calidad científica de esas publicaciones ha sido, y continua siendo, dependiente del proceso de publicación editorial tradicional: el proceso de selección de los textos por un editor o comité editorial o grupo de pares, la periodicidad obligada por la forma de producción de la revista, el prestigio de la casa editorial y su capacidad de distribución, etcétera. Hoy sin embargo, la aparición de Internet ha venido a poner en cuestión este modelo, abriendo una serie de debates cuyo final es aun incierto, pero que en los hechos han comenzado a discutir desde la continuidad del libro (y la revista impresa) como dispositivo de lectura, la permanencia de la industria editorial bajo el modelo que hoy conocemos, hasta la forma de llevar a cabo el proceso de revisión por pares. Esto significa, para la acreditación del valor y la calidad científica de las publicaciones, un desafío enorme, no sólo por la necesidad de adecuar los modelos actuales de validación a los cambios de soporte (como se ha hecho parcialmente en el caso de las revistas), sino por la necesidad de encontrar formas de evaluación de calidad científica para formatos y modos de publicación que no corresponden ni al libro ni al artículo, y que siguen un proceso de elaboración y difusión completamente diverso. Sin la pretensión de ser exhaustivo, me refiero a los blogs, a las producción de ediciones académicas en línea, la generación de bibliotecas digitales, los sistemas de colaboración bajo el modelo de redes sociales y, para dejarlo abierto, todas las que de un modo u otro, están aun por venir. Las reflexiones que presento a continuación intentan presentar los problemas de evaluación a los que nos confrontan estas nuevas producciones científicas, así algunas propuestas de criterios de evaluación y validación, de estas publicaciones.

II
Comenzaré refiriéndole, muy brevemente, al tema de las revistas digitales, como primer paso para introducir los problemas centrales a los que se enfrenta la formulación de criterios de evaluación científica para las nuevas publicaciones.
La aceptación de revistas en formato electrónico por parte del Conacyt ha sido relativamente resiente y producto, como puede saberse, de la sistemática migración de las revistas académicas a formatos digitales, la aparición de nuevas revistas en este formato y la aparición de los repositorios digitales de artículos académicos, que han generalizado el uso de archivos en vez de revistas.
En esencia, el reconocimiento de las revistas digitales se ha hecho, como cabría esperar, bajo el mismo modelo de las publicaciones en papel. Los criterios de valoración académica son, en esencia idénticos y solo hay dos requisitos en donde se reconoce que se está ante un sistema diferente de publicación. Uno es la exigencia de hacer públicas las estadísticas de distribución (numero de visitantes, artículos descargados, etcétera) y la otra, el establecimiento de la periodicidad a la que se comprometa la revista. Hay que decir, sin embargo, que sin hacerlo explícito, estos criterios asumen también, de manera relevante, que las revistas digitales deben ser repositorios de archivos y que los artículos no son documentos HTML o XML, sino archivos descargables, txt, pdf, doc, rtf.
En principio, podemos calificar estos criterios de valoración como conservadores respecto a las posibilidades de edición electrónica. Básicamente, exigen a la revista digital comportarse como una revista de papel escaneada. Esto no constituye en sí mismo un problema. Pero muestra, sin embargo, que no se toman en cuenta ciertas características fundamentales de la publicación digital que deberían conformar criterios centrales de valoración para una publicación científica y académica. Enunciaré dos que me parecen centrales hoy: uno es la habilidad de búsqueda dentro de las revistas, dos, es la inclusión de protocolos para compartir información, como OAI, que permitan la indexación de la información por otros sistemas.
En realidad, una revista no es digital porque ofrezca a través de internet un índice plano y resúmenes, o incluso descargas de PDF o archivos HTML de su contenido. Sin habilidades de indexación, búsqueda y recuperación de la información, es como si siguieran siendo de papel, pues en un punto serían “mudas” para la red. Un cajón más donde buscar en lugar de un sistema realmente integrado a la circulación de conocimientos.
Lo que hace que los repositorios de artículos académicos sean tan populares y cada vez más necesarios como herramienta de investigación, es precisamente porque indexan mucha información de los artículos a su disposición y ofrecen herramientas sofisticadas de búsqueda. Y el valor de los repositorios sobre las revistas es precisamente que facilitan el encuentro de la información apropiada, en bases de datos amplísimas.
Lo que ocurre es que Internet es mucho más que un canal de distribución. Internet es sobre todo una gran herramienta de búsqueda y recuperación de información, y en estos momentos, cada vez más, un vehículo de socialización de la información. Para que una revista científica cumpla su cometido científico debe poder colocar información para su circulación en internet. Y esa circulación debe contemplar, precisamente, habilidades de búsquedas dentro de su sitio, tanto como capacidades de compartir la información. Incluir estos como criterios elementales de valoración científica en las revistas digitales deberá conducir a eliminar algunos formatos de archivo (txt, rtf, docs) por ser inoperantes para compartir información e incluir otro formato además del PDF, como es XML, para que la búsqueda pueda ser más sofisticada.

II
Pero dejemos ahora las revistas y pasemos a hablar de eso a lo que se le llama “libro electrónico”. Desde mi punto de vista, hay varios factores que están influyendo para que el PDF se esté convirtiendo en un “libro electrónico”. Por un lado, existen una serie de condiciones que están empujando el mundo de la edición especializada hacia la publicación electrónica. Una es el hecho de que mientras los presupuestos para la edición en papel se mantienen o, incluso, van en declive, la presión para que investigadores y profesores generen publicaciones va al alza. Por otro lado, las limitaciones en el número de ejemplares que se autorizan para cada tiraje con presupuestos universitarios (500) y las deficiencias en la distribución de los libros, hacen que el impacto de éstos sea, en realidad, mínimo, y que la distribución en internet de archivos electrónicos se vuelva mucho más interesante. Se sabe por otro lado, que los artículos publicados en internet tienen un índice de citación mayor que los publicados en papel. (Christine L. Borgman. The Digital Future is Now: A Call to Action for the Humanities. Fall 2009 Volume 3 Number 4)
Por otro lado, hay una serie de hechos que han ido haciendo del PDF la metáfora electrónica del libro. Uno, la circulación de libros escaneados en formato PDF como práctica académica común, que ha venido a sustituir la circulación de fotocopias. Y, como ya se mencionó antes, la adopción del PDF como formato para la circulación de artículos especializados..
Sin embargo, el hecho determinante, en del terreno simbólico, para que los archivos PDF se estén convirtiendo, de la noche a la mañana, en libros electrónicos, ha sido la aparición de los dispositivos de lectura como el Kindle de Amazon y todas sus variantes comerciales, hasta el Ipad de Mac.
En realidad, no importa que los dispositivos no estén disponibles en México, y que su llegada, si alguna vez ocurre –en realidad, es aun muy pronto para saber si será la tecnología y el modelo que prevalecerá al final- pueda darse, de forma masiva, hasta dentro de algunos años. Pero el término libro electrónico, y la asociación de dispositivos con librerías virtuales como Amazon y casas editoriales, ha venido a ser clave para que, súbitamente, algunos bites se conviertan el libros.
Ahora bien, definir criterios de evaluación en estas publicaciones es urgente, porque ya se están produciendo libros electrónicos y una forma importante de producción científica pasará en muy poco tempo a aparecer en este formato. De hecho, uno de los problemas fundamentales al definir los criterios de valoración de las publicaciones académicas, es que el sistema tiene que cambiar una posición conservadora, por una posición activa de producción de políticas para la evaluación y el reconocimiento de los productos digitales, no sólo para valorar los que de hecho ya se están produciendo, sino para no frenar el desarrollo científico al quedar atado a modelos y sistemas de valoración que no corresponden a lo que está produciendo la comunidad científica.
El desafío principal que plantea el libro en PDF es que no es necesaria una casa editorial para producirlo y que la confianza depositada en la producción del libro como un gasto que solo se justifica a partir del valor de la publicación, desaparece. El problema, si embargo, aquí es idéntico al de las revistas. El libro no será más que un artículo grandote. Y el problema debe plantearse en términos muy semejantes a los de las revistas. Cómo deben ser los repositorios y cómo deben operar, dictaminar, elegir la inclusión de un archivo, los repositorios de libros electrónicos para que sean reconocidos académicamente.
De hecho, los criterios aplicados a las revistas, pueden aplicarse aquí también y, de nueva cuenta, solo habría que insistir en que deben contemplar formas de búsqueda y de indexación para que realmente tengan un valor científico como distribuidores de conocimiento.
Quizás en este momento se pueda ver con más claridad, que lo que antes llamábamos libros y revistas, y casas editoriales, ahora pueden llamarse repositorios electrónicos. De hecho, la discusión más intensa en la industria editorial norteamericana tiene como fondo esto: la creciente importancia de quien distribuye digitalmente, frente a las casas editoriales que, como las disqueras, están perdiendo la batalla de hacer llegar a los lectores los textos de manera más eficiente. (Cf. Publish or Perish Can the iPad topple the Kindle, and save the book business? by Ken Auletta)
Esto quiere decir que debe contemplarse trasladar los criterios académicos hacia un nuevo instrumento que son los repositorios digitales institucionales. Esto llevará todavía cierto tiempo, pero es importante que comencemos a pensar en ellos, para definir criterios y modelos de valoración, y para estimular la creación de repositorios institucionales.

III
Paso ahora a la parte que me parece más relevante, y que son todas los productos académicos que no tienen un equivalente en papel, y cuyos ejemplos son muy escasos en la producción académica mexicana, en gran medida por encontrarnos con dos fenómenos simultáneos: una comunidad científica conservadora y sin conocimiento real de las nuevas tecnologías, y la falta de estímulos para la exploración de nuevos modelos de producción de conocimiento en humanidades y ciencias sociales por parte de instituciones como el Conacyt y el propio SNI, al carecer de formas para su acreditación, valoración y reconocimiento. Me refiero, en primer lugar, a las ediciones académicas de textos. Hay ediciones académicas –para no discutir aquí si son efectivamente ediciones críticas- de textos relevantes para su estudio como la edición del Codex Sinaicus  http://www.codexsinaiticus.org/en/, o las 900 tesis de Pico della Mirandola, http://www.stg.brown.edu/projects/pico/index.php, por citar sólo dos que yo frecuento. Ambas son ediciones muy especializadas en formato digital, sustentadas en una serie de procedimientos académicos ya estandarizados en buena parte del mundo, a partir de los cuales es posible reconocer la calidad académica de la publicación. Los criterios son similares a los utilizados en bibliotecas digitales (que son distintas a las bibliotecas digitalizadas) como el Perseus project (http://www.perseus.tufts.edu/hopper/) de textos clásicos, o la biblioteca Bivio de textos renacentistas http://bivio.signum.sns.it/. Estos tienen que ver con el modo de representación de los textos (trascripción, imagen), su marcado utilizando estándares de XML como TEI de la Text Encoding Iniciative, el uso de estándares de interoperatividad como OAI para la difusión de su contenido a otros sistemas, y buenas prácticas como la documentación publica de los procedimiento seguidos, la acreditación académica de los participantes, el respaldo de instituciones al proyecto. En México ya hay en desarrollo, algunos incluso respaldados por el Conacyt, proyectos de esta naturaleza. Pero no hay, ya no digamos criterios de valoración, sino formas de acreditar este trabajo.
Es decir, el formato de captura de información del SNI en informes y solicitudes, no incluye un la posibilidad de documentar proyectos digitales como ediciones académicas. Además, en mi experiencia personal, en los criterios seguidos por los evaluadores, los proyectos digitales simplemente no son considerados, ni siquiera enumerados como parte de la producción científica evaluada. En otras palabras, no existen.
Se sabe, sobre todo en el área de humanidades, que algunos evaluadores han recomendado hacer una “obra de largo aliento” , lo que de suyo es académicamente incomprensible, pero que expresa claramente a mi juicio, una cultura centrada en un modelo que no es ni colaborativo ni digital, sino claramente centrado en el libro y en la imagen del investigador solitario que es, precisamente, la que está cambiando.
La preparación, diseño y ejecución de un proyecto de edición académica, como las mencionadas arriba, es un trabajo extraordinario que exige tanto rigor como el más complejo de los libros, y es necesariamente un trabajo de colaboración. Su valor como medio para socializar el saber y multiplicar su explotación colaboración, es infinita. Por eso considero que tenemos que avanzar, en este terreno, en dos direcciones: la primera es en la forma de acreditar este trabajo en los informes y en los medios de evaluación tanto en el SNI como en las instituciones académicas. La segunda, es que tenemos que colaborar en la difusión de estos productos como productos de alto valor académico, lo que implica a la vez, un esfuerzo de reconocimiento y de promoción de una cultura digital en todos los miembros del sistema.
Hay otros productos que pueden incorporarse a esta discusión. Por ejemplo, los sitios web de investigación. No me refiero a los sitios de grupos académicos o de instituciones que anuncian lo que trabajan y lo que hacen, sino los que son resultado de la investigación. Por ejemplo, el sitio sobre las noticias en la época de los derechos civiles de la Universidad de Virginia, o sobre la emigración de afro americanos a Liberia en el siglo XVIII. Estos son productos de investigación y formas de comunicación científica que como los dos anteriores, también requieren de un espacio para su acreditación y de la estandarización de criterios para su evaluación académica. En el mismo sentido, su reconocimiento académico debe ser difundido entre los miembros de las comisiones evaluadoras y del sistema todo, quizás a partir de los mismos criterios propuestos paa las ediciones académicas.
Dejo al final los blogs porque son más polémicos, y no me referiré a actividades tan resientes como el participar en redes sociales académicas. Decir que un blog puede ser una publicación académica quizás suena provocador. Pero no lo es. Los blogs académicos existen y algunos están alcanzando un prestigio muy alto, como medio de socialización del conocimiento y de diálogo académico. Pongo solo dos ejemplos de los muchos documentados por su continuo uso por la comunidad académica por bibliotecarios (Nancy L. Maron and Kirby Smith. Digital Scholarly Communication. A Snapshot of Current Trends), como son http://peasoup.typepad.com/ para el mundo de la filosofía o http://www.realclimate.org/ para el de las ciencias. ¿Puede la academia mexicana generar criterios para valorar y reconocer este tipo de producción académica y hacerlo rápidamente?
De entrada, no me atrevería a proponer aquí criterios específicos sino apertura. Sería interesante identificar primero qué blogs se están produciendo en el ámbito de la ciencia y las humanidades en México, y desde ahí, comenzar a establecer formas de reconocimiento del trabajo científico expresado por ese medio. El SNI, como el Conacyt, son instituciones con capacidad para promover la utilización de otros medios de comunicación científica, o simplemente frenarlos. Y en este caso, es importante que los blogs académicos encuentren un lugar dentro del sistema. Es importante que el sistema no sea indiferente a este tipo de producción que de manera privilegiada alimentan y mantienen los investigadores más jóvenes y que sin duda lo harán las generaciones que se están formando. Para decirlo de manera muy simple: los productos académicos están cambiando. Hay nuevas formas y modelos de producción de conocimiento que requieren ser reconocidas. El SNI, como el Conacyt, tiene, en este caso, que ser parte activa en el reconocimiento y promoción de esos esfuerzos.
Hay un dato importante a considerar. En relación con lo que se está haciendo en el mundo, México está más de 20 años atrás, por lo menos, en el conocimiento y uso de las tecnologías de la información para su aplicación en las humanidades y ciencias sociales. Y un dique definitivo ha sido la indiferencia del SNI ante estas nuevas formas de compartir el conocimiento. Simplemente, la carencia de herramientas para acreditarlas, reconocerlas e incorporarlas a los modelos de hacer ciencia, es el ejemplo más claro de esa indiferencia.
Termino diciendo. El proceso de sustitución de un modelo basado en el libro por un modelo basado en la socialización del conocimiento, se está acelerando. Y lo que ello implica, en muchos sentidos, es una fractura generacional. En un punto, llegarán a saber –o de hecho, ya saben más- los jóvenes que los experimentados. Ese es un punto de tensión y de dificultad sin duda. El desconocimiento de cómo operan los nuevos sistemas, la sensación de imposibilidad frente a su uso, son factores que agudizan el empecinamiento en el uso de un modelo que esta en proceso de caducidad. Pero a nosotros nos toca, como comunidad, ser generosos y abrir la puerta a la innovación.

Deja un comentario