¿Quién vigila a los vigilantes?

Hay un sitio, que se llama Chequeado que tiene una idea muy interesante y valiosa. Toma declaraciones de figuras públicas, y las chequea contra la realidad.

En base a ese chequeo, les asigna una calificación, que puede ir desde "VERDADERO" hasta "FALSO". En el medio hay otras, que son más subjetivas. Por ejemplo, una es "ENGAÑOSO".

Lo definen así:

El dato puede contener costados verdaderos, pero intencionalmente o no, ha sido manipulado para reforzar una afirmación concreta.

Dado que es la tercera peor calificación (debajo de otras seis como "EXAGERADO" o "DISCUTIBLE" y sólo por encima de "INSOSTENIBLE" y "FALSO"), es razonable esperar que por lo menos una parte de la declaración que chequean sea falsa.

Es decir, creo, me parece, que "puede contener costados verdaderos" implica que hay por lo menos algo falso, o al menos que está expresado de manera tan parcializada que es, por así decirlo, mentir diciendo la verdad (como el aceite vegetal "libre de colesterol").

Me hizo un poco de ruido ver que se calificó así esta declaración:

“Somos en América Latina los que más científicos tenemos por cada 1.000 habitantes”

—Cristina Fernández de Kirchner

Y digo que me hizo ruido porque es cierto que dijo eso, y es cierto que eso es cierto. Y ni siquiera está muy cerca, es recontra cierto. Es tan cierto que el análisis de chequeado dice lo mismo.

La única crítica que se hace a la declaración es esta:

Sin embargo, el indicador utilizado por Cristina Fernández es cuestionable, ya que medir la cantidad de científicos por habitante no demuestra un avance de la ciencia per se.

Que es también cierto, pero no habla de la misma cosa.

Creo que el problema principal es ponerse de acuerdo en una pregunta: ¿Qué estamos tratando de medir?

En chequeado hablan de "avance de la ciencia". La presidenta estaba hablando de "cantidad de científicos". Desde ya que es esperable que haya una correlación entre ambas cosas, de la misma manera que puede haberla (con correlaciones variables) entre la cantidad de albañiles con trabajo y la cantidad de casas construídas, etc. Por eso se lleva la estadística de densidad de científicos en la población, porque es un indicador útil.

Si uno piensa un poco, y mira la tabla que la gente de chequeado tan amablemente provee, va a ver que en el 2003 había 39393 científicos trabajando en la Argentina, y ahora hay 69693.

Eso no es un dato menor. En el 2003 había el 56% de los científicos que hay ahora. Eso también quiere decir que el 44% de los científicos lleva menos de diez años trabajando. Mover el borde del conocimiento lleva años. Lleva años trabajando con mucha gente. Y no todo el mundo lo logra, pero los que seguro no lo logran son los que no investigan, y los que seguro que no lo logran en Argentina son los que emigran para hacerlo afuera.

Si lo que queremos medir es "avance de la ciencia" lo primero que se necesita medir es cuanta gente trata de avanzarla, y qué recursos se les da para que lo hagan. El gobierno en sí no va a crear ciencia. Lo que puede hacer es fomentarla. Puede financiar al Conicet mejor que gobiernos anteriores, puede financiar universidades mejor que gobiernos anteriores, puede mejorar el presupuesto educativo, etc. Es un rol indirecto. Producir ciencia no es producir casas. El gobierno puede fomentar la ciencia ahora, y en una de esas el resultado se da dentro de diez años. O veinte. O treinta. Pero no se puede decir que es engañoso decir que la fomentan ahora.

Esa medición, es la que describió la presidenta, y es cierta. Medir "cuanta ciencia se hizo en Argentina en el 2012" es mucho más difícil, y más ahora, porque los resultados se ven años después.

Algunos de los indicadores sugeridos como alternativas son "patentes, publicaciones internacionales y referencias de otros a esas publicaciones". ¿Dan esos datos un valor distinto al de la densidad de científicos en la población? No lo sé, y al parecer tampoco lo sabe chequeado, ya que no lo dice. O sea, toma un dato, lo descarta porque otros datos serían, en su opinión, mejores, pero no muestra los datos mejores.

La cantidad de científicos trabajando es un leading indicator de la actividad científica, mientras que la cantidad de patentes, o papers, o referencias a los papers son trailing indicators. Hay muchos científicos primero y después hay mucha actividad científica, y después hay papers, y patentes, y después hay referencias a esos papers. Porque el tiempo corre en esa dirección ¿vio?

En consecuencia, la calificación asignada es INSOSTENIBLE al no estar respaldada por ningún dato, con el agravante de que los datos disponibles la contradicen.

NOTA: No soy científico, pero he tomado mate con muchos.

UPDATE: Si quieren ver algunos de los números que chequeado sugiere son mejores indicadores acá hay una presentación con datos del 2007 les aviso que dicen mas o menos lo mismo.

UPDATE 2: Acá hay mejor data (gracias a @fragillaria), del 2010 que nuevamente, muestra un progreso muy interesante en la evlución de la calidad de la producción cientifica argentina: researchtrends Es particularmente interesante porque son las métricas que chequeado menciona (¡sin dar datos!). Al final, parece que el INSOSTENIBLE puede ser medio generoso.

Comentarios

Comments powered by Disqus