La torre torcida de PISA. ¿Qué significa «medir»?

«No hay hechos, sólo interpretaciones»
Friedrich Nietzsche

 

Me gustaría que este post fuera tomado sólo como un recordatorio. Que sirviese para refrenar, por un instante, los  impulsos interpretativos que legitimamente tenemos maestros y profesores cuando caen en nuestro poder los datos con que nos bombardean estudios y encuestas sobre la calidad educativa en general y el nivel de conocimientos del alumnado en particular. Entre ellos, como se sabe, el informe PISA ocupa un lugar destacado. PISA ha hecho públicos hace poco tiempo los resultados relativos a la competencia/alfabetización digital de la presunta generación de nativos ídem, sin mucho éxito, al parecer.

Quisiera destacar una cuestión preliminar, antes de pasar a las consideraciones que son el auténtico objeto del post. Y es que, independientemente de que PISA mida lo que pretende medir, el tema es para mí otro: ¿es “eso” lo que hay que medir? ¿Está ayudando la elección de las materias calificadas, la estructura del formulario, la selección de las preguntas (en tipo y en contenido) y las muestras, es decir, eso que, hablando técnicamente se denomina el diseño experimental de la investigación, y de lo que poco se habla, a establecer auténticos criterios para reestructurar la mirada que el siglo XXI debe dar a la educación? ¿Vamos, a base de pruebas de este tipo, a enderezar la torcida torre del aprendizaje, promoviendo políticas de cambio, pero de cambio real?

Bien, dejo las preguntas ahí, pues quiero entrar en materia, señalando, como se podrá deducir por el hecho de haberlas verbalizado, que el que escribe duda profundamente de que sea así. Ahora quiero recordar por qué este tipo de estudios cuantitativos en el ámbito de las ciencias humanas deben ser tomados con todas las precauciones del mundo, en el instante de producir teoría sobre los datos que ofrecen. Espero que el lector entienda la relación que existe entre las parrafadas que me dispongo a dispararle y el fenómeno que consiste en poner a los países en fila para medir a sus estudiantes, al amparo del método científico.

A ello.

    1. El conocimiento científico es sólo un tipo de conocimiento. Ni es todo el conocimiento, ni necesariamente el mejor, salvo si es enjuiciado según sus propios criterios. Ni tampoco excluye otro conocimiento de tipo complementario. La objetividad, como criterio supremo de la ciencia (en particular cuando la ciencia se opone a otras metodologías) es un supuesto teórico del modelo de investigación científica. Decir que un hecho es objetivo es decir que se corresponde con una serie de propiedades que los mismos científicos han introducido, definiéndolas antes, en la naturaleza. De manera que el conocimiento científico se corresponde, y no puede ser de otro modo, con las propiedades que nosotros hemos determinado como esenciales en el mundo. Si yo digo que el peso de un cuerpo es una propiedad «objetiva» sólo estoy diciendo que lo es dada determinada definición de cuerpo y de peso. Cuando afirmo que la distancia entre A y B es de tres metros no indico ninguna cualidad objetiva del espacio, sino sólo una cualidad objetiva del sistema de medida utilizado. Cuando afirmo que una variable crece a la vez que otra (por ejemplo, que la estupidez de los políticos aumenta a medida que se aproximan las elecciones) lo único que indico es que las variables tienen la propiedad de crecer o decrecer, propiedad que se corresponden “objetivamente” con el concepto de variable. Se deduciría de lo expuesto, y muy especialmente en el ámbito de la investigación sociológica, psicológica y pedagógica, que lo máximo que podemos pedirle a una interpretación es que avance sin contradicciones a partir de una hipótesis inicial o conjunto de ellas, y no que sea “verdadera” en un sentido objetivo e independiente del diseño de la investigación. Los metodólogos lo saben. Los cientificos rigurosos lo saben. Debemos esperar, pues, que se tenga en mente ese hecho a la hora de diseminar conclusiones.
    2. Hace mucho tiempo que la ciencia no se organiza como una actvidad individual ni altruista. Los paradigmas científicos se configuran como ambiciosos programas de investigación determinados por factores internalistas, pero también externalistas. Por ejemplo, la rentabilidad de un programa de investigación, el soporte político del mismo o el “tamaño” del público al que puede prestar sus beneficios son elementos claves del éxito del programa. Paul Feyerabend lo explicó con claridad: no existe la verdad científica; la verdad científica no es un criterio objetivo de medida, y, en cambio, depende del dinero. Quien tiene más dinero tiene más posibilidades de tener razón. Tenemos una buena muestra de ello en las llamadas enfermedades raras. Sobre éstas no existe “verdad” científica sencillamente porque el número de afectados es tan escaso que no resulta rentable iniciar un programa de investigación. Feyerabend explicó también que ningún sistema de reconstrucción racional de la historia de la ciencia había podido explicar en realidad cómo se habían producido descubrimientos que consideramos esenciales para el progreso científico, como la inercia o la gravitación. Tal como apuntaba Antonio Gramsci, la ciencia no es más que un paradigma que da sentido a una comunidad interpretativa, en tanto que otras cosmovisiones dan sentido a otras comunidades interpretativas.
    3. Para terminar, quisiera recordar también que toda una escuela sociológica, la Escuela de Frankfurt (Herbert Marcuse, Max Horkheimer, Theodor W.Adorno), se ha ocupado de la vertiente social e ideológica de la ciencia. Por mucho que Jürgen Habermas discutiera sus tesis, especialmente las de Marcuse, en su texto La Ciencia y la Técnica como Ideología, lo cierto es que aquellos autores son esenciales para contextualizar social y políticamente la investigación científica, y para comprender que la “razón científica” es, a través de su alianza con la tecnología, una razón identificante o alienante. No es posible, pues, reclamar alegremente la objetividad de los resultados de una investigación independientemente de las expectativas que la motivaron y, sobre todo, del uso que va a darse a tales resultados. No existe la neutralidad de los modelos, así como tampoco la de los instrumentos. Conviene recordar esto al hilo de otro debate frecuente: el de si las herramientas digitales son o no neutras, y es el uso que se les da lo que determina su efectivad, su legitimidad, o ambas. Pero esto lo ignoraremos, por el momento, pues sólo contribuiría a torcer más la torre.

Me gustaría que cada lector hiciera por su cuenta el esfuerzo de poner en conexión estas reflexiones, o al menos tenerlas presentes, cuando tenga que vérselas con los debates e interpretaciones suscitados a propósito de los miles de informes que nos hunden en la miseria educativa y nos comparan con egregios y nórdicos héroes rubios o lejanas hordas conquistadoras de Oriente.