¿Para qué sirve el informe PISA?

Puntuación de 481 en Lectura, 483 en Matemáticas y 488 en Ciencias. Éstas son las medias obtenidas por los estudiantes españoles en las tres competencias evaluadas en PISA 2009, unos valores que se acercan mucho al promedio de los países integrantes de la OCDE (entre 12 y 13 puntos por debajo).

Sin embargo, si se comparan con los resultados de los estados que ocupan los primeros puestos del ranking, las diferencias son más significativas. En todas las áreas de conocimiento analizadas, países como China, Corea del Sur, Finlandia o Canadá, destacan por su alto rendimiento. Hasta 117 puntos de diferencia se marcan entre la puntuación más alta obtenida por China en Matemáticas y el resultado de España.

En PISA 2009 se detectan discrepancias entre el rendimiento demostrado por los estudiantes de las 14 autonomías que han ampliado esta edición la muestra para obtener datos más concluyentes (todas excepto Castilla La Mancha, Extremadura y Valencia). Mientras las puntuaciones de Andalucía, Murcia, Canarias, Baleares y Ceuta y Melilla se sitúan en todas las áreas por debajo de la media española, el resto de las comunidades evaluadas obtienen resultados más elevados, en muchos casos, por encima del promedio de la OCDE. La diferencia entre la comunidad con mayor rendimiento y la que alcanza menor puntuación llega en algunas áreas hasta 112 puntos.

Pero más allá de las comparaciones entre países o comunidades, los datos que más pueden aportar a las políticas educativas son los referidos a la evolución en los resultados de los alumnos en la competencia lectora desde la primera evaluación PISA 2000, en la que, al igual que en 2009, ésta fue el área principal de análisis. El rendimiento medio de los estudiantes españoles no ha variado de forma significativa en este periodo, no obstante, el resultado ha sido 12 puntos menor en 2009. Si se compara con la anterior edición PISA 2006, en la que la Lectura se evaluó como competencia adicional, no como principal, el rendimiento ha mejorado en 20 puntos. En cuanto al promedio de la OCDE, entre PISA 2000 y 2009 se ha registrado un descenso de tan solo 7 puntos. Algunos países como Perú (+43 puntos) o Chile (+40 puntos) destacan por su buena evolución.

Como las muestras adicionales de las comunidades autónomas no se empezaron a incorporar al informe hasta el año 2003, no es posible establecer una comparativa entre el periodo 2000-2009. Si se atiende a los resultados de las 10 comunidades que participaron en la pasada edición 2006, se puede constatar una tendencia al alza en las puntuaciones de Lectura en todos los casos. Es destacable la evolución en esta competencia en algunas autonomías como Castilla y León (+25 puntos) o Cataluña (+21).

PISA es un Programa Internacional de Evaluación, iniciado en 1997 por los gobiernos de los países miembros de la OCDE (Organización para la Cooperación y el Desarrollo Económico), con el objetivo de supervisar el estado de los sistemas educativos en los distintos países evaluados. En el año 2000 participaron 32 países en la evaluación, 41 en 2003, 57 en 2006 y, en esta última edición de 2009, la cifra se ha elevado a 65 (los 33 miembros de la OCDE, más 32 países asociados).

El Programa, que tiene una duración de 15 años (2000-2015), consiste en evaluar cada tres la competencia de los estudiantes de 15 años en tres áreas cognitivas: Lectura, Ciencias y Matemáticas. Cada una de las evaluaciones se centra en una de estas áreas, mientras que las otras dos se someten a un sondeo menos exhaustivo. La evaluación PISA 2000 evaluó como competencia central la Lectura, PISA 2003 las Matemáticas y PISA 2006, las Ciencias.

En PISA 2009 se cierra el primer ciclo y se vuelve a la Lectura como tema central del estudio. Esta estructura permite que cada nueve años, que se considera un periodo apropiado para analizar el impacto de las políticas educativas introducidas a raíz de los informes, se pueda evaluar el progreso de los alumnos en cada una de las áreas cognitivas en las que se centra la evaluación y que cada tres años se realice un análisis de tendencias en las áreas restantes.

Los resultados de PISA se expresan en unas puntuaciones en las distintas áreas, que dan lugar a establecer comparaciones entre los sistemas educativos de los países participantes. Pero ésta no es la finalidad, el objetivo principal es proporcionar a los gobiernos datos relevantes y fiables que les permitan tomar decisiones en materia de política educativa.

Esto es posible porque la evaluación no se centra tan solo en obtener los datos relativos a las competencias de los estudiantes. Los resultados se relacionan y se analizan con la información referida al contexto socioeconómico y cultural de los centros educativos y de los alumnos y con sus motivaciones al aprender, la percepción de sí mismos como aprendices y sus estrategias de aprendizaje. De este modo, se pueden obtener conclusiones reveladoras de cómo interactúan estos factores y cómo influyen en el desarrollo de las competencias de los estudiantes, que permitan a las administraciones, centros, profesores y familias, adoptar medidas para mejorar la calidad de la educación.

En la evaluación PISA 2009 han participado alrededor de 470.000 estudiantes con edades comprendidas entre 15 años y 3 meses y 16 años y 2 meses, en el momento de realizar el examen. Se toman estas edades porque es cuando en la mayoría de los países los estudiantes terminan la educación obligatoria y tienen que decidir si abandonan o continúan sus estudios. Esta edad permite obtener una visión de los conocimientos y aptitudes que se han acumulado a lo largo de un periodo educativo más o menos de 10 años, en función de la edad de escolarización de los diferentes estados.

En España, realizaron PISA 2009 un total de 25.000 alumnos de 910 centros educativos, entre abril y mayo del pasado año, una cifra mayor que otros años, porque en esta última edición catorce comunidades han ampliado su muestra para obtener datos más significativos de sus alumnos. Baleares, Canarias, Madrid, Murcia y las ciudades autónomas de Ceuta y Melilla son las comunidades que se sumaron en 2009 a esta alternativa, mientras que Castilla-La Mancha, Extremadura y la Comunidad Valenciana son las únicas que no han optado por esta ampliación.

Como novedad en esta edición, se seleccionó también una submuestra de 2.300 alumnos de 170 centros para que hicieran la prueba de lectura electrónica, ERA (Electronic Reading Assessment), que pretende ofrecer información comparada entre los resultados de los estudiantes en comprensión lectora en el formato tradicional de papel y en el más reciente formato digital. Los resultados de esta prueba, en la que han participado 20 países, no se publicarán hasta junio de 2011.

Por otra parte, el curso natural en que deberían estar los alumnos evaluados en nuestro país sería 4º de Educación Secundaria Obligatoria (ESO), pero al haber en España, igual que en Francia, Bélgica o Portugal, un sistema de repetición de curso, los alumnos que se examinaron de PISA 2009 cursaban en el momento de realizar el examen tanto 4º (64%), como 2º y 3º (36%) de ESO.

Es significativo resaltar la divergencia entre las puntuaciones obtenidas por los estudiantes españoles según su curso. Entre los alumnos de 2º y 4º de ESO hay una diferencia en los resultados en comprensión lectora de 147 puntos; los de 2º de ESO obtuvieron 371 puntos, mientras que los de 4º de ESO alcanzaron 518, 25 puntos por encima del promedio de la OCDE. También se aprecia una variación importante (83 puntos) entre los alumnos que estaban en 3º de ESO (435 puntos) y los de 4ª de ESO. El resultado final de la media de todos los alumnos en Lectura dio lugar a una puntuación global de 481 puntos.

¿Cómo se puede medir por igual la competencia de los alumnos de 65 países con sistemas educativos tan diferentes entre sí? La respuesta está en que la evaluación no es un simple examen curricular para evaluar los conocimientos, sino que se orienta a la aplicación de estos a la vida diaria, es decir, evalúa qué son capaces de hacer los alumnos con lo aprendido y analiza su grado de preparación para la vida adulta. De este modo, en PISA no se habla de conocimientos en un área, sino de competencias: competencia científica, competencia lectora y competencia matemática.

A partir de estas competencias, los países participantes aportan distintas preguntas para el examen, que revisa el Comité Organizador de la Evaluación. Las cuestiones que superan esta primera criba, se utilizan después en una prueba piloto en los distintos países, que sirve para identificar las que puedan dar lugar a comportamientos extraños en los resultados. Al final, se seleccionan para la evaluación 13 modelos de cuadernillos, con cuatro bloques cada uno, que incluyen las tres áreas de evaluación: Lectura, Matemáticas y Ciencia.

Las preguntas se basan en un texto, un gráfico o una tabla que plantean situaciones de la vida real y que sirven de hilo conductor para el planteamiento de las respuestas, que pueden ser simples (tipo test o de elección múltiple) o elaboradas, que requieren una redacción por parte del alumno. Cada cuadernillo incluye, además de preguntas nuevas del área principal de evaluación, una serie de preguntas de anclaje que hacen posible el análisis a lo largo del tiempo y observar la evolución de los resultados.

Dentro de las unidades del examen PISA 2009 se incluyen también una serie de cuestiones para analizar la motivación e interés del alumno por la lectura, cuyas respuestas se asocian después con los resultados. Los datos que se han obtenido son en algunos casos significativos, ya que reflejan una fuerte asociación entre estos aspectos y el rendimiento obtenido en la evaluación. En España, la diferencia de puntuación en la escala de rendimiento entre los estudiantes que disfrutan más con la lectura y los que afirman que no les gusta leer es de 98 puntos.

PISA 2009 también recoge información sobre los recursos de lectura que usan los alumnos en clase y las estrategias que utilizan en su aprendizaje. En este sentido, la relación de estas variables con el rendimiento es asimismo destacable. En nuestro país los datos revelan una diferencia de 70 puntos al alza en aquellos estudiantes que emplean con frecuencia las mejores estrategias para comprender y recordar lo leído.

Para resolver el cuadernillo, los 35 alumnos que se presentan a la prueba en cada centro cuentan con dos horas, pero además deben dedicar otra media hora a responder a un cuestionario contextual donde aportan información sobre su entorno familiar. Por otra parte, los directores de los colegios tienen que cumplimentar también un cuestionario de 20 minutos que recoge datos de contexto relativos al centro escolar. Estos cuestionarios facilitan el análisis de los resultados en función de las características individuales de cada alumno y de cada centro, ya que está constatado que en muchos casos el rendimiento está relacionado de forma directa con el estatus social, económico y cultural de las familias.

En España, la variable del nivel de estudios de los padres puede significar una diferencia de hasta 100 puntos en la puntuación media del alumnado; a mayor formación, mayor puntuación. Del mismo modo, otro factor contextual como es el número de libros en el hogar puede elevar el rendimiento en comprensión lectora de un estudiante hasta 125 puntos; cuanto más extensa es la biblioteca de casa, mejores son los resultados.

Sin embargo, estos aspectos contextuales no son los únicos factores que pueden explicar el rendimiento, puesto que PISA 2009 constata que tanto en los niveles socioeconómicos bajos, como en los altos, es posible apreciar diferencias entre alumnos superiores a 400 puntos. Esto pone de manifiesto que otras variables como el clima de trabajo, el equipo docente, la organización de las escuelas o el esfuerzo y trabajo individual de los estudiantes también son responsables directos de sus resultados.

Para facilitar la comprensión de los resultados de PISA, al evaluar la competencia de los alumnos se utiliza una escala de rendimiento que oscila desde el nivel <1 al nivel 6. Estos siete niveles están asociados a cada una de las preguntas que integran la prueba. En España, la puntuación final en Lectura de los alumnos destaca más por el bajo porcentaje de alumnos en los niveles superiores (5 y 6), un 3% frente a un 8% de promedio de la OCDE, que por el 20% de alumnos en niveles inferiores (<1 y 1), muy similar al 19% de la OCDE.