Per a què serveix l’informe PISA?

Puntuació de 481 en Lectura, 483 en Matemàtiques i 488 en Ciències. Aquestes són les mitjanes obtingudes pels estudiants espanyols en les tres competències avaluades a PISA 2009, uns valors que s’acosten molt a la mitjana dels països integrants de l’OCDE (entre 12 i 13 punts per sota).

No obstant això, si es comparen amb els resultats dels estats que ocupen els primers llocs del rànquing, les diferències són més significatives. En totes les àrees de coneixement analitzades, països com la Xina, Corea del Sud, Finlàndia o el Canadà, destaquen pel seu alt rendiment. Fins a 117 punts de diferència es marquen entre la puntuació més alta obtinguda per la Xina en Matemàtiques i el resultat d’Espanya.

A PISA 2009 es detecten discrepàncies entre el rendiment demostrat pels estudiants de les 14 autonomies que han ampliat aquesta edició la mostra per a obtenir dades més concloents (totes excepte Castella-la Manxa, Extremadura i València). Mentre les puntuacions d’Andalusia, Múrcia, Canàries, Balears i Ceuta i Melilla se situen en totes les àrees per sota de la mitjana espanyola, la resta de les comunitats avaluades obtenen resultats més elevats, en molts casos, per sobre de la mitjana de l’OCDE. La diferència entre la comunitat amb major rendiment i la que aconsegueix menor puntuació arriba en algunes àrees fins a 112 punts.

Però més enllà de les comparacions entre països o comunitats, les dades que més poden aportar a les polítiques educatives són els referits a l’evolució en els resultats dels alumnes en la competència lectora des de la primera avaluació TREPITJA 2000, en la qual, igual que en 2009, aquesta va ser l’àrea principal d’anàlisi. El rendiment mitjà dels estudiants espanyols no ha variat de manera significativa en aquest període, no obstant això, el resultat ha estat 12 punts menor en 2009. Si es compara amb l’anterior edició TREPITJA 2006, en la qual la Lectura es va avaluar com a competència addicional, no com a principal, el rendiment ha millorat en 20 punts. Quant a la mitjana de l’OCDE, entre PISA 2000 i 2009 s’ha registrat un descens de tan sols 7 punts. Alguns països com el Perú (+43 punts) o Xile (+40 punts) destaquen per la seva bona evolució.

Com les mostres addicionals de les comunitats autònomes no es van començar a incorporar a l’informe fins a l’any 2003, no és possible establir una comparativa entre el període 2000-2009. Si s’atén els resultats de les 10 comunitats que van participar en la passada edició 2006, es pot constatar una tendència a l’alça en les puntuacions de Lectura en tots els casos. És destacable l’evolució en aquesta competència en algunes autonomies com Castella i Lleó (+25 punts) o Catalunya (+21).

PISA és un Programa Internacional d’Avaluació, iniciat en 1997 pels governs dels països membres de l’OCDE (Organització per a la Cooperació i el Desenvolupament Econòmic), amb l’objectiu de supervisar l’estat dels sistemes educatius en els diferents països avaluats. L’any 2000 van participar 32 països en l’avaluació, 41 en 2003, 57 en 2006 i, en aquesta última edició de 2009, la xifra s’ha elevat a 65 (els 33 membres de l’OCDE, més 32 països associats).

El Programa, que té una durada de 15 anys (2000-2015), consisteix a avaluar cada tres la competència dels estudiants de 15 anys en tres àrees cognitives: Lectura, Ciències i Matemàtiques. Cadascuna de les avaluacions se centra en una d’aquestes àrees, mentre que les altres dues se sotmeten a un sondeig menys exhaustiu. L’avaluació PISA 2000 va avaluar com a competència central la Lectura, TREPITJA 2003 les Matemàtiques i TREPITJA 2006, les Ciències.

A PISA 2009 es tanca el primer cicle i es torna a la Lectura com a tema central de l’estudi. Aquesta estructura permet que cada nou anys, que es considera un període apropiat per a analitzar l’impacte de les polítiques educatives introduïdes arran dels informes, es pugui avaluar el progrés dels alumnes en cadascuna de les àrees cognitives en les quals se centra l’avaluació i que cada tres anys es realitzi una anàlisi de tendències en les àrees restants.

Els resultats de PISA s’expressen en unes puntuacions en les diferents àrees, que donen lloc a establir comparacions entre els sistemes educatius dels països participants. Però aquesta no és la finalitat, l’objectiu principal és proporcionar als governs dades rellevants i fiables que els permetin prendre decisions en matèria de política educativa.

Això és possible perquè l’avaluació no se centra tan sols a obtenir les dades relatives a les competències dels estudiants. Els resultats es relacionen i s’analitzen amb la informació referida al context socioeconòmic i cultural dels centres educatius i dels alumnes i amb les seves motivacions en aprendre, la percepció de si mateixos com a aprenents i les seves estratègies d’aprenentatge. D’aquesta manera, es poden obtenir conclusions reveladores de com interactuen aquests factors i com influeixen en el desenvolupament de les competències dels estudiants, que permetin a les administracions, centres, professors i famílies, adoptar mesures per a millorar la qualitat de l’educació.

En l’avaluació TREPITJA 2009 han participat al voltant de 470.000 estudiants amb edats compreses entre 15 anys i 3 mesos i 16 anys i 2 mesos, en el moment de realitzar l’examen. Es prenen aquestes edats perquè és quan en la majoria dels països els estudiants acaben l’educació obligatòria i han de decidir si abandonen o continuen els seus estudis. Aquesta edat permet obtenir una visió dels coneixements i aptituds que s’han acumulat al llarg d’un període educatiu més o menys de 10 anys, en funció de l’edat d’escolarització dels diferents estats.

A Espanya, van realitzar TREPITJA 2009 un total de 25.000 alumnes de 910 centres educatius, entre abril i maig del passat any, una xifra major que altres anys, perquè en aquesta última edició catorze comunitats han ampliat la seva mostra per a obtenir dades més significatives dels seus alumnes. Balears, Canàries, Madrid, Múrcia i les ciutats autònomes de Ceuta i Melilla són les comunitats que es van sumar en 2009 a aquesta alternativa, mentre que Castella-la Manxa, Extremadura i la Comunitat Valenciana són les úniques que no han optat per aquesta ampliació.

Com a novetat en aquesta edició, es va seleccionar també una submuestra de 2.300 alumnes de 170 centres perquè fessin la prova de lectura electrònica, ERA (Electronic Reading Assessment), que pretén oferir informació comparada entre els resultats dels estudiants en comprensió lectora en el format tradicional de paper i en el més recent format digital. Els resultats d’aquesta prova, en la qual han participat 20 països, no es publicaran fins a juny de 2011.

D’altra banda, el curs natural en què haurien d’estar els alumnes avaluats al nostre país seria 4t d’Educació Secundària Obligatòria (ESO), però a l’haver a Espanya, igual que a França, Bèlgica o Portugal, un sistema de repetició de curs, els alumnes que es van examinar de PISA 2009 cursaven en el moment de realitzar l’examen tant 4t (64%), com a 2n i 3r (36%) d’ESO.

És significatiu ressaltar la divergència entre les puntuacions obtingudes pels estudiants espanyols segons el seu curs. Entre els alumnes de 2n i 4t d’ESO hi ha una diferència en els resultats en comprensió lectora de 147 punts; els de 2n d’ESO van obtenir 371 punts, mentre que els de 4t d’ESO van aconseguir 518, 25 punts per sobre de la mitjana de l’OCDE. També s’aprecia una variació important (83 punts) entre els alumnes que estaven en 3r d’ESO (435 punts) i els de 4a d’ESO. El resultat final de la mitjana de tots els alumnes en Lectura va donar lloc a una puntuació global de 481 punts.

Com es pot mesurar per igual la competència dels alumnes de 65 països amb sistemes educatius tan diferents entre si? La resposta està en el fet que l’avaluació no és un simple examen curricular per a avaluar els coneixements, sinó que s’orienta a l’aplicació d’aquests a la vida diària, és a dir, avalua què són capaces de fer els alumnes amb l’après i analitza el seu grau de preparació per a la vida adulta. D’aquesta manera, a PISA no es parla de coneixements en una àrea, sinó de competències: competència científica, competència lectora i competència matemàtica.

A partir d’aquestes competències, els països participants aporten diferents preguntes per a l’examen, que revisa el Comitè Organitzador de l’Avaluació. Les qüestions que superen aquest primer sedàs, s’utilitzen després en una prova pilot en els diferents països, que serveix per a identificar les que puguin donar lloc a comportaments estranys en els resultats. Al final, se seleccionen per a l’avaluació 13 models de quadernets, amb quatre blocs cadascun, que inclouen les tres àrees d’avaluació: Lectura, Matemàtiques i Ciència.

Les preguntes es basen en un text, un gràfic o una taula que plantegen situacions de la vida real i que serveixen de fil conductor per al plantejament de les respostes, que poden ser simples (tipus test o d’elecció múltiple) o elaborades, que requereixen una redacció per part de l’alumne. Cada quadernet inclou, a més de preguntes noves de l’àrea principal d’avaluació, una sèrie de preguntes d’ancoratge que fan possible l’anàlisi al llarg del temps i observar l’evolució dels resultats.

Dins de les unitats de l’examen PISA 2009 s’inclouen també una sèrie de qüestions per a analitzar la motivació i interès de l’alumne per la lectura, les respostes de la qual s’associen després amb els resultats. Les dades que s’han obtingut són en alguns casos significatius, ja que reflecteixen una forta associació entre aquests aspectes i el rendiment obtingut en l’avaluació. A Espanya, la diferència de puntuació en l’escala de rendiment entre els estudiants que gaudeixen més amb la lectura i els que afirmen que no els agrada llegir és de 98 punts.

PISA 2009 també recull informació sobre els recursos de lectura que usen els alumnes en classe i les estratègies que utilitzen en el seu aprenentatge. En aquest sentit, la relació d’aquestes variables amb el rendiment és així mateix destacable. Al nostre país les dades revelen una diferència de 70 punts a l’alça en aquells estudiants que empren amb freqüència les millors estratègies per a comprendre i recordar el llegit.

Per a resoldre el quadernet, els 35 alumnes que es presenten a la prova en cada centre compten amb dues hores, però a més han de dedicar una altra mitja hora a respondre a un qüestionari contextual on aporten informació sobre el seu entorn familiar. D’altra banda, els directors dels col·legis han d’emplenar també un qüestionari de 20 minutos que recull dades de context relatius al centre escolar. Aquests qüestionaris faciliten l’anàlisi dels resultats en funció de les característiques individuals de cada alumne i de cada centre, ja que està constatat que en molts casos el rendiment està relacionat de manera directa amb l’estatus social, econòmic i cultural de les famílies.

A Espanya, la variable del nivell d’estudis dels pares pot significar una diferència de fins a 100 punts en la puntuació mitjana de l’alumnat; a major formació, major puntuació. De la mateixa manera, un altre factor contextual com és el nombre de llibres en la llar pot elevar el rendiment en comprensió lectora d’un estudiant fins a 125 punts; com més extensa és la biblioteca de casa, millors són els resultats.

No obstant això, aquests aspectes contextuals no són els únics factors que poden explicar el rendiment, ja que TREPITJA 2009 constata que tant en els nivells socioeconòmics baixos, com en els alts, és possible apreciar diferències entre alumnes superiors a 400 punts. Això posa de manifest que altres variables com el clima de treball, l’equip docent, l’organització de les escoles o l’esforç i treball individual dels estudiants també són responsables directes dels seus resultats.

Per a facilitar la comprensió dels resultats de PISA, en avaluar la competència dels alumnes s’utilitza una escala de rendiment que oscil·la des del nivell <1 al nivell 6. Aquests set nivells estan associats a cadascuna de les preguntes que integren la prova. A Espanya, la puntuació final en Lectura dels alumnes destaca més pel baix percentatge d'alumnes en els nivells superiors (5 i 6), un 3% enfront d'un 8% de mitjana de l'OCDE, que pel 20% d'alumnes en nivells inferiors (<1 i 1), molt similar al 19% de l'OCDE.