Ce spun testele PISA despre calitatea școlii din România?

·      Datele PISA din România au fost până acum analizate puțin, iar relevanța lor pentru schimbările de politici educaționale a fost neînsemnată.

·      La ultima ediție, în 2015, scorurile medii au plasat România pe locul 44, la un nivel similar cu cel al următoarelor țări: Emiratele Arabe Unite, Uruguay, Cipru, Moldova, Albania și Turcia, sub toate țările Uniune Europene.

·      Pe lângă numărul mare de analfabeți funcțional, avem foarte puțini elevi excepționali: doar 4%, în comparație cu 20% în Estonia, 16% în Polonia, 14% în Cehia.

·      În alte țări, rezultatele au fost folosite la amplificarea dezbaterilor despre ce înseamnă o educație de calitate și care sunt mijloacele potrivite pentru a o îmbunătăți.

·      La noi, sunt discreditate și de ministrul educației, și de lideri informali din educație.

·      Este necesar ca Guvernul să susțină includerea României în mai multe studii educaționale comparate decât cele din prezent.

·      Este important ca statul român să susțină cercetarea pentru politici, inclusiv a celei educaționale, printr-o finanțare consistentă, constantă și acordată meritocratic, cât și prin întărirea unor practici de a fundamenta politicile pe date și cercetări.

Update 03.12.2019: Raportul cu rezultatele testelor PISA din 2018 poate fi citit integral aici.

Cu peste patru secole în urmă, în jurul anului 1570, ordinul călugăresc iezuit a început organizarea unor comunități în rândul populației indigene din America Latină, pe teritoriul de azi al Argentinei, Braziliei și Paraguay. În cele peste 30 de așezări din America Latină, localnicii au fost învățați de iezuiți să scrie și să citească în spaniolă, fapt cu totul remarcabil în contextul epocii, când în Europa de Vest mai puțin de 10% dintre adulți știau să citească. În plus, iezuiții au predat noțiuni de aritmetică, de prelucrare a metalelor și de broderie. Ulterior, în 1767, toate misiunile iezuite din Imperiu au fost închise la ordinul regelui Carlos III al Spaniei. Un studiu recent arată un fapt cu totul remarcabil: în prezent, adică la 250 de ani după plecarea iezuiților, oamenii care locuiesc în apropierea fostelor lor misiuni au în medie cu 10-15 ani de educație în plus și venituri cu 10% mai mari decât locuitorii unor așezări similare dar fără misiuni.

Efecte de durată ale accesului la educație sunt puse în evidență și de un studiu istoric comparat, incluzând 78 de țări, publicat de Bo Rothstein și Eric Uslaner în 2016. Cei doi autori susțin în mod convingător că nivelul corupției în prezent este prezis într-o măsură importantă de măsura în care cetățenii aveau acces la educație în a doua jumătate a secolului XIX, mai mult chiar decât nivelurile de dezvoltare economică și democratică din trecut: țările care aveau proporții reduse din populație cu școală tind să aibă nivele de corupție ridicate în prezent.

Cele două studii sunt parte a unei serii de cercetări care susțin o idee importantă: școala contează, iar efectele educației la nivelul unei comunități sau societăți sunt de durată, observabile timp de decenii sau chiar de secole.

În același timp, educația școlară are un efect direct și imediat asupra cetățenilor, fiind un mijloc important de dezvoltare personală. Numărul de ani de școală influențează pozitiv la nivel individual atât nivelul de bunăstare, de sănătate și durata vieții, cât și atitudinile și comportamentele pro-democratice.

Analizele din acest volum* pornesc de la două premise dezbătute intens și cu o susținere tot mai largă în literatura de specialitate. Prima este aceea că educația școlară are un rol major în dezvoltarea societății, atât în ceea ce privește bunăstarea cetățenilor cât și calitatea guvernării democratice. A doua premisă este că rolul școlii în societate poate fi înțeles doar punând accentul atât pe cantitatea de educație cât și pe calitatea ei. Una dintre urmările acestei poziții a fost dezvoltarea unor instrumente tot mai sofisticate de estimare a calității învățării, și aplicarea lor în contexte comparate internaționale. Între aceste cercetări, Programul pentru Evaluarea Internațională a Studenților (PISA), este de departe cel mai vizibil. Spre deosebire de alte studii comparate realizate pe o scară largă, PISA își propune să realizeze evaluarea pregătirii elevilor de 15 ani pentru viața adultă într-un mod care este independent de curricula școlară națională, precum și de contextul cultural al fiecărei societăți. PISA a fost dezvoltat și lansat de către Organizația pentru Cooperare și Dezvoltare Economică (OECD) în 2000, iar de atunci datele au fost culese o dată la fiecare trei ani, folosind instrumente care permit nu doar comparații între țări, ci și în timp. PISA este un studiu care de la o ediție la alta și-a extins aria de cuprindere, numărul de sisteme educaționale incluse crescând de la 43 la 79 la ultima culegere de date, în 2018. În același timp, instrumentele aplicate cuprind progresiv tot mai multe aspecte care surprind calitatea educației și determinanții posibili.

PISA a avut un efect substanțial asupra politicilor educaționale într-o mare parte a țărilor cuprinse în studiu. O parte dintre aceste societăți au trecut printr-un „șoc PISA” după prima participare, atunci când pozițiile în clasament s-au dovedit a fi sub așteptări. Urmarea a fost amplificarea dezbaterilor despre ce înseamnă o educație de calitate și care sunt mijloacele potrivite pentru a o îmbunătăți. Un câștig important este că analizele ce folosesc date PISA au făcut vizibile probleme de echitate în cadrul școlii ce nu fuseseră observate până atunci. Statusul socio-economic al elevilor, dotările școlilor, tipul de localitate în care se află școala, formele de proprietate și de administrare a școlii, limba de predare, nivelul de pregătire al profesorilor, sunt doar câteva dintre determinanții performanțelor școlare analizați, cu efecte diferite de la o țară la alta.

Acest volum pornește de la observația că datele PISA din România au fost până acum analizate puțin, iar relevanța lor pentru schimbările de politici educaționale a fost neînsemnată. Centrul Naţional de Evaluare și Examinare (CNEE), aflat în subordinea Ministerului Educației, a administrat culegerea datelor în România și a avut între atribuții analiza lor . Rapoartele de pe site-ul CNEE (www.rocnee.eu) cuprind sute de pagini cu analize descriptive ale răspunsurilor, însă concluziile care privesc sistemul educațional se reduc la câteva paragrafe. Este foarte puțin în comparație cu analizele produse de organizațiile similare din alte țări. În context internațional, numărul de publicații academice care utilizează datele PISA este într-o creștere tot mai rapidă, inclusiv a celor care realizează analize de politici și studii de impact (Figura 1). Conform unei evaluări realizate de către Leonidas Kyriakides la finalul anului 2016, mai mult de 40% dintre articolele având date PISA au fost publicate după 2013. Studiul său arată și faptul că analizele PISA au fost concentrate inițial într-un număr mic de țări, doar 10 în perioada 2000-2003, însă acesta a trecut de 50 în prezent.

Figura 1. Evoluția în timp a numărului de articole academice care utilizează date PISA, în funcție de tipul de articol

Sursa: Hopfenbeck & al. (2017)

Creșterile rapide de vizibilitate și de impact ale PISA au fost însoțite și de discursuri critice, centrate în jurul a trei argumente principale. Astfel, unii autori afirmă că ierarhizarea țărilor în urma scorurilor medii ale testării are efecte negative asupra sistemelor educaționale, stimulându-le să pună accent asupra aspectelor care pot fi măsurate prin instrumentele PISA, în detrimentul unor teme mai greu de măsurat, dar la fel de importante pentru elevi și pentru societățile din care provin. În plus, sunt țări în care elevii sunt antrenați pe durata școlii pentru testarea PISA, fapt care dăunează învățării și introduce distorsiuni în rezultatele aplicării oficiale a testului. Al doilea argument este cel al colaborării prea strânse dintre OECD și firme globale specializate în educație. Una dintre consecințele acestei colaborări este că elaborarea instrumentelor PISA, aplicarea lor și interpretarea datelor nu sunt complet transparente. De asemenea, apar conflicte de interese, datorită faptului că aceleași firme obțin profit din vânzarea de documentații de antrenament. În al treilea rând, unii experți afirmă că în elaborarea chestionarelor, aplicarea lor, realizarea de eșantioane și interpretarea datelor sunt o serie de probleme tehnice.

Criticile au avut un efect notabil asupra instrumentelor folosite precum și a modului de interpretare a datelor. Astfel, merită observat că în 2015, în plus față de evaluarea abilităților și cunoștințelor de matematică, citire și științe, PISA a cuprins un modul opțional de literație financiară ce a fost aplicat în 15 sisteme educaționale, precum și un modul opțional de evaluare a abilităților de colaborare, aplicat în 51 de sisteme educaționale. Începând cu 2018, PISA a cuprins și un modul de „competențe globale”. Din păcate, România nu a aplicat niciunul dintre modulele noi. Mai mult, România este una dintre cele câteva țări care nu au folosit aplicarea instrumentelor pe computer, ci în forma clasică, pe hârtie, fapt care reduce din precizia unor rezultate.

Ce știm despre România din analizele comparate ale datelor PISA aplicate până în prezent?

La ultima aplicare, în 2015, scorurile medii au plasat România pe locul 44, la un nivel similar cu cel al următoarelor țări: Emiratele Arabe Unite, Uruguay, Cipru, Moldova, Albania și Turcia, sub toate țările Uniune Europene (inclusiv Bulgaria, cu care ne aflam la egalitate în 2012). Rezultatele obținute de elevii români la Citire, Matematică și Științe au avut variații mici în timp (Figura 2).

Figura 2. Scoruri medii pentru Citire, Matematică și Științe, în sondajele PISA aplicate în România în 2002, 2006, 2009, 2012 și 2015.

Sursa: Analiza proprie

Este mult, este puțin, sau este un rezultat în mare măsură așteptat dacă ținem cont de determinanții rezultatelor PISA, așa cum au fost identificați în studiile comparate de până acum, precum și de modul în care România este descrisă de aceștia? Relația dintre scorul mediu la PISA în 2015 și produsul intern brut per capita pentru țările cuprinse în studiu, reprezentată în Figura 3, indică o corelație strânsă, iar în cazul României un rezultat la PISA apropiat de cel prezis de valoarea indicatorului de dezvoltare economică. O citire posibilă ar fi că rezultatele elevilor români nu sunt surprinzătoare pentru o societate cu nivelul de dezvoltare al României. Cu alte cuvinte, rezultatele vor fi mai bune atunci când societatea va fi mai bogată. Ar fi însă o interpretare superficială, care nu ține cont de faptul că nivelul educației școlare este atât efect cât și cauză a dezvoltării economice. Astfel, o altă concluzie posibilă, susținută de analizele care țin cont și de evoluțiile în timp ale indicatorilor, este că dezvoltarea României este frânată în prezent de nivelul actual al performanțelor școlii.

Figura 3. Relația dintre scorurile PISA la matematică în 2015, PIB/cap. PPP (ln) în 2017, și trecutul comunist.

Sursa: Calculele autorului

În plus față de scoruri medii, datele PISA permit estimarea proporțiilor de elevi care sunt analfabeți funcțional, adică au probleme serioase în înțelegerea unor texte scrise de dificultate redusă. Conform PISA 2015, 42% dintre elevii de 15 ani in România intră în această categorie, în creștere cu 5% față de 2012. Este un rezultat important și extrem de negativ: chiar dacă ajung să aibă diplome școlare, analfabeții funcțional au dificultăți la locul de muncă și în viața de zi cu zi — atunci când semnează contracte cu o bancă, atunci când încearcă să obțină un permis auto, etc. Nu în ultimul rând, sunt persoane care au dificultăți în a înțelege viața politică și dezbaterile despre politici publice din țară.

Nu în ultimul rând, datele PISA permit testarea unei afirmații general acceptate la noi, aceea că România are o categorie consistentă de elevi cu performanțe excepționale. Ar fi bine să fie așa, din perspectiva direcției în care se transformă economiile dezvoltate: specialiștii de vârf au o pondere tot mai mare în stimularea dezvoltării. De asemenea, nu ar fi o surpriză să fie așa în condițiile în care sistemul educațional românesc alocă resursele foarte inegal, disproporționat de mult înspre urban, în defavoarea ruralului, precum și înspre „liceele de vârf”, în defavoarea școlilor obișnuite. Din păcate, datele indică o proporție redusă de elevi aflați în categoriile superioare ale scorurilor PISA (nivelurile 5 și 6 dintr-un maxim de 6): doar 4%, în comparație cu 20% în Estonia, 16% în Polonia, 14% în Cehia, etc. Mai mult, așa cum se vede în Figura 4, România are valori reduse pentru chiar și în comparație cu țările care au valori medii apropiate.

Figura 4. Relația dintre proporția elevilor cu Nivel 5 sau 6 la cel puțin o disciplină și scorul mediu la PISA 2015.

Sursa: Analiza proprie

Utilitatea datelor PISA este contestată de mai multe voci din interiorul sistemului de educație din România. Ecaterina Andronescu, de patru ori la conducerea Ministerului Educației, a fost de-a lungul timpului criticul cel mai vizibil al acestor date.

Un alt exemplu este cel al profesorului Mircea Bertea, director al unui liceu pedagogic și o voce publică activă din sistemului școlar românesc. Următorul fragment dintr-un interviu pe care îl acordă unui ziar local cuprinde câteva dintre afirmațiile critice frecvent întâlnite în rândul profesorilor: „testarea PISA este irelevantă pentru analiza calității sistemului de învățământ din România nu numai pentru că verifică și evaluează ceva pentru care școala românească nu-i pregătește pe elevii săi, comparând astfel în mod absurd «mere cu pere» și nu «mere cu mere», ci și pentru că eșantioanele de elevi care au participat la aceste testări PISA din România nu au avut nici pregătirea și nici motivația necesare pentru a garanta succesul acestei testări. […] A persista în compararea unor realități și fenomene diferite, pe baza unor teste și studii concepute în afara spațiului și în afara conținutului curriculei românești, a atribui școlii românești hibe mai mari decât le are în realitate (și are destule!), a accepta indirect catalogarea ca țară needucată și a exagera în continuare ca procentaj cu analfabetismul funcțional în România, nu înseamnă altceva decât a afirma/a recunoaște și că instituțiile educaționale, în frunte cu ministerul de resort, sunt «bolnave» de analfabetism funcțional, că noi toți funcționăm cu «analfabeți funcționali» în funcții. Ceea ce nu e cazul, desigur!”

Cei care afirmă că rezultatele PISA sunt cu totul irelevante pentru contextul românesc omit să explice de ce argumentele celor care văd utilitatea acestor date pentru fiecare dintre țările participante, argumente prezentate într-un număr ridicat de studii din științele educației, psihologie, economie, etc., ar fi greșite. De asemenea, omit să prezinte abordări alternative de măsurare și să explice de ce acestea ar fi superioare.

Un alt studiu educațional care permite comparații între țări, care include România, și care are o abordare diferită de PISA este TIMSS (Trends in International Mathematics and Science Study). TIMSS estimează rezultate la matematică și științe pentru elevi de clasa a patra și a opta, și, în timp ce cunoștințele de matematică testate de PISA sunt puse în contexte cât mai apropiate de viața reală, problemele din TIMSS sunt mai apropiate de cele întâlnite în programele școlare ale țărilor participante. Figura 5 reprezintă relația dintre rezultatele la TIMSS la matematică pentru clasa a IV-a în 2011, ultimul an când România a participat, și rezultatele la PISA la matematică în 2015, pentru elevi de 15 ani.

Figura 5. Relația dintre scorurile PISA la matematică în 2015, scorurile TIMSS la matematică în 2011, aplicat la clasa a IV-a, și trecutul comunist.

Sursa: Calculele autorului

Se observă că ierarhiile între țări date de cele două tipuri de testări au un grad ridicat de consistență, inclusiv în ceea ce privește plasarea României. Chiar și în clasamentele care pornesc de la abordări complet diferite, precum este și cel din raportul Global Competitiveness realizat de World Economic Forum în 2018, România este plasată extrem de modest. Astfel, „calitatea sistemului educațional” este pe poziția 115 din 137 de țări incluse în studiu, iar „gradul de pregătire a personalului” pe 123.

În concluzie, rezultatele PISA pentru România nu fac o notă discordantă în raport cu alte instrumente larg folosite pentru evaluarea dintr-o perspectivă comparată a educației, motiv pentru care ar fi dificil de argumentat că toate aceste abordări prezintă o imagine distorsionată negativ.

De la clasamente de țări la recomandări de politici educaționale

Lista de întrebări despre școala românească care ar putea fi evaluate cu ajutorul datelor PISA este amplă. Este suficient să parcurgem studiile realizate în alte țări cu un nivel de dezvoltare apropiat cu al României pentru a vedea potențialul datelor culese până acum. În același timp, este important ca limitele datelor PISA, inerente oricărui instrument de cercetare, să fie înțelese și prezentate corect. Astfel, nu este cu totul evident în ce măsură rezultatele obținute de elevii din România între 2002 și 2015 se datorează sistemului educațional și în ce măsură sunt urmarea altor factori care au influențat societatea în acest interval. Prin analogie, este dificil de apreciat dacă sistemul de sănătate a contribuit la creșterea speranței de viață cu 4 ani în același interval de timp și, dacă da, în ce măsură. Lipsa unor schimbări importante în performanțele școlare poate fi urmarea unor variații de calitate a sistemului educațional care s-au suprapus cu schimbări socio-economice din afara școlii. Iată câteva fenomene importante ce au avut loc între 2002 și 2015, toate cu un potențial ridicat de a influența rezultatele învățării:

1. Numărul persoanelor de 15 ani s-a redus cu 43%. Cei evaluați în 2002 s-au născut înainte de căderea regimului condus de Ceaușescu, într-o perioadă în care avorturile erau ilegale, iar cei evaluați începând cu 2006 s-au născut după schimbarea de regim. Un sistem educațional în care numărul de elevi scade cu 43% este de așteptat să devina mai eficient, chiar și în absența altor schimbări.

2. Migrația românilor a crescut rapid începând cu 2002, după liberalizarea regimului de vize pentru Europa de Vest. Urmarea a fost creșterea numărului de tineri care au părinți plecați, a celor care au plecat ei înșiși, precum și apariția unor oportunități de realizare personală care presupun în mai mică măsură performanța școlară. Nu este foarte clar care sunt efectele de ansamblu ale migrației asupra educației din România, însă cazul câtorva țări foste comuniste pare să indice că îmbunătățirile sunt posibile și în prezența unei migrații foarte ridicate: Estonia, Polonia și, într-o oarecare măsură, Republica Moldova, au rezultate peste cele prezise de nivelul de dezvoltare economică și, lucru important, pe un trend ascendent.

3. Distribuția educațională a părinților elevilor de 15 ani a fost într-o schimbare rapidă în perioada acoperită de studiile PISA. Conform unei analize pe care am realizat-o pe aceste date, proporția elevilor ale căror mame ce nu au absolvit liceul a scăzut de le 33% în 2002 la 17% în 2015. În același timp, efectul educației părinților asupra performanțele educaționale ale copiilor a crescut. Aceste schimbări ar fi putut să contribuie la creșterea reușitelor școlare chiar și în absența unor îmbunătățiri în sistemul educațional.

4. Abandonul școlar a crescut între 2002 și 2015, în timp ce studiile PISA sunt aplicate doar celor care merg la școală. Astfel, scorurile ar fi putut să crească în medie datorită creșterii numărului de copii cu rezultate modeste care au părăsit prematur școala.

5. A crescut accesul la telefonie mobilă, internet și rețele sociale. Facebook nu exista în 2002, iar în 2015 ajunsese la peste 5,5 milioane de utilizatori în România, cu o proporție de utilizatori de aproape 90% în rândul celor de 15-24 de ani. Este neclar dacă efectele educaționale acestor schimbări au fost în ansamblu pozitive sau negative, însă este posibil să fi avut urmări substanțiale.

Acest volum reprezintă un prim efort colectiv de a analiza dintr-o perspectivă interdisciplinară datele PISA despre România, urmărind atât realizarea unei imagini nuanțate a stării învățământului cât și dezvoltarea unor recomandări de politici. Prin studiile care îl compun își propune să atragă atenția asupra potențialului cercetărilor comparate cantitative în educație și să convingă asupra faptului că sunt necesare mai multe schimbări de context pentru cercetarea asupra școlii din România. În primul rând, este necesar ca Guvernul să susțină includerea României în mai multe studii educaționale comparate decât cele din prezent. Din cauza lipsei sprijinului național, România nu a fost inclusă în ultimele ediții ale The International Civic and Citizenship Education Study, iar în studiile PISA datele culese în România provin din aplicarea unor module minimale. În al doilea rând, este important ca statul român să susțină cercetarea pentru politici, inclusiv a celei educaționale, printr-o finanțare consistentă, constantă și acordată meritocratic, cât și prin întărirea unor practici de a fundamenta politicile pe date și cercetări.

Gabriel Bădescu este profesor universitar de științe politice și director al Centrului de Studiu al Democrației de la Universitatea Babeș-Bolyai din Cluj. Studiile sale recente includ teme de politici educaționale, democratizare și societate civilă. A fost bursier Fulbright la University of Maryland, College Park, și a urmat specializări in statistică socială la University of Michigan, Ann Arbor. 

*Articolul este Capitolul I al studiului Școala din România din perspectiva datelor PISA, editat de Gabriel Bădescu, care analizează teme curente în politicile educaționale din România și contribuie la stabilirea mai multor direcții noi de cercetare și intervenție prin politici educaționale pornind de la datele PISA despre elevii din România.