„Kvalita a dôveryhodnosť údajov, ktoré sa vkladajú do rebríčkov, sa často ťažko overujú a vedú k nepresným porovnaniam. Údaje sa zbierajú a prezentujú len za zlomok všetkých vysokých škôl. Okrem toho rebríčky majú tendenciu koncentrovať sa na niektoré krajiny a regióny,“ uvádza Európska asociácia univerzít („EUA“) v Kľúčových úvahách o používaní svetových rebríčkov vysokými školami z októbra 2023. Cieľom EUA je zvýšiť povedomie a podporiť konštruktívnu diskusiu o niektorých potenciálnych úskaliach rebríčkov. EUA týmto tiež poskytuje svojim členom návod na zodpovedné používanie rebríčkov.

EUA vystríha pred metodologickými nedostatkami a neúmyselnými dôsledkami svetových rebríčkov. Napríklad pri identifikácii a demonštrácii excelentnosti ako kľúčového parametra je potrebné mať na zreteli komerčné záujmy mnohých vydavateľov, alebo že používané metodiky sa vyznačujú nedostatočnou transparentnosťou. Mnohé hodnotenia sa vo veľkej miere spoliehajú na údaje, ktoré zhromažďuje a sprístupňuje jeden alebo len niekoľko subjektov, ako sú napríklad súbory údajov od Thompson Reuters. Len časť vydavateľov dopĺňa informácie dodatočnými prieskumami alebo inými zdrojmi údajov. Súhrnné skóre je tak založené na náhodou medzinárodne dostupných údajoch. Používanie dostupných a nie relevantných údajov spôsobuje vysoké riziko „zástupnej dilemy“. Zároveň aj súbor údajov, ktorý má popísať kvalitu vysokej školy, je obmedzený a neberie do úvahy ďalšie faktory, ako sú veľkosť vysokej školy, umiestnenie, poslanie a model financovania.

Hodnotenia sú vlastne porovnaním medzi inštitúciami, keď jedna inštitúcia postupuje hore, iná klesá. Efekt „hry s nulovým súčtom“ sa maximalizuje po skombinovaní výsledkov do jedného hodnotenia. Pohyb vysokej školy nahor alebo nadol v rebríčku neposkytuje informácie o jej dlhodobom zlepšení v určitej oblasti.

Rebríčky môžu viesť k poklesu diverzity vo vysokoškolskom vzdelávaní. Výsledky v rebríčkoch ovplyvňujú inštitucionálne stratégie vysokých škôl, ktoré sa zameriavajú na zlepšenie svojho budúceho výkonu v rebríčkoch. Keďže sa rebríčky vo veľkej miere zameriavajú na výskum, podporujú jeden inštitucionálny model. Navyše menšie a špecializované inštitúcie majú tendenciu byť z rebríčkov vylúčené alebo majú v nich nižšie postavenie.

Rebríčky majú aj problematický efekt na výskum a inovácie. Používanie metrík a indikátorov, ktoré EUA označila za „nedokonalých reprezentantov kvality výskumu“, negatívne ovplyvňuje medzinárodné úsilie o zodpovednejší, transparentnejší a udržateľnejší systém hodnotenia. Svetové rebríčky môžu odradiť univerzity od používania širšieho súboru postupov hodnotenia akademickej kariéry, vrátane otvorenej vedy, sociálneho dosahu, inovácií a prenosu znalostí, a od zavádzania širšej definície dosahu nad rámec tradičných bibliometrických ukazovateľov. Dokonca môžu byť univerzity nútené obmedziť svoju angažovanosť na činnosti, ktoré možno zhrnúť pomocou jednoduchých kvantitatívnych ukazovateľov.

Používanie reputácie ako náhrady za kvalitu, ale aj značná váha, ktorú má tento indikátor, je veľmi pochybná.

Pri výbere štúdia môžu rebríčky poskytnúť študentom informácie o silných a slabých stránkach vysokej školy, neposkytujú však primerané informácie o kvalite vzdelávania. Študenti a rodičia by si mali byť vedomí metodologických obmedzení popísaných vyššie, aby mohli posúdiť, či použité metriky odrážajú ich individuálne potreby a záujmy.

Kľúčové úvahy EUA pri používaní rebríčkov vysokými školami:

1. Neexistuje jednotná definícia kvality aktivít univerzít.
2. (Veľmi rôznorodé) univerzity sú závislé a fungujú vo veľmi rôznorodých systémoch financovania a riadenia, čo ešte viac znásobuje skutočnosť, že rebríčky neporovnávajú podobné s podobným.
3. Rebríčky môžu konzultovať rôzne zainteresované strany rôznymi spôsobmi.
4. Kritická analýza je potrebná na identifikáciu toho, aké ukazovatele sa používajú v rebríčkoch a čo majú merať.
5. Najmä pokiaľ ide o výber štúdia, študenti by mali byť povzbudzovaní, aby si robili svoj vlastný prieskum, zvážili osobné preferencie a ciele a pred prijatím rozhodnutia zvažovali celý rad faktorov.
6. Rozhodnutia univerzít by sa nemali riadiť rebríčkami.
7. Pri hodnotení výskumu by sa nemali používať rebríčky.

9. Rozhodnutie univerzity pre alebo proti účasti v rebríčku by malo byť jasne vysvetlené a oznámené.
10. Univerzity majú tiež povinnosť vzdelávať externé zainteresované strany o používaní a zneužívaní rebríčkov. Vlády, médiá a iné sektory majú tendenciu len obmedzene chápať rebríčky, ale vo veľkej miere ich interpretujú, používajú a pravidelne napomínajú univerzity za „slabý výkon“.

Zdroj: EUA