05 januari 2010

 

Ranking the rankings

Een aardige collega (en ik weet nog steeds niet wie) had tijdens de vakantie het laatste nummer van Vawo visie op mijn bureau gelegd. Ik denk vanwege het artikel "Ranking the rankings". Helaas nog niet online verschenen trouwens. De teneur van het artikel is eigenlijk dat iedere universiteit kan roepen "ik ben de beste", en dat doen ze dan ook regelmatig, iedere keer met een andere ranking in de hand. Ze laten dat zien met een overzicht van het presteren van de Nederlandse universiteiten in 4 verschillende rankings.

Het artikel is gebaseerd op een KPMG rapport dat ik nog niet eerder tegen was gekomen "Internationaal scoren is een keuze". Dit rapport heeft waarschijnlijk even op het Web gestaan, maar is nu helaas niet meer beschikbaar op de site van KPMG. Wat mij het meest verbaasde dat er wordt aangehaald dat er "veel meer belang wordt aan de Shanghai Index gehecht." Dit kwam bij mij als een grote verrassing. Ik had net het artikel van Billaut et al. gelezen, die naast de traditionele kritiek die als eerste uitgebreid door van Raan (2005) werd gespuid, wijst op een hele grote methodologische fout in de berekening van de Shanghai index. Het maken van een ranglijstje is veel lastiger dan soms gedacht wordt. Ik ben daarom verbaasd dat KPMG voor deze ranking wel een goed woordje doet. The THES ranking wordt volgend jaar helemaal een farce nu Times heeft besloten een ander bueau in de arm te nemen. Mijns inziens gaan pure bibliometrische rankings straks een grotere rol spelen. Welke? Leiden ranking, ScimagoIR en Taiwan ranking zijn daar voorbeelden van. De laastste twee kwamen niet in het KPMG rapport voor. Ik ben ondertussen wel heel nieuwsgierig naar dit KPMG rapport, maar heb het helaas nog niet te pakken.

Ik weet dat rankings hot topics zijn. Ik denk dat de invloed op het aantrekken van (internationale) studenten en onderzoekers niet onderschat moet worden. Het is bekend dat vooral studenten uit ZO Azië zich ondermeer laten beïnvloeden door dit soort lijstjes. Goed er voorstaan in deze lijstjes is dus heel belangrijk wanneer je internationaal wilt scoren, maar geen heilige graal. Wel weet ik uit ervaring dat onderzoekers door zich aan hele simpele regeltjes te houden hun universiteit fiks kunnen helpen om de positie te verbeteren. Naamgeving is er een van. De meeste rankers missen minstens 10% van onze publicaties omdat de naam niet goed, of helemaal niet, wordt opgeschreven. Dat is natuurlijk zonde.

Literatuur
Anon. (2009). Ranking the rankings. Vawo visie 41(3): 1-2. http://www.vawo.nl/actueel/documents/vv0903.pdf [nog niet beschikbaar]
Jean-Charles Billaut, Denis Bouyssou and Philippe Vincke (2010). Should you believe in the Shanghai ranking? Scientometrics In press. http://dx.doi.org/10.1007/s11192-009-0115-x
KPMG (2009). Internationaal scoren is een keuze.
Anthony F. J. van Raan (2005). Challenges in Ranking of Universities. First International Conference on World Class Universities, Shanghai Jaio Tong University, Shanghai, June 16-18, 2005. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.4501&rep=rep1&type=pdf

Comments:
Dag Wouter,
mocht je het nog niet gezien hebben: het laatste nummer van TH&MA: Tijdschrift voor Hoger Onderwijs & Management (van Elsevier, maar niet digitaal beschikbaar!) is bijna geheel gewijd aan de ranking madness. Het gaat om nummer 5 van jaargang 2009.
 
Bert, dank je. Het tijdschrift ken ik totaal niet. Zal eens kijken of ik het te pakken kan krijgen.
 
Times neemt niet een ander bureau in de arm. De ranking gaat helemaal over naar het bureau waar ze al sinds 2004 mee samenwerken. De man van de Times die dit altijd leidde gaat ook over naar dit bureau.
 
Een reactie plaatsen

Links to this post:

Een koppeling maken



<< Home

This page is powered by Blogger. Isn't yours?