29 december 2007
De ESB Top 40 boter noch vis
Het ESB publiceert jaarlijks een top 40 en een top 30. De top 40 wordt traditioneel gepubliceerd in december en is een publicatietop. In essentie zou het er om moeten gaan wie er het meeste heeft gepubliceerd. De top 30 is een citatietop. Welke Nederlandse econoom wordt het meest geciteerd?
Het ESB begeeft zich met deze twee lijstjes op glad ijs. Welk lijstje is nu precies wat? Wat wordt er ook alweer gemeten? De details raken maar al te snel op de achtergrond en alleen de positie op een lijstje gaat zijn eigen leven leiden. Welk lijstje ook alweer? “Dat lijstje van de ESB. ” Het is des te meer laakbaar wanneer ze zelf schrijven “Hierbij is de top 40 een nuttig instrument gebleken in de interne verdeling van schaarse onderzoeksgelden bij faculteiten, en voor individuele onderzoekers een een zoete beloning om de intellectuele voldoening van publicatie te verlengen.” Echte economentaal wanneer het over schaarse middelen gaat.
Mijn bezwaar tegen deze top 40 is dat er afgezien van het aantal publicaties (partieel geteld weliswaar) ook een weging voor de kwaliteit wordt gemaakt door de het aantal publicaties te vermenigvuldigen met de Impact Factor van de tijdschriften waarin gepubliceerd is. Natuurlijk is het een prestatie wanneer je je publicatie geaccepteerd krijgt in een tijdschrift met een hoge Impact Factor, maar je moet dit niet gaan verwarren met wetenschappelijke kwaliteit.
Tijssen (2003) keek, misschien niet geheel toevallig, naar de onderzoekskwaliteit van economische onderzoeksgroepen uit Nederland en vond dat bibliometrische indicators veel betere indicatoren waren voor onderzoekskwaliteit dan criteria gebaseerd op kwaliteit van tijdschriften. In ieder bibliotmetrisch handboek (bijv. Moed 2005) wordt tegen deze praktijk gewaarschuwd. Ik mag verwijs meestal ook naar het artikel van Opthof (1997) om tegen deze praktijk te waarschuwen.
Een snelle analyse van de huidige top 10 van de ESB top 40 laat zien dat van Knippenberg en Stapel ondanks een veel kleiner aantal publicaties, wel veel meer geciteerd worden dan Franses, Bulte of Wedel. Het aantal citaties per publicatie is veel hoger, en daarnaast is de h-index over deze korte tijdsreeks de hoogste gevonden bij deze top 10.
Een publicatietop? Goed voor borrelpraat zoals het ESB zelf aangeeft. Niet voor het verdelen van schaarse middelen. Ik kijk nu al uit naar de citatietop voor Nederlandse economen, maar die verschijnt pas mei.
Literatuur
Moed, H. F., W. Glänzel & U. Schmoch, Eds. (2004). Handbook of Quantitative Science and Technology Research : The use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht (The Netherlands), Kluwer Academic Publishers. 800 pp.
Opthof, T. (1997). Sense and nonsense about he impact factor. Cardiovascular Research 33(1): 1-7.
Tijssen, R. J. W. (2003). Scoreboards of research excellence. Research Evaluation 12(2): 91-104.
Het ESB begeeft zich met deze twee lijstjes op glad ijs. Welk lijstje is nu precies wat? Wat wordt er ook alweer gemeten? De details raken maar al te snel op de achtergrond en alleen de positie op een lijstje gaat zijn eigen leven leiden. Welk lijstje ook alweer? “Dat lijstje van de ESB. ” Het is des te meer laakbaar wanneer ze zelf schrijven “Hierbij is de top 40 een nuttig instrument gebleken in de interne verdeling van schaarse onderzoeksgelden bij faculteiten, en voor individuele onderzoekers een een zoete beloning om de intellectuele voldoening van publicatie te verlengen.” Echte economentaal wanneer het over schaarse middelen gaat.
Mijn bezwaar tegen deze top 40 is dat er afgezien van het aantal publicaties (partieel geteld weliswaar) ook een weging voor de kwaliteit wordt gemaakt door de het aantal publicaties te vermenigvuldigen met de Impact Factor van de tijdschriften waarin gepubliceerd is. Natuurlijk is het een prestatie wanneer je je publicatie geaccepteerd krijgt in een tijdschrift met een hoge Impact Factor, maar je moet dit niet gaan verwarren met wetenschappelijke kwaliteit.
Tijssen (2003) keek, misschien niet geheel toevallig, naar de onderzoekskwaliteit van economische onderzoeksgroepen uit Nederland en vond dat bibliometrische indicators veel betere indicatoren waren voor onderzoekskwaliteit dan criteria gebaseerd op kwaliteit van tijdschriften. In ieder bibliotmetrisch handboek (bijv. Moed 2005) wordt tegen deze praktijk gewaarschuwd. Ik mag verwijs meestal ook naar het artikel van Opthof (1997) om tegen deze praktijk te waarschuwen.
Een snelle analyse van de huidige top 10 van de ESB top 40 laat zien dat van Knippenberg en Stapel ondanks een veel kleiner aantal publicaties, wel veel meer geciteerd worden dan Franses, Bulte of Wedel. Het aantal citaties per publicatie is veel hoger, en daarnaast is de h-index over deze korte tijdsreeks de hoogste gevonden bij deze top 10.
Een publicatietop? Goed voor borrelpraat zoals het ESB zelf aangeeft. Niet voor het verdelen van schaarse middelen. Ik kijk nu al uit naar de citatietop voor Nederlandse economen, maar die verschijnt pas mei.
Literatuur
Moed, H. F., W. Glänzel & U. Schmoch, Eds. (2004). Handbook of Quantitative Science and Technology Research : The use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht (The Netherlands), Kluwer Academic Publishers. 800 pp.
Opthof, T. (1997). Sense and nonsense about he impact factor. Cardiovascular Research 33(1): 1-7.
Tijssen, R. J. W. (2003). Scoreboards of research excellence. Research Evaluation 12(2): 91-104.
Labels: Bibliometrics, ESB top40
