30 maart 2009
Mini-symposium bibliometrics live op WURTV
Vanochtend tijdens de koffie ging de discussie over de vraag waarom we het een mini-symposium noemen ons minisoposium over bibliometrics komende woensdag. Wel het is een uit de hand gelopen workshop dat wij altijd de eerste woensdag van de maand organiseren. Meestal alleen onze afdeling. Soms de bibliotheek. Dit keer dachten we dat het aardig was om het ook aan te kondigen binnen de universiteit. Zaaltje voor ongeveer vijftig man. Moet kunnen.
Ik opperde of ik het ook aan een paar bloggers/blog lezezers kon laten weten want ik wist er in elk geval die die wel zou willen komen. Oké daarom, daarom ook buiten de universiteit bekendheid geven. Op zo'n korte termijn zou het wel losplopen. Drie mailing lijsten gemailed. Nedbib, metis beheerders en repository managers.
En twee weken later hebben we 130 aanmelding.
Het mini aan het symposium is dat we het beperken tot vijf korte sessies. Het aantal aanmeldingen groeide als kool schijnbaar omdat het een periode is dat mensen kunnen. En dat de aanstaande peer review wel leeft bij de onderzoekers. Er komen ongeveer tachtig bezoekers van allerhande groepen van de universiteit, een stuk of dertig van buiten Wageningen en zo'n 20 van onze eigen bibliotheek organisatie.
Voor de thuisblijvers, die op de korte termijn niet konden komen. Het wordt live uitgezoden via WURTV op http://wurtv.wur.nl/presentations/C222/ (Alleen te volgen met IE) Het programma, waar we ons strak aan zullen houden staat op onze Desktop News. De exacte aanvang van de tijden zal ik via mijn tweetstream doorgeven -weer zo'n handig gebruik van Twitter.
Ik opperde of ik het ook aan een paar bloggers/blog lezezers kon laten weten want ik wist er in elk geval die die wel zou willen komen. Oké daarom, daarom ook buiten de universiteit bekendheid geven. Op zo'n korte termijn zou het wel losplopen. Drie mailing lijsten gemailed. Nedbib, metis beheerders en repository managers.
En twee weken later hebben we 130 aanmelding.
Het mini aan het symposium is dat we het beperken tot vijf korte sessies. Het aantal aanmeldingen groeide als kool schijnbaar omdat het een periode is dat mensen kunnen. En dat de aanstaande peer review wel leeft bij de onderzoekers. Er komen ongeveer tachtig bezoekers van allerhande groepen van de universiteit, een stuk of dertig van buiten Wageningen en zo'n 20 van onze eigen bibliotheek organisatie.
Voor de thuisblijvers, die op de korte termijn niet konden komen. Het wordt live uitgezoden via WURTV op http://wurtv.wur.nl/presentations/C222/ (Alleen te volgen met IE) Het programma, waar we ons strak aan zullen houden staat op onze Desktop News. De exacte aanvang van de tijden zal ik via mijn tweetstream doorgeven -weer zo'n handig gebruik van Twitter.
Labels: Bibliometrics, Vodcasting, WURTV
29 december 2007
De ESB Top 40 boter noch vis
Het ESB publiceert jaarlijks een top 40 en een top 30. De top 40 wordt traditioneel gepubliceerd in december en is een publicatietop. In essentie zou het er om moeten gaan wie er het meeste heeft gepubliceerd. De top 30 is een citatietop. Welke Nederlandse econoom wordt het meest geciteerd?
Het ESB begeeft zich met deze twee lijstjes op glad ijs. Welk lijstje is nu precies wat? Wat wordt er ook alweer gemeten? De details raken maar al te snel op de achtergrond en alleen de positie op een lijstje gaat zijn eigen leven leiden. Welk lijstje ook alweer? “Dat lijstje van de ESB. ” Het is des te meer laakbaar wanneer ze zelf schrijven “Hierbij is de top 40 een nuttig instrument gebleken in de interne verdeling van schaarse onderzoeksgelden bij faculteiten, en voor individuele onderzoekers een een zoete beloning om de intellectuele voldoening van publicatie te verlengen.” Echte economentaal wanneer het over schaarse middelen gaat.
Mijn bezwaar tegen deze top 40 is dat er afgezien van het aantal publicaties (partieel geteld weliswaar) ook een weging voor de kwaliteit wordt gemaakt door de het aantal publicaties te vermenigvuldigen met de Impact Factor van de tijdschriften waarin gepubliceerd is. Natuurlijk is het een prestatie wanneer je je publicatie geaccepteerd krijgt in een tijdschrift met een hoge Impact Factor, maar je moet dit niet gaan verwarren met wetenschappelijke kwaliteit.
Tijssen (2003) keek, misschien niet geheel toevallig, naar de onderzoekskwaliteit van economische onderzoeksgroepen uit Nederland en vond dat bibliometrische indicators veel betere indicatoren waren voor onderzoekskwaliteit dan criteria gebaseerd op kwaliteit van tijdschriften. In ieder bibliotmetrisch handboek (bijv. Moed 2005) wordt tegen deze praktijk gewaarschuwd. Ik mag verwijs meestal ook naar het artikel van Opthof (1997) om tegen deze praktijk te waarschuwen.
Een snelle analyse van de huidige top 10 van de ESB top 40 laat zien dat van Knippenberg en Stapel ondanks een veel kleiner aantal publicaties, wel veel meer geciteerd worden dan Franses, Bulte of Wedel. Het aantal citaties per publicatie is veel hoger, en daarnaast is de h-index over deze korte tijdsreeks de hoogste gevonden bij deze top 10.
Een publicatietop? Goed voor borrelpraat zoals het ESB zelf aangeeft. Niet voor het verdelen van schaarse middelen. Ik kijk nu al uit naar de citatietop voor Nederlandse economen, maar die verschijnt pas mei.
Literatuur
Moed, H. F., W. Glänzel & U. Schmoch, Eds. (2004). Handbook of Quantitative Science and Technology Research : The use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht (The Netherlands), Kluwer Academic Publishers. 800 pp.
Opthof, T. (1997). Sense and nonsense about he impact factor. Cardiovascular Research 33(1): 1-7.
Tijssen, R. J. W. (2003). Scoreboards of research excellence. Research Evaluation 12(2): 91-104.
Het ESB begeeft zich met deze twee lijstjes op glad ijs. Welk lijstje is nu precies wat? Wat wordt er ook alweer gemeten? De details raken maar al te snel op de achtergrond en alleen de positie op een lijstje gaat zijn eigen leven leiden. Welk lijstje ook alweer? “Dat lijstje van de ESB. ” Het is des te meer laakbaar wanneer ze zelf schrijven “Hierbij is de top 40 een nuttig instrument gebleken in de interne verdeling van schaarse onderzoeksgelden bij faculteiten, en voor individuele onderzoekers een een zoete beloning om de intellectuele voldoening van publicatie te verlengen.” Echte economentaal wanneer het over schaarse middelen gaat.
Mijn bezwaar tegen deze top 40 is dat er afgezien van het aantal publicaties (partieel geteld weliswaar) ook een weging voor de kwaliteit wordt gemaakt door de het aantal publicaties te vermenigvuldigen met de Impact Factor van de tijdschriften waarin gepubliceerd is. Natuurlijk is het een prestatie wanneer je je publicatie geaccepteerd krijgt in een tijdschrift met een hoge Impact Factor, maar je moet dit niet gaan verwarren met wetenschappelijke kwaliteit.
Tijssen (2003) keek, misschien niet geheel toevallig, naar de onderzoekskwaliteit van economische onderzoeksgroepen uit Nederland en vond dat bibliometrische indicators veel betere indicatoren waren voor onderzoekskwaliteit dan criteria gebaseerd op kwaliteit van tijdschriften. In ieder bibliotmetrisch handboek (bijv. Moed 2005) wordt tegen deze praktijk gewaarschuwd. Ik mag verwijs meestal ook naar het artikel van Opthof (1997) om tegen deze praktijk te waarschuwen.
Een snelle analyse van de huidige top 10 van de ESB top 40 laat zien dat van Knippenberg en Stapel ondanks een veel kleiner aantal publicaties, wel veel meer geciteerd worden dan Franses, Bulte of Wedel. Het aantal citaties per publicatie is veel hoger, en daarnaast is de h-index over deze korte tijdsreeks de hoogste gevonden bij deze top 10.
Een publicatietop? Goed voor borrelpraat zoals het ESB zelf aangeeft. Niet voor het verdelen van schaarse middelen. Ik kijk nu al uit naar de citatietop voor Nederlandse economen, maar die verschijnt pas mei.
Literatuur
Moed, H. F., W. Glänzel & U. Schmoch, Eds. (2004). Handbook of Quantitative Science and Technology Research : The use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht (The Netherlands), Kluwer Academic Publishers. 800 pp.
Opthof, T. (1997). Sense and nonsense about he impact factor. Cardiovascular Research 33(1): 1-7.
Tijssen, R. J. W. (2003). Scoreboards of research excellence. Research Evaluation 12(2): 91-104.
Labels: Bibliometrics, ESB top40
