Vinkler Péter:

 

Bírálunk, de hogyan?

Egy kritika margójára

(Magyar Tudomány, 44 (1999) 94.-97.)

A Magyar Tudomány 1998. 8. számának 988. lapján Zolnai László és Gácsi Zoltán tollából Mérünk, de mit? címmel. Egy formula margójára alcímmel megjelent egy közlemény, amely a szerzôk szerint „...az értékelés általános, a « józan ész» által elvárt tulajdonságai” alapján bírálja az MTA intézeteinek munkáját 1996. évben értékelô személyek és bizottságok tevékenységét. Mint egyike a megbíráltaknak, indokoltnak tartom, hogy a szóban forgó cikkel kapcsolatosan a következô észrevételek nyilvánosságot kapjanak.

Sajnálattal állapítom meg, hogy a bírálat a leglényegesebb kérdéseket, így a tudományos teljesítmény mibenlétének meghatározását, annak számbavételi lehetôségeit, az egyes teljesítményelemek kijelölését, súlyozását nyíltan nem vitatja, hanem látszólag csupán módszertani kérdésekre koncentrál. Nyilván ennek is megvan a maga oka. Mint az értékelési módszerek egyik kidolgozója és az MTA Matematikai és Természettudományi Kuratóriuma által felkért Kutatáselemzési Munkabizottság elnöke, elmondhatom, hogy a Bizottságot nagyon nehéz feladat elé állították. Elôször is meg kellett határoznia a különbözô szakterületeken mûködô MTA-kutatóintézetek tevékenységének legfontosabb, kvantitatíve is értékelhetô elemeit, majd ezek jellemzésére mutatószámokat kellett kidolgozni, végül egy összegzô mutatót kellett javasolnia. Azt, hogy a bizottság igyekezett pártatlanul és az értékelési eljárás szakmai követelményeit betartva eljárni, igazolják jelentésébôl a következôk: „A vizsgált természettudományi intézetek hozzávetôlegesen három informatikai körbe sorolhatók. Az intézetek döntô hányada abba a körbe tartozik, ahol a természettudományok alapdiszciplináinak általánosan, szokások, hagyományok követése révén elterjedt kommunikációs rendje érvényesül. Ezeknek az intézeteknek a publikációs tevékenységét értékelve, tudományos kutatási eredményességük is jellemezhetô. (Ezek a fizikai, kémiai, matematikai területeken dolgozó intézetek).” hozzátehetjük az élettudományok diszciplínáit és legtöbb szakterületét is.

„Az említett intézetek olyan témákban dolgoznak, amelyek információs csatornái:

Az intézetek második körébe azok rendelhetôk, amelyek tevékenysége nagyobb részben nem az alapdiszciplínák közé, hanem az alkalmazott tudományok (és részben a fejlesztés, ill. a magas színvonalú szakmai szolgáltatások) kategóriájába tartozik. Ez a megállapítás nem értékmegjelölés, hanem a tevékenység többiétôl eltérô jellegének jelölésére szolgál.”

„A harmadik körbe tartozik .... például..." a Földrajztudományi Intézet, amely csak részben sorolható a természettudományi kutatóintézetek csoportjába, hiszen tevékenységének tekintélyes hányada inkább a társadalomtudományok területére esik.

Az utóbb említett két informatikai kör publikálási és hivatkozási szokásai eltérnek az elsô körétôl, s ezért az általános mutatószámok itt nem, vagy csak kevésbé használhatók értékelés céljaira. Az értékelés elvégzéséhez ilyenkor a szakértôi (bizottsági) értékelésnek van nagyobb szerepe."

„Az egyes teljesítményelemek súlyozását természetesen máshogyan is el lehet végezni, a Bizottság csupán egy lehetséges megoldást igyekezett felvázolni. Az egyes teljesítményelemek súlyát az összteljesítményben tulajdonképpen az értékelést felhasználónak kellene tudománypolitikai döntések nyomán megadnia, természetesen figyelembe véve az értékelés módszertani szempontjait is." „Reméljük, hogy akkor, ha ez megtörténik, az értékelés eredményeinek felhasználására is sor kerül, mert öncélúan értékelni legalább olyan helytelen, mint egyáltalán nem értékelni." áll a Bizottság jelentésében.

**

Az említettekhez a következôket kell még hozzátennem.

Tudományos szervezetek eredményeinek kvantitatív értékelése szakmai tevékenység, amelynek végzéséhez feltétlenül szükséges mind az értékelendô szakterület, mind az elméleti és az alkalmazott tudománymetria ismeretanyagának egy bizonyos színvonalon való tudása. Nyilvánvaló, hogy az értékelési eljárás során az értékelôknek nem csak a szakmai, de az etikai követelményeknek is meg kell felelniük. Meg vagyok gyôzôdve arról, hogy a különbözô szinteken, fórumokon a szóban forgó akadémiai értékelési módszereket érdemben alakítók etikai vétséget nem követtek el. Ezért csak rosszindulatú feltételezésnek minôsíthetem a bírálók következô megjegyzését: „Az eredmény láttán érdemes eljátszani a gondolattal: vajon milyen érdekek és célok tették ezt a felmérést olyanná, amilyen lett?” idézet a 993. oldalról. Az általam vezetett bizottság tagjaival kapcsolatosan joggal elvárható annyi szakmai hozzáértés és tisztesség feltételezése mind az értékelés megrendelôitôl, mind maguktól az értékeltektôl, hogy elfogadják, igyekeztünk a ránk bízott feladatok legjobb tudásunk és lelkiismeretünk szerint elvégezni. A bizottság nem volt elfogult egyik intézet vagy szakterület kárára vagy javára sem. Sajnálom, hogy a bírálók által képviselt intézet az adott értékelési követelmények között nem tudott a legjobbak közé kerülni. Éppen ezért a bírálóknak inkább azzal a gondolattal lenne érdemes eljátszania, hogyan lehetséges az általuk képviselt intézethez hasonló kutatási területen mûködô másik két intézet kiváló helyezése. Megjegyzendô az elôzôekhez, hogy a bírálók munkahelye a kritizált értékelési eljárás 1. változata szerint (a Bizottság jelentésének 3. táblázata) a 19 intézet rangsorában a 7. helyet foglalta el. Célszerû, ha az értékelés módszereit arra alkalmas módon alkalmazásuk elôtt az értékeltekkel megvitatják. Azt azonban naivitás lenne feltételezni, hogy az értékelést megrendelô csak olyan mutatószámok használatát támogatná, amelyek akár indokoltan, akár indokolatlanul is de mindenki számára elônyösek lennének.

A bíráló cikk 993. oldalán található összefoglaló rész 1. pontjába foglalt következtetés (A módszer a tudományos kutatás általánosan pozitív jellegûnek elfogadott produktumainak létrehozását bünteti.) képtelen és helytelen, mert az alkalmazott értékelô módszerek egyike sem büntette a bírálók által „pozitív jellegûnek elfogadott”-nak nevezett produktumok létrehozását.

A bírálat alapvetô hibája, hogy a bírálók nem nem azt a formulát alkalmazták, amelyet az értékelôk használtak. A bírálók ugyanis a következô képletet (989. o.) írják fel:

1. képlet

ahol:

Pk: egy adott intézet bruttó teljesítménymutatója,

Wi: az i-edik teljesítményelem súlyfaktora,

n: az összes teljesítményelem száma,

ai,k: a k-adik értékelt intézet i-edik teljesítményelem szerinti mutatószáma,

ai,j: a j-edik intézet iôedik teljesítményelem szerinti mutatószáma

m: az összes intézet száma.

Megjegyzendô, hogy a bírálók által bírálatukat alátámasztandóan használt s az értékelôknek tulajdonított 1. képletnek számos pontatlansága van, ezeket e helyütt nem elemzem. A képlet azt a képtelenséget sugallja, hogy minél nagyobb értékû adott intézet adott teljesítménymutatója (ai,k) azaz: minél jobban szerepel egy intézet az adott versenyszámban, az (ai,k/ ai,j) hányados annál nagyobb, így ha ezt az adatot egy számból (Wi-bôl, azaz a megfelelô súlyfaktorból) kivonjuk, nyilvánvalóan annál kisebb értéket kapunk.

Nem tudom elképzelni, honnan származik az .1. formula, de a Bizottság sem számszerû, sem szöveges formában ilyen kiszámítási módról soha nem tárgyalt, nemhogy ilyet alkalmazott volna. Elkeserítô, ha a bírálók úgy gondolják, hogy a Bizottság, amelynek tagjai között két matematikus (egyik akadémikus) is volt, az említett butaságot találta volna ki, amelyet tetéz, hogy e képtelenséget feltételezik a kuratóriumokról és az AKT-rôl is, amelyek megtárgyalták a bizottság jelentését. Az említett formulával szemben a Bizottság a 2. képletet alkalmazta az általa ajánlott egyik módszer (lásd Scientometrics, 41(1998) 185-200) szerint

2. képlet

ahol:

(BT)k: a k-adik intézet Bruttó Teljesítménymutatója,

W(M1): az M1 mutatószámmal jellemzett tevékenység súlyfaktora,

K: az intézetek száma összesen,

M1,k: a k-adik intézet M1 mutatószáma.

Megjegyzendô, hogy a Bizottság más módszereket is alkalmazott a Bruttó Teljesítmény kiszámítására.

A Bizottság jelentését az MTA Matematikai és Természettudományi Kuratóriuma az intézetek értékelésének alapjául elfogadta. A késôbbi anyagi következmények alapján azonban nem az említett Bizottság által készített értékelés eredményei szolgáltak. Az Akadémiai Kutatóhelyek Tanácsa ugyanis mind az alkalmazott a teljesítményelemek számát, mind a súlyozást alapvetôen megváltoztatta.

A módosítás csak a következô elemeket (zárójelben azok súlya) vette figyelembe:

Az AKT-által megadott módszer szerint az adatokat a jelen cikk szerzôje számította ki a következôk szerint. az intézetek egyes mutatószámait átlagoltam. Kiszámítottam az átlagokat (x) szórását (SD).

Az i-edik intézet (xi) ezek után a következô pontszámokat kaphatta:

xi ³ x + SD 4

x £ xi < x + SD 3

x - SD £ xi < x 2

xi < x - SD 1

Az egyes intézeteknek az adott teljesítménymutató szerint elért pontszámát szoroztam a megadott kategóriára vonatkozó súlyfaktorral, majd az egyes szorzatokat intézetenként összegeztem. Így alakult ki az intézeteknek egy bizonyos sorrendje. A sorrend alapján az intézeteket három, ill. négy kategóriába csoportosították, amely besorolás volt az alapja bizonyos támogatások szétosztását érintô pénzügyi intézkedéseknek. Megjegyzendô, hogy az alkalmazott eljárás az értékelés során elkövetett esetleges módszertani hibákat jelentôs mértékben csökkentette.

A különféle értékelési eljárások értelemszerûen nem adhattak teljesen azonos eredményeket, hiszen más és más mutatószámok más és más súllyal szerepeltek. Az azonban megfontolandó, hogy az intézetek bruttó pontszámára a bizottság (a 2. képlet szerint) és az AKT módszere szerinti sorrendek között számított Spearman-féle rangkorrelációs koefficiens értéke: 0,864.

A bírálókkal szemben megállapíthatjuk, hogy bármely teljesítménynek elismert tevékenység révén hozott legkisebb mértékû eredmény is növelte a bruttó mutatót.

***

Minden értékelés orientál. A Bizottság s ezzel összhangban az AKT szándéka nyilvánvaló volt a súlyfaktorok ezt egyértelmûen mutatják: a nemzetközi hatást kifejtô tudományos publikációs tevékenységet kell értékelni és elismerni. A nagyon különbözô szakterületek teljesítményelemeinek összehasonlítása kétségtelenül nehéz és csak kellô szakértelemmel, megbízható adatbázisra építve szabad végrehajtani, de még mindig kisebb kockázattal és veszteséggel jár, mint az értékelés elhanyagolása, az elismerés és támogatás lobbyzás révén történô érdemtelen osztogatása.

Az értékelés: kellemetlen lehet egyesek számára, fôként, ha számokban fejezik ki a teljesítményt. Az viszont igaz, hogy a helytelen értékelés árthat, és hogy a tudományos kutatás értékelési eljárásai még nem kiforrottak. Kevés az ehhez a szakmához értô szakember, és sokszor hiányoznak a megbízható adatok is.

A bizottság értékelési módszerében a bírálók az egyik legnagyobb hiányosságnak azt tartják, hogy az értékelés a tudományterületek "eltérô relatív tôkeellátottságát" nem vette figyelembe. Valóban így van, de a tudományos kutatók világversenye kíméletlen, abszolút verseny abban az értelemben, hogy nincsen tekintettel a versenyzôk egyéni, szervezeti, anyagi stb. körülményeire. Az értékelés eredményeinek alapján viszont az illetékes tudománypolitikusoknak és irányítóknak az értékeltek speciális körülményeire való figyelemmel kell levonni a megfelelô következtetéseket és megtennie a szükséges intézkedéseket.

Számos közleményre hivatkozhatnék, amelyek mind a tudománymetria módszereinek ésszerû és célszerû alkalmazása mellett szólnak. E helyütt egyetlen dolgozatra utalok: C. Oppenheim angol kutatóhelyek egy kutatóra jutó idézeteinek számát és a Universities Funding Council Research Assessment Exercise elnevezésû, országos szintû szakértôi értékelés pontokban kifejezett adatait hasonlította össze. A két adatsor Spearman-féle rangkorrelációs tényezôjét: 0,82-nek találta (Journal of Documentation, 51(1995) 18-27).

Remélem, hogy a tudományos teljesítmény értékelésérôl mindazokkal, akiket ez a téma érdekel vagy hivatalból illet, a jövôben kölcsönös jószándékot, szakmai tudást vagy etikus viselkedést feltételezô eszmecseréket folyathatunk.