Zolnai László, Gácsi Zoltán:

 

 

Egy formula margójára - Mérünk, de mit?

Magyar Tudomány, 43 (1998) 988.-993.

 

 

Bevezetés

 

Most már évtizedes múltra tekint vissza az MTA kutatóintézeteinek felmérése, átvilágítása - periodikusan gyomorremegést okozva az érintettekben. Természetesen jó volna, ha az értékelés az érintettek által szélesebb körben elfogadott értékek mentén történne. Ha ez nem lehetséges, az érintett intézeteknek legalább azt kellene tudniuk, hogy teljesítményük egyes elemei az értékelés során milyen súllyal esnek latba. Nyilván, amíg az értékelések eredményei nem járnak különösebb következménnyel, addig az értékelés mikéntje sem bír különösebb jelentôséggel. Ez a gyakorlat az 1996. évi átvilágítással megszûnni látszik. Azt továbbra sem lehet tudni, hogy az intézetek számszerû mutatói pontosan milyen szerepet játszanak a "konszolidáció" során elfogadott intézkedéssorozatban, azonban elérkezettnek látjuk az idôt, hogy néhány megjegyzést fûzzünk az értékelés módszereihez. Az alábbiakban nem szállunk vitába az értékelés által figyelembe vett teljesítménymutatók kiválasztásával, azok relatív súlyának megállapításával, mivel ezt az értékelô jogának tartjuk. Megjegyzéseink az értékelés általános, a "józan ész" által elvárt tulajdonságaira vonatkoznak három kérdéskört érintve: 1. Az értékelés azt jutalmazza és azt bünteti-e, amit a tudományos kutatás általános megítélése jutalmazandónak, ill. büntetendônek tart? 2. Milyen a hatása az értékelés bemenô adatai hibájának? 3. Mennyire kapcsolódnak az értékelt teljesítménymutatók az intézetek teljesítményéhez?

 

A formula

 

1996-ban az MTA természettudományi intézeteit több formulát alkalmazva is megpróbálták értékelni. Ezek a formulák lényegileg egyformák, mind egy pontszámban próbálta összesíteni az intézetek "teljesítményét". Ezek közül egyet ismertetünk, amelynek nagy hatása volt az intézetek besorolásában. Ezt a formulát - a többivel együtt - az MTA Matematikai és Természettudományi Kuratóriumának Kutatáselemzési Munkabizottsága (elnök: Vinkler Péter) alakította ki.

Az intézetektôl az 1992-95-os idôszakra vonatkozó különbözô teljesítménymutatókat kértek. Ezek közül a formulába végül is szereplôk1,2 definíciói a következôk voltak:

 

a1,int az adott idôszakban egy intézeti kutatóra évenként esô publikációszám átlaga

a2,int az adott idôszakban egy intézeti kutatóra évenként esô idegen nyelven megjelent publikációk számának átlaga

a3,int az adott idôszakban egy intézeti kutatóra évenként esô SCI3 -folyóiratokban megjelent publikációk számának átlaga

a4,int az adott idôszakban évenként megjelent publikációk hatástényezôinek4 (impakt faktorainak) összege osztva az SCI-cikkek illetô évbeli számával, átlagolva az adott idôszakra

a5,int az a4,int osztva h-val ahol h az tudományterület folyóiratainak átlagára jellemzô átlagos hatástényezô (az intézetek által megadott "tevékenységi spektrum"-ból az MTA Kutatásszevezési Intézete számolta ki)

a6,int az intézeti kutatóévenkénti idézetszám, (a 1982-95 között megjelent publikációkra vonatkozó, 1992-95-ben évenként megjelent független SCI-idézetszám, osztva az illetô intézet kutatóinak évenkénti átlaglétszámával, átlagolva az 1992-95-ös idôszakra)

a7,int az adott idôszakban nemzetközi együttmûködésben készült publikációk száma osztva az összes publikációk számával

a8,int az adott idôszakban bejelentett szabadalmak száma osztva az intézeti kutatók számával

a9,int az adott idôszakban idegen nyelven megjelent publikációk száma osztva az MTA támogatás összegével (MFt-ban)

a10,int az adott idôszakban találmányok értékesítésébôl befolyt összeg osztva az intézeti kutatók számával

a11,int az intézetben tudományos minôsítéssel rendelkezôk száma osztva az intézeti kutatók számával.

 

1996 februárjában a fentiekben publikációnak nevezett kategória egyenlô volt folyóiratokban megjelent közlemények, konferenciaközlemények, könyvek és kiadványrészletek összegével. Az intézet közleményének számított az, amelyben az intézet neve bármilyen formában fel volt tüntetve. Nemzetközi együttmûködésben született publikáció volt az, amelyben külföldi társszerzôk szerepeltek. SCI-hivatkozás volt az, melyben az idézô cikk folyóiratának a megjelenési évre vonatkozólag létezett hatástényezôje. Független hivatkozásnak számított az a hivatkozás, amelyben a hivatkozó és hivatkozott publikációban nincs közös társszerzô.

1996 októberében a definíciók a Természettudományi Fôosztály kezdeményezésére annyiban módosultak, hogy 1. Intézeti tudományos publikációnak csak az számít, amelyben az intézet neve a publikáció fejzetében szerepel, 2. SCI hivatkozás az, amely az SCI-ben fellelhetô.

1997 februárjában a Természettudományi Fôosztály által kért, 1996-os évre vonatkozó beszámolóban csak olyan tudományos közlemény számított elfogadott publikációnak, amely ISSN/ISBN számmal rendelkezô kiadványban jelent meg.

A fentebb említett munkabizottság 1997 márciusi "továbbfejlesztett" értékelésében mégis az összes idézetszámot (tekintet nélkül azok lelôhelyére) vette figyelembe5.

A k-dik intézet Pk teljesítményét, a kuratórium által elfogadott wi súlyfaktorok6 segítségével a következô képlet alapján számolták ki:

ahol n a szempontok, m az értékelésbe bevont intézetek száma, ai,j az egyes intézeteknek a különbözô szempontok szerinti teljesítménymutatói.

A fenti értékelôfüggvény viselkedését senki sem képes pontosan átlátni. Hogy az általa hordozott "üzenetet" megfejthessük, numerikusan megvizsgáltuk, hogy az MTA Atommagkutató Intézete jelenlegi mutatóinak kis környezetében, hogyan változik a függvény. Ezt úgy csináltuk, hogy kiszámoltuk, hogy kézzelfogható egységekben (publikáció, bevétel, stb.) kifejezett többlet "teljesítmény" feltételezésével mennyivel változik a függvény értéke. Számításaink során a másodrendû effektusokat (pl. hogy az adott publikáció maga is indukál hivatkozásokat a tekintett idôszakban, stb.) nem vettük figyelembe, mivel ezek a hatások az ellenôrzô számítások szerint a pontértékváltozás 1 %-nál kisebbek voltak. Hogy szemléletesebb legyen az eredmény, az értékelô függvény pontértékváltozását SCI-hivatkozásokban - mint értékmérô egységekben - is kifejeztük. Eredményeinket az I. Táblázatban adjuk közre7 .

A táblázatból látszik, hogy bizonyos publikációkat jobb lett volna letagadni, mivel hatásuk negatív. Ezt pontosabban is megfogalmazhatjuk. Tekintettel arra, hogy a Physical Review Letters, a Physical Review C., és a Applied Radiation and Isotopes folyóiratok 1994-es hatástényezôi rendre 6.626, 1.842, 0.534, lineáris interpolációval kapjuk, hogy ahhoz, hogy egy publikáció pozitív irányban befolyásolja az intézet teljesítményét, az kell hogy a hozzá tartozó hatástényezô nemzetközi együttmûködésben született cikkekre legalább 0.241, hazai cikkekre legalább 1.425 legyen8 . Ezeknél kisebb hatástényezôjû cikkek hatása negatív.

A táblázatban szereplô tényezôk közül kitûnik a h, amelynek változásával nagyon meredeken változik a függvényérték. Persze a "meredekség" nagysága attól függ, hogy milyen egységekben számolunk. Ezt a függést részben kiküszöbölhetjük, ha a változásokat százalékban mérjük. A problémát jobban megragadhatjuk, hogyha megbecsüljük a "bemenô" adatok hibáját. Publikációk, hivatkozások és gazdasági adatok esetén ez nem lehet nagyobb néhány százaléknál. A h esetén azonban a szóbajöhetô definíciók is 30-40 % hibát, így a pontértékben is nagy hibát okozhatnak (a definíciókra példák: 1. A kutatók megkérdezésével kialakított "tevékenységi spektrum"; 2. A megjelent publikációk tudományterületi eloszlása, stb.) Ez a tény arra indíthatná az értékelôt, hogy megfontolja egy ilyen mennyiség szerepeltetését a döntô fontosságú formulában.

Késôbb, az itt nem részletezett 1997. márciusi formulánál ennél még rosszabb a helyzet. Bizonyos bemenô paraméterek esetén a függvény "szakadásos", ami azt jelenti, hogy a bemenô paraméterek változtatásával a függvényérték ugrik. Ez azt jelenti, hogy az adott pontban egy kis változás (vagy hiba) a bemenô paraméterben ugrásszerû változást (nyereséget vagy veszteséget) okoz.

Természetesen a mindennapi életben is léteznek szakadásos függvények. Pl. a lottóban csak akkor nyerünk, ha eltalálunk az öt számból legalább kettôt. Annak a nyeremény nagyságára nincs jelentôsége, hogy ki milyen közel x-szelt a nyertes számokhoz. Azt gondoljuk, hogy a mindennapi életét (vagy sorsát) senki sem szeretné ilyen függvényekre alapozni.

 

Mérünk, de mit?

 

Jancsi és Juliska megházasodnak. Nászajándékul egy 12 személyes étkészletet kapnak. A mézeshetek alatt általában nem vetôdik fel a tulajdonjog kérdése. Az évek múlásával azonban elôállhat egy olyan helyzet, amikor külön-külön megkérdezve ôket, mindegyik magáénak vallja a tányérokat, és egy statisztikai felmérésbe 24 tányér kerülhet.

Az is elôfordulhat, hogy válni akarnak és nem tudván megegyezni a tányérokról, az ügy bíróság elé kerül. A magyar jogrend szerint a bíró egyenlô arányban osztja el a tányérokat a volt házasfelek között (élettársi közösség esetén a szerzés arányában, de ekkor a szerzés mértékét bizonyítani kell).

Természetesen lehetne más megoldás is: rögzíteni kellene az ajándékozás összes körülményéit, és akkor más tulajdoni hányad is kijöhetne. Azonban az fontos, hogy végül is ne legyen több 12 tányérnál.

Érdekes módon a a fentiekben vázolt értékelô módszer alkotói - noha ismerik az additivitás elvét, a tudományos közleményekkel és hivatkozásokkal kapcsolatban hajlandók azt feladni. A külsô és esetlegesen intézeten belüli együttmûködések hatásának szemléltetésére bemutatunk egy az ATOMKI-vel kapcsolatos ábrát (1. ábra). Az ábrán az ATOMKI kutatói által publikált tudományos közlemények számát láthatjuk a hatástényezôkkel9 súlyozva, a megjelenés évének függvényében. A különbözô görbéket a következô módon számoltuk: 1. Az intézet kutatói által publikált tudományos közlemények, 2. Az MTA Természettudományi Fôosztálya novemberi definíciójának megfelelô közlemények (amelyekben a szerzô a közlemény fejzetében feltüntette az intézet nevét) 3. Az elôbbinek azon része, amely az intézeti társszerzôkre esik (az egyes publikációk estében osztva a társszerzôk számával, és szorozva az intézeti társszerzôk számával) (saját rész). 4. úgy mint a 3. de csak az SCI publikációkat véve figyelembe. A lényeg az, hogy az értékelési mechanizmusban - fôleg, ha a külsô intézetekre is kiterjesztjük látókörünket - a társszerzôk és társszerzô intézetek ugyanazt a publikációt külön-külön is számontartják, így a nyilvántartásba kerülô összes publikáció száma nagyobb lesz mint a bejelentett létezô publikációk számának összege10.

Az 1. ábra módot nyújt arra, hogy a publikációk és az esetleges hivatkozások számára néhány következtetést vonjunk le. Nyilvánvaló, hogy mind a publikációk, mind a hivatkozások területén a négy görbe kb. 1987 körül elválik egymástól. Ennek oka a kooperatívitás növekedése a jól ismert nemzetközi nyomás következtében. Azonban ez nem jelenti azt, hogy az intézetek teljesítménye az 1 vagy 2-vel jelölt görbével írható le. A realitáshoz közelebb esik a 3 vagy 4 típusú görbe. Mivel az intézet kutatói létszáma az utóbbi években mintegy 20 %-ot csökkent, a 3 és 4 görbék fajlagos teljesítménynövekedést jeleznek az 1989-es "nagy ugrás" után is.

A társzerzôk intézetei és a társszerzôk joggal formálhatnak igényt az 1. és 3. eset közti különbségre (idegen rész). Az ATOMKI esetében a idegen/saját rész arány jelenleg kb. három az egyhez. Más intézetekre nem áll rendelkezésünkre ez az adat11, bár megemlítjük, hogy Venetiáner Pál egy interjújában (Népszabadság 1996. november 30.) az SZBK-ra ezt az arányt kilenc az egyhez értékûre becsülte. Nyilvánvaló, hogy mivel a fentebbi formula fôleg a publikációk, hivatkozások számára, illetve a publikációk hatástényezôkkel súlyozott összegére alapoz, a különbözô intézetek idegen/saját rész arányai lényegesen befolyásolják az értékelés eredményét.

 

 

Epilógus

 

A szerzôk a teljesítményközpontú intézetértékelés pártján állnak. Örvendetesnek tartják, hogy erôfeszítések történnek a "teljesítmény" konkretizálására. Azonban, mint a fentiekbôl láthatjuk, az értékelés mikéntjének megfelelô módon való kimunkálása még várat magára. Erre a feladatra talán ki lehetne használni a következô értékelésig hátralevô idôt.

A fentiekben, az 1996-os kutatóintézeti felmérés módszerével kapcsolatban fejtettük ki bírálatunkat, amelyet a következô pontokban foglalunk össze: 1. A módszer a tudományos kutatás általánosan pozitív jellegûnek elfogadott produktumainak létrehozását bünteti. 2. A külföldi társszerzôk még látszólagos bevonása is nagy elônnel jár. 3. A tudományterületi átlagos hatástényezô, amelyre a normálás történik, igen bizonytalan fogalom és ehhez képest indokolatlanul nagy mértékben befolyásolja az intézetek pozícióját. 4. Az egyre táguló együttmüködésekben születô cikkek esetlegesen többszörösen kerültek beszámításra és az ilyen cikkek, valamint a rájuk vonatkozó hivatkozások egésze az együttmûködésben résztvevô MTA intézet tejesítményeként voltak elszámolva. 5. Az értékelés folyamán gyakran változtak a definíciók és szempontok.

A szerzôk ugyanakkor fizikusok, és valószínûleg ebbôl fakadóan hajlamosak áttekinthetô sémákban gondolkodni. El tudják képzelni, hogy a kutatóintézeti felmérést a kutatás és a kutatóközösség egészséges fejlôdése érdekében, a teljesítmények reális értékelése céljából körültekintôen és racionálisan végzik el. Az eredmény láttán érdemes eljátszani a gondolattal: vajon milyen érdekek és célok tették ezt a felmérést olyanná, amilyen lett?

 

 

 

 

 

 

 

Az MTA ATOMKI 1992-95 közötti teljesítményének feltételezett pozitív irányú változása

az alapértékhez képest

 

 

Ekvivalens pontérték-változás (alap:
3,674 pont,

h=1,482)

 

 

 

Változás az alap

%-ában

A pontérték- változás

1982-95 közötti cikkekre kapott 1992-95 közötti

SCI hivatkozás-ban kifejezve

1 1982-95 közötti cikkekre kapott 1992-95 közötti SCI hivatkozás

0,00375

0,10

1

1 nemzetközi Phys. Rev. Lett cikk publikációja

0,15625

4,25

41,67

1 hazai Phys. Rev. Lett. cikk publikációja

0,12931

3,52

34,48

1 nemzetközi Phys. Rev. C. cikk publikációja

0,03989

1,09

10,64

1 hazai Phys. Rev. C. cikk publikációja

0,01039

0,28

2,770

1 nemzetközi Appl. Rad. Isot. cikk publikációja

0,00730

0,20

1,946

1 hazai Appl. Rad. Isot. cikk publikációja

- 0,02219

- 0,60

- 5,917

1 nemzetközi konferenciaközlemény idegen nyelven való publikációja

0,02604

0,71

6,944

1 nemzetközi konferenciaközlemény magyar nyelven való publikációja

0,01630

0,44

4,348

1 hazai konferenciaközlemény idegen nyelven való publikációja

- 0,00350

- 0,10

- 0,934

1 hazai konferenciaközlemény magyar nyelven való publikációja

- 0,01320

- 0,36

- 3,521

0,1 változás az intézet tudományterületi
átlagos hatástényezôjében (
h)

- 0,40497

- 11,0

- 108,0

1 elsô tudományos fokozat megszerzése

0,11029

3,00

29,41

1 elnyert szabadalom

0,37500

10,2

100,0

1 MFt találmányi bevétel

0,40193

11,0

107,2

1 MFt költségvetési támogatás

- 0,00473

- 0,13

- 1,261

1 fokozat nélküli kutatói állás

- 0,08134

- 2,21

- 21,69

 

I. Táblázat A teljesítménymutatók változásának hatása az ATOMKI tényleges "pontértékére".

 

1. ábra Az ATOMKI publikációi számának hatástényezôkkel súlyozott összege a publikációk megjelenési évének függvényében