From zorano@turing.mi.sanu.ac.yu Wed Oct 22 16:57:39 2008 Date: Wed, 22 Oct 2008 16:57:38 +0200 (CEST) From: Zoran Ognjanovic To: Dragos Cvetkovic Subject: Re: javna diskusija o kriterijumima evaluacije projekata Postovane koleginice i kolege, postovani profesore Cvetkovicu, u tekstu koji sledi pokusacu da pregledno iznesem svoje stavove povodom diskusije o buducim kriterijumima u vrednovanju naucnog rada. Medjutim, pre toga, zelim jasno da naglasim - a sto se neposredno lako proverava imajuci u vidu rangiranje projekata - da izneti stavovi nisu proizasli iz subjektivnog utiska da je projekt 144013 kojim rukovodim, ili ja licno, ostecen dosadanjim nacinom ocenjivanja, vec su, naprotiv, pokusaj objektivnog sagledavanja stanja i perspektiva razvoja matematike u radnom okruzenju koje definise Ministartsvo za nauku. 1) Po mom dubokom uverenju opsti okvir u kome se vrsi vrednovanje naucnog rada je pogresan, sto je posledica uspostavljenog metoda projektnog finansiranja zarada istrazivaca: 1.a) Jasno su izdvojene dve grupe istrazivaca, jedna koja ima pravo na budzetsko finansiranje 12 meseci, i druga koja ima neverovatno pravo na 20 meseci. Ovde bi bilo dobro porediti tekucu situaciju sa onim sto propisuje Zakon o visokom obrazovanju koji ekspicitno zabranjuje drzanje redovne nastave na fakultetima istrazivacima sa instituta, sto vec dovodi do brojnih prelazaka sa instituta na fakultete. 1.b) Ne primenjuje se dosta rasiren model da sredstva sa projekata sluze za finansiranje mladih istrazivaca i materijalne troskove rada. Imajucu sve to u vidu, verujem da su mnoge nelogicnosti do kojih dolazi prilikom vrednovanja naucnog rada bitno uocljivije nego sto bi u normalnim uslovima to bio slucaj. 2) Mislim da u vrednovanju naucnog rada treba jasno razdvojiti: 2.a) kriterijume za izbore u naucna zvanja i 2.b) kriterijume za vrednovanje uspesnosti projekata. U vezi kriterijuma za izbore u naucna zvanja, meni je neprihvatljivo da mera uspesnosti treba da bude kvantitativna, bez obzira na to sta se broji - broj radova, broj strana ... Zasto, na primer, merilo ne bi bio broj dokazanih teorema, ili velicina fajlova sa radovima? U cemu je prednost brojanja strana u odnosu na brojanje karaktera u tekstu? Verujem da ce se makar istrazivaci u matematici sloziti da je kraci (korektan) dokaz efektniji od duzeg, medjutim ispada da to nije tako. Slicno je i sa brojanjem radova koje forsira razbijanje celovitih rezultata u mnogobrojne iscepkane delice, sto opet dovodi do inflacije naucnih publikacija. Kao primer suprotnog pristupa navescu praksu jedne velike (matematicke) sile: prilikom izbora broj prijavljenih rezultata je ogranicen na 5 koji adekvatno oslikavaju rad kandidata (uzgred, ti radovi ne moraju biti sa SCI-liste). Kriterijumi za vrednovanje uspesnosti projekata su nuzno u vezi sa opstim okvirom u kojima se osnovna istrazivanja obavljaju. U vezi sa tim bi bilo interesantno videti da li je primena aktuelnog modela dovela do preraspodele procenata ukupnih sredstava za finansiranje izmedju nauka u odnosu na situaciju sa kraja '80-tih. 3) Suprotstavio bih se uverenju o objektivnosti SCI-liste iskazanom u tekstu koji nam je Maticni odbor dostavio na pocetku diskusije (Uvodni komentari ...), citiram: "Kvalitet i kvantitet naucne produkcije u zadnjih tri ili pet godina se odredjuje prvenstveno na osnovu radova objavljenih u casopisima sa SCI-liste. To je izabrano iz tri razloga: visoki kvalitet radova koje ti casopisi objavljuju, nemogucnost uticaja autora na proces recenziranja i laka verifikacija postignutog rezultata (dovoljno je konstatovati da je rad objavljen i da se casopis nalazi na SCI-listi)." Neke opste primedbe na racun SCI-liste su: 3.a) Kao sto se vidi iz Izvestaja Internacionalne Matematicke Unije SCI-lista sadrzi tek deo matematicke periodike, recimo manje od polovine casopisa koje pokrivaju MatRev ili Zentralblatt. 3.b) Thomson Scientific, kao privatna firma, jasno stavlja na znanje da sam bira koje casopise indeksira i predlaze svoju listu kao sredstvo za izbor casopisa koje biblioteke treba da kupuju. U vezi sa tim podseticu vas na skorasnje posete predstavnika velikih izdavaca koji su obecavali ulazak na SCI-listu pod uslovom da oni preuzmu casopis. 3.c) Dobro je poznat i skorasnji slucaj izbacivanja casopisa Lecture Notes in Computer Science sa SCI-liste, pri cemu razlog nije bio nedovoljan kvalitet casopisa jer je sam casopis imao pristojan impakt-faktor. 3.d) Kao sto je u Uvodnim komentarima Maticnog odbora, a i u Izvestaju IMU, napomenuto rangiranje casopisa na osnovu impakt-faktora je nesiguran pokazatelj kvaliteta caopisa, pogotovo u matematici (zbog dugog cekanja na stampanje, perioda od samo 2 godine u kojima se citati uzimaju u obzir itd.). Dakle, umesto objektivnosti ove liste imamo upravo suprotnu situaciju - da ocenjivanje kvaliteta istrazivanja prepustamo privatniku na koga nemamo uticaj a kome je, logicno, poslovni interes - a ne naucni - u prvom planu. Prva dva razloga u prilog upotrebe SCI-liste, navedena u citiranom pasusu, po mom misljenju ne stoje. Verujem da ce se mnogi istrazivaci sloziti da mnogi objavljeni radovi u razmatranim casopisima nisu visokog kvaliteta, kao i da cesto postoje klanovi koji forsiraju ili otezavaju stampanje pojedinih radova. Treci razlog - o lakoj verifikaciji - naravno, stoji, ali je sam po sebi vise alibi za nedovoljno "cehovsko" angazovanje istrazivaca u stvarnom razmatranju kvaliteta radova, nego sam po sebi argument da je pristup preko SCI-liste objektivan. 4. Na osnovu svega recenog, slobodan sam da zakljucim: 4.a) Slazem sa sa stavom u Uvodnim komentarima Maticnog odbora da tekuce kriterijume vrednovanja projekata ne treba menjati iz prostog razloga sto se izmenom pravila igre sa pocetka ciklusa najverovatnije dolazi u nekoherentno stanje. Kao primer neka posluze desavanja tokom evaluacije projekata sa kraja 2007. godine, pa onda iznudjena resenja do kojih je doslo nakon izbora nove Vlade. 4.b) Slazem sa sa stavom i obrazlozenjem datim u Uvodnim komentarima Maticnog odbora da treba ukinuti ocene od 8 bodova za radove u casopisima u prvih 30% liste, ali mislim da isto vazi i za kategorizaciju radova na R51 i R52. 4.c) Potrebno je obezbediti ravnopravan tretman stabilne nauke kakva je matematika u odnosu na druge brzo menjajuce nauke koje SCI-lista forsira (broj casopisa na listi, brzina stampanja radova od prvog slanja, visoka citiranost, ...), bez obzira na model finansiranja istrazivanja u periodu nakon 2010. godine. Drugim recima, ne treba dozvoliti da procentualna raspodela finansiranja zavisi od kriterijuma koji namecu druge nauke. 4.d) Prilikom vrednovanja projekata: 4.d.i) U okviru same matematike je potrebno dogovoriti koje liste casopisa su relevantne: liste iz MatRev ili Zentralblatt treba da budu ravnopravne sa SCI-listom itd. 4.d.ii) Takodje je potrebno ukljuciti vrednovanje drugih vrsta rezultata sem radova u casopisima (monografije, predavanja, radovi u zbornicima, rad u redakcijama itd.) 4.d.iii) Prilikom vrednovanja projekata treba iskljuciti vrednovanje pojedinaca. Obrazlozenje je jednostavno: ako je sef projekta uspeo da ukomponuje tim koji kvalitetno realizuje projekt, pri cemu pojedini istrazivaci imaju specificne uloge (pregledi tudjih radova, ucestvovanje u radu relevantnih seminara, rad sa mladim istrazivacima, medjunarodna saradnja itd.) kakav je smisao sankcionisanja pojedinaca koji u okviru projekta te zadatke obavljaju i doprinose kvalitetu ukupnog istrazivanja? Ovim se eliminise potreba za nepotrebnim upisivanjem autora (ako je takvih slucajeva bilo), dok se sa druge strane afirmise vec spomenuto "cehovsko" angazovanje. 4.d.iv) Kriterijumi za izbor u vise zvanje treba da budu zasnovani na kvalitetu, a ne kvantitetu, rezultata. Zahvaljuci se na strpljenju, srdacno vas pozdravljam, Zoran Ognjanovic ---------------------------------------------------------------------------- dr Zoran Ognjanovic, Research Associate Professor Mathematical Institute of the Serbian Academy of Sciences and Arts Kneza Mihaila 36, 11000 Belgrade, Serbia tel: 381-11-2630-170 / fax: 381-11-2186-105 http://www.mi.sanu.ac.yu/~zorano email: zorano@mi.sanu.ac.yu