četrtek, 17. december 2009

Ocenjevanje projektov po Slovensko

No, pa smo dočakali rezultate prve faze izbora projektov ARRS. Letos so očitno naredili kar nekaj sprememb (ne da bi o določenih spremembah raziskovalci prej kaj vedeli), ena najbolj zanimivih, za katero pa mi še zdaj ni jasno ali je res sprememba ali ni je ta, da očitno letos niso upoštevali kvantitativnih kazalcev (tako imenovane točke A), kljub temu, da je v razpisu pisalo, da bodo upoštevali kriterija A in B. Sam sem imel sicer v preteklosti kar precej pripomb na kvantifikacijo, kot si jo je izmislil ARRS, a to, da je bilo ocenjevanje (vsaj tako lahko sklepam iz dopisa, ki sem ga dobil) drugačno kot je bilo navedno v razpisu za projekte, pa se verjetno lahko zgodi samo v Sloveniji (med državami, ki se imajo za razvite).

Še bolj zanimivo pa je ocenjevanje mojih znanstvenih dosežkov s strani recenzentov. Lansko leto sem v rubriki treh znanstvenih dosežkov iz zadnjih petih let navedel popolnoma iste tri članke kot v letošni vlogi. A poglejmo, kako zanimivo: lansko leto so bili ti trije članki ocenjeni z oceno 4 (pomembni dosežki v mednarodnem merilu, v stiku z vrhunsko svetovno znanostjo), letos pa so ti isti trije članki dobili oceno 2 (manj pomembni znanstveni dosežki na nacionalnem nivoju). Zanimivo bi bilo vedeti (česar pa nam seveda naša ARRS nikoli ne omogoča, kar je verjetno prav tako unikatno v razvitem svetu), na osnovi česa so se recenzenti odločili za tako različne ocene za povsem iste znanstvene dosežke? Žal je to tipičen odraz stanja pri slovenskem ocenjevanju tovrstnih zadev. Več kot očitno bo Slovenija morala prehoditi še zelo dolgo pot, da bomo dosegli standarde, ki so v veljavi v razvitem svetu pri ocenjevanju znanstvenega dela in predlogov projektov.

7 komentarjev:

  1. Predvidevam, da nisi prisel v drugi krog? Potem deliva usodo. Recenzije svoje prijave sicer se nisem videl, tako da za odsotnost ocene A nisem vedel (ta teden sem v cernu, tajnic pa nisem hotel moriti s skeniranjem - tako ali tako pa imam veliko dela s fiziko, o tem zakaj morda naslednji teden, ko bo konec "norisnice").

    Osebno me zelo moti, da nikakor ne moremo izvedeti povezave med imeni in ocenami. Gre za javni denar, tako da bi moralo biti javno cim vec, tudi imena tistih, ki niso bili izbrani skupaj z ocenami (saj se vendar tudi na raznoraznih gradbenih itd, razpisih, izve za vse ponudbe...). Stvar je tako paradoksalna, da kljub objavljeni razpredelnici na strani ARRS sploh nisem vedel ali sem izbran ali ne, dokler mi ni to sporocila tajnica (in ce vas slucajno zanima, ocena B je bila 20.45).

    Dobra praksa bi tudi lahko bila, da po zakljucenem izboru lahko izves, kdo so bili recenzenti (pri ERC je to vsaj na lanskem razpisu bilo mogoce). Ceprav je za mir duse vcasih bolje ne vedeti... (pa saj ti v tem primeru tudi ni potrebno vprasati :-))

    Je pa pri razpisih vedno tudi prisoten faktor srece z recenzenti. Razlike med ocenami so v bistvu tako majhne, da je marsikaj prepusceno nakljucju (morda, ko preberem recenzije, spremenim to mnenje... :-))

    OdgovoriIzbriši
  2. Zivijo, prav si uganil, nisem prisel v drugi krog. Ampak to ni tak problem, problem je popolna netransparentnost in nejasnost ocenjevanja. Ne pricakuj kaksnih pojasnil - caka te samo obvestilo koliko tock si dobil, in se tam so tocke pod oceno B2, kjer se posebej tockuje 3 kategorije o vsebini projekta, dobis samo skupno oceno tako da absolutno ne mores vedeti prav nicesar kaj in zakaj si dobil ocene, kakrsne si dobil. Zadeva je skrajno netransparentna, se pa bojim, da je taksna namerno.

    OdgovoriIzbriši
  3. Najprej povezava na samo objavo rezultatov, če še koga zanima, pa je ne bi našel.

    Kot nekdo, ki na tej dirki ni imel svojega konja, lahko le sočustvujem z vama in podprem idejo, da izvedbo ocenjevanja raziščeta do konca ter nas obvestita o dognanem.

    Le tega sam nisem našel, kje naj bi v razpisu pisalo, da bodo pri vseh rezultatih upoštevali kriterija A in B.

    Metodologija ocenjevanja prijav določa, da "[o]cena sestoji iz kvantitativne ocene (ocena A) in iz ocene recenzentov (ocena B), lahko pa sestoji samo iz ocene A ali samo iz ocene B".

    V samem razpisu najdem uporabo kvantitativne ocene le v predizboru tistih, ki se avtomatično uvrstijo v drugi krog: "Skladno z Metodologijo izbrani raziskovalci na osnovi uvrstitve po vrstnem redu po skupni oceni A1+A2+A3 na seznamu znotraj področja, so o možnosti avtomatične uvrstitve v drugi krog ocenjevanja projektov obveščeni ob objavi javnega razpisa."

    Pri drugih projektih, ki se presojajo na samem razpisu, pa naj bi bila tudi po besedilu razpisa relevantna le še ocena B, na podlagi katere so prijave nato razvrščene v dve kategoriji s po nepotrebnem podobnima oznakama A in B:

    "Kategorija A: Projekti, uvrščeni v kategorijo A, se določijo iz projektov znotraj področja po padajočih ocenah B1+B2+B3. Projekti A kategorije še niso izbrani za financiranje.

    Kategorija B: Projekti, uvrščeni v kategorijo B so projekti, ki niso bili uvrščeni v kategorijo A. Projekti kategorije B se zavrnejo. V kategorijo B se uvrstijo vsi projekti, ki imajo oceno B1+B2+B3 nižjo kot 12."

    Vsaj po tem sodeč so bili rezultati očitno pripravljeni skladno z razpisom, kot je tudi edino prav. Ne predstavljam si, da bi razpis predvideval še upoštevanje ocene A, pa je potem pri rezultatih ne bi šteli zraven - v tem primeru bi tudi v Sloveniji brez težav uspeli s pritožbo.

    Naj pa to ne zmanjša kritike nejasnosti pri ocenjevanju - predvsem tisti podatek, da bi bili članki lahko eno leto ocenjeni s 4 oziroma kot zamišljenih 80 % na odličnostni lestvici, drugo pa le z 2 oziroma 40 %, je dokaj zaskrbljujoč. Če, seveda, prav razumem, da govorimo o rubriki "Ocena izjemnih raziskovalnih dosežkov vodje projekta (ocenjuje tuj recenzent)" in da se ta presoja le po predloženih objavah.

    OdgovoriIzbriši
  4. Kvantitativna ocena A se je tukaj tudi uporabila, ceprav v drugacnem kontekstu kot pri prejsnjih razpisih. Na podlagi ocene A so na vsakem podrocju povabili nekaj izbrancev, ki so imeli to oceno najvisjo, na razpis tako, da so jih avtomaticno uvrstili v drugi krog (tisti, ki pri rezultatih nimajo navedene ocene). Tak izbranec je moral samo podati naslov projekta, ne pa tudi povzetka projekta in njegov predlog sploh ni bil recenziran! Se mi zdi, da nihce ne ve, kako so dolocili koliko taksnih izbrancev pride na podrocje in predvsem kdo so to. Meni ni jasno ali bodo v drugem krogu sedaj vsi skupaj tekmovali za izbor ali so ti izbranci ze avtomaticno dobitniki projektov.

    Ocena A se je uporabila tudi kot filter na prijavi, saj si moral imeti A oceno vec kot 1, da si lahko sploh prijavil projekt.

    Strinjam se, da je cela vrsta stvari netransparentnih, vabljenje izbrancev je pa celo diskriminatorno do vse ostale "raje". Mene tudi moti, da spet ni bilo namenskega denarja za mlade vodje skupin. Pa da ne omenjam, da so sredi razpisa kar zmanjsali kolicino denarja namenjenega za ta razpis. Na vse to bi morda skupaj morali opozoriti ARRS, potem pa se javnost.

    OdgovoriIzbriši
  5. Tudi jaz sem nasel tisti del, ki govori, da lahko upostevajo samo oceno A ali oceno B. Ampak zagotovo je bilo v postopku prijave predvideno, da bodo upostevali obe oceni, saj so ravno v ta namen izdali 2. oktobra seznam tock A za ocenjevanje projektov (objavljeni na SICRIS-u). Se popolnoma strinjam z Gregorjem, da je bilo izbiranje izbrancev sploh neka velika kuhinja, se posebej zato, ker niso postavili nekih enotnih kriterijev, ampak so si jih kar sproti izmisljevali po posameznih ozkih podrocjih, kateri so in kako so bili postavljeni ti kriteriji pa nihce ni mogel izvedeti (vsaj tisti, ki nismo v krogu posvecenih ne).

    Matej - eno pravno vprasanje - ali je lahko taksna razlika v oceni dejansko istih člankov (kot mi je znano naj bi bila ocena B1 ocena tistega dela, kjer nastejes tri najpomembnejse raziskovalne dosezke) podlaga za pritozbo?

    OdgovoriIzbriši
  6. Matej, še eno vprasanje: ali smo bili nepovabljenci na razpisu na katerem delijo javni denar v diskriminatornem položaju (povabljenci so morali za drugi krog samo oddati naslov projekta, medtem, ko smo mi morali napisati kratek predlog projekta in iti skozi recenzentski postopek)? Je to lahko razlog za pritožbo?

    OdgovoriIzbriši
  7. Žal se mi zdi, da je odgovor na obe vprašanji negativen.

    Podatek, da so bili isti članki to leto ocenjeni dvakrat slabše kot prejšnje, je zelo relevanten za kritiko sistema na splošno (če lahko pride do tako močnih odstopanj, potem je nekaj hudo narobe), verjetno pa s pritožbo - vsaj po formalni plati - ne bi bilo mogoče dokazati, da je šlo za poseg v kakšna legitimna pričakovanja oziroma v načelo zaupanja v pravnost postopkov.

    Še manj to verjetno velja za drugo vprašanje Gregorja Anderluha, kjer sam niti ne vidim toliko spornosti, če prav razumem, kako naj bi bil sistem zastavljen: če so kvantifikacijsko odlično ocenjeni raziskovalci dobili neposredno vabilo v drugi krog, kjer bodo vsi projekti še enkrat podrobneje predstavljeni in primerjani, potem se mi ureditev (ki bi želela izkazati določeno spoštovanje do najboljših raziskovalcev, a s tem še vedno ne prejudicirati končnega izbora projektov) ne zdi sporna; drugače pa bi seveda bilo, če bi avtomatično dobili pozitivno oceno tudi na drugi stopnji.

    A vendarle - če ugotovimo, da je sistem slab, kaj nam je torej storiti? Najboljša rešitev bi bilo predlagati boljšega, le da to ni povsem lahka naloga...

    Se strinjam, da bi bil eden od korakov naknadno razkritje imen ocenjevalcev - še posebno, če gre za tuje in ugledne ocenjevalce, ne bi smelo biti razloga, da bi jih morali "varovati".

    Drug razmislek pa bi bil lahko namenjen vrednotenju ocen, ki se zahtevajo od ocenjevalcev. Gregorjev primer je poučen. Glede na metodologijo gre lahko pri razliki med ocenama 4 in 2 za razliko med opisno oceno "v stiku s svetovnim vrhom" (možna ocena 3 ali 4) in "mednarodno pomembni" (možna ocena 2 ali 3), lahko pa tudi za razliko med opisno oceno "v svetovnem vrhu" (možna ocena 4 ali 5) in "povprečni" (možna ocena 1 ali 2).

    Zopet naj velja, da je nemara težko najti boljši sistem, a do takšnih razkorakov in nejasnosti ne bi smelo prihajati. Bi bilo bolje, če bi imela vsaka opisna ocena eno številsko ustreznico? Recimo, za področje, kjer so merilo uspešnosti mednarodne objave člankov:
    svetovni vrh - 5 (npr. vsaka ugledna revija bi naredila salto mortale, da bi članek dobila, citirali bi ga vsepovsod, itd.),
    v stiku z vrhom - 4 (brez težav bi se lahko objavil (skoraj) kjerkoli, citirali bi ga ugledni učbeniki in priporočali ugledni avtorji),
    mednarodno pomemben - 3 (objavljen v spodobni mednarodni reviji, kar nekaj citatov),
    mednarodno odmeven - 2 (objavljen v mednarodni reviji, vsaj kakšen citat),
    mednarodno neodmeven - 1 (resen, a objavljen v domači reviji ali v tuji reviji brez citatov),
    rubrika "kr neki" - 0 (bi bilo bolje, če ne bi bil objavljen),
    rubrika "prevara" - minus 3? (pri katerem se avtor sploh ne bi smel pretvarjati, da lahko piše znanstvene razprave).

    Bi bilo to kaj boljše? Morda malo preveč veže roke korektni subjektivni oceni, ki bi si jo sam v primeru nepristranskih in relevantno podkovanih ocenjevalcev želel - a verjetno vsaj ne bi moglo priti do razhajanja za kar dve stopnji...

    OdgovoriIzbriši