Zápis z jednání Odborné komise pro vědy živé přírody Jednání se konalo dne 25. listopadu 2010 ve 13.00 hod. v Ústavu molekulární genetiky AV ČR, v.v.i. Přítomni: prof. RNDr. Pavel Hozák, DrSc., doc. Ing. Martin Faljšhans, Dr. rer. agr., prof. Ing. RNDr. František Kocourek, CSc., prof. RNDr. prof. MVDr. Emil Tkadlec, CSc. Omluveni: prof. RNDr. Jiří Fajkus, CSc., prof. RNDr. Jan Kirschner, CSc., prof. MUDr. Jiří Mayer, CSc., RNDr. Hana Sychrová, DrSc. Hosté: PhDr. Milena Dosoudilová, CSc., Ing. Martin Matějka V úvodu předseda komise seznámil s programem zasedání, s kterým členové vyslovili souhlas. Program zasedání: 1. Pověření zapisovatelem 2. Zápis z jednání dne 2.11.2010 -schvalování 3. Určení zodpovědných členů komise za přípravu obsahové náplně jednotlivých zasedání –doplnění dalších garantů 4. Současné zásady hodnocení výstupů VaVaI-Ing. Martin Matějka, vedoucí oddělení informačního systému Odboru výzkumu, vývoje a inovací Úřadu vlády ČR 5. Pokračování diskuse ke stanovení kritérií pro nový hodnotící systém výsledků VaVaI (viz materiály uložené na pracovním adresáři Google). Výstup bude sloužit pro nastavování kritérií Metodiky 2012, připravované Komisí pro hodnocení výsledků výzkumných organizací a ukončených programů 6. Materiál na základě výzvy předsednictva Rady, aby předsedové odborných komisí zaslali souhrn zkušeností s kontrolou údajů v RIVu 7. Otázky stanovení priorit výzkumu v ČR 8. Různé Ad 1) Zpracováním zápisu byla pověřena dr. Dosoudilová. Ad 2) Byly projednány připomínky k zápisu z minulého jednání, provedeny jeho úpravy a zápis byl předsedou schválen. Ad 3) Odpovědnost za jednotlivé oblasti práce OK ŽP doplněna od minulého jednání následovně: Lékařské obory: prof. Mayer Zemědělské obory: prof. Kocourek, prof. Flajšhans Biologické obory: prof. Sychrová, prof. Kirschner, prof. Fajkus, prof. Hozák Ad 4) + Ad 5) Ing. Matějka shrnul postupné etapy kontroly údajů v RIVu včetně úkolu odborných komisí, který plnily po nástupu do své funkce. Diskuse vedly k formulaci zkušeností s touto prací (viz bod Ad 6). KHV zpracovala principy práce na metodice hodnocení pro příští rok. V současném stavu je navrženo k vyřazení 8 500 dat, což bylo zasláno poskytovatelům, kteří se k problematice vyjádřili do 8. listopadu 2010. Většina z nich napadla návrh odborných komisí k vyřazení. Dvě třetiny připomínek budou nyní předloženy na jednání Rady, protože odborné komise v nich shledaly závažná pochybení, především nedodržení kriterií podle metodiky nebo dospěly ke zjištění, že nejde o skutečný výsledek. Připomínky jsou formalizovány asi do 14 modelových stupnic, Rada nyní bude rozhodovat, které z nich budou vyřazeny, a které ponechány. Celkově se objevuje zásadní dilema – zda používat k hodnocení bodový systém nebo panelový systém a peer review. Závěr: rozhodnutí Rady již nebude revokováno. Jednotlivé druhy výsledků musí být vyjmenovány i pro podobor, tedy je nutné žádat oborová specifika. Nemůže být aplikován přímočarý přeliv bodů na peníze, nutno kombinovat ještě s dalším stupněm hodnocení, např. peer review. Hodnotící kriteria musí být významná. Toto jsou hlavní formulovaná kriteria. V nově tvořeném systému je zásadní otázka, zda se bude jednotlivý výsledek hlásit do konkrétního oboru nebo zda každá instituce si zařadí výsledek do oboru, čili vše půjde napříč a všichni budou soutěžit se všemi. Velmi totiž závisí na oboru výsledku, což vede k účelovému rozhodování, kam výsledky hlásit. Pokud bude přijata tato zásada, pak je nutné, aby kriteria byla obdobná, musí mít společného jmenovatele. Naopak, čím více se kriteria atomizují, tím to vede k výjimkám a to není správný směr. Takže reakcí na takovou situaci by mohl být názor, aby bylo opuštěno plošné počítání bodů, ale aby každá instituce nahlásila určitý počet svých nejlepších výsledků a na to se teprve nasadí určité body. Pak zhruba 50% bude dotováno účelově formou soutěží a 50 % institucionálně (ale akademie má např. jednozdrojové financování institucionální). Jde tedy o zásadní rozhodnutí, zda preferovat bodový systém nebo panelový (ten může být dost neprůhledný). Nutno konstatovat, že „kafemlejnek“ přinesl zvýšení produktivity aplikovaného výzkumu. Bodový systém má silnou motivační komponentu, každý si také může propočítat svůj plán práce apod. OK ŽP navrhuje, aby nebyly hodnoceny publikace Jrec, neboť to nemá dostatečný význam, citovanost v čsp. je mizivá. Významnost časopisu odpovídá impakt faktoru. V kategoriích OK ŽP je výmluvnější kategorie scientometrická. Aplikovaný výzkum (prof. Kocourek) ale je proti tomuto návrhu, protože se zde s rostoucí efektivitou práce snižují institucionální peníze. Další návrh je zvažovat finanční náročnost oboru podle některých parametrů, např. v Anglii mají tento systém propracovaný Závěry z předcházející diskuse: • upozorňuje se na důležitost správné sestavy kritérií v jednotlivých oborech, neboť by mohlo docházet k účelovému přetahování výsledků do jiných oborů • nutná je svázanost výsledků pro daný obor s finančními prostředky, přidělenými oboru • pozitivně lze hodnotit předpokládanou samoregulaci při zafixování celkové částky na obor Aplikační sféra zatím není řešena (až na příštích jednáních). Prof. Kocourek podle proběhl diskuse zaktualizuje své již zpracované připomínky. Navrženo svolat schůzku s předsedou odborné komise pro vědy neživé přírody a inženýrství prof. Moosem, prodiskutovat některé společné problémy a podle toho pokračovat dále v definování kritérií. Prof. Hozák se vrátil k problematice impakt faktorů. Navrhl používat reálnou křivku v daném oboru pro všechny výsledky Jimp., nikoliv umělou hyperbolickou křivku. Mohla by být pro každou skupinu oborů stanovena křivka podle vhodných parametrů. Je třeba vyjasnit, jaké jsou obory v číselníku WOS (130 oborů) a jinde; rozpor je v tom, že metodika nepracuje s WOS, ale pořadí časopisů podle WOS používá. Křivka je diskriminační. Závěr: průběh křivky musí být modelován tak, aby silně byly zdůrazněny časopisy špičkové, zachováno solidní hodnocení pro časopisy středu a naopak výrazně oslabeno hodnocení konce křivky s málo kvalitními časopisy. Je nutné podívat se znovu na tabulku metodiky 2010 na základě výstupů, které byly definovány na prvním jednání a prověřit, zda těmito zvolenými výsledky nebude poškozený některý z oborů. Uvažovat z pohledu, zda jsou výstupy důležité a budou fungovat s výhledem, že mohou plnit stimulační roli pro kvalitu výzkumu a zda jsou dostatečně vypovídající. Dále byly projednány připomínky k materiálu KHV „Návrh dlouhodobých principů hodnocení výsledků“. Upozorněno na některé rozpory, např. bod 13 koliduje s jinými body, bod 17 je formulován nesrozumitelně, v bodu 9 vypustit slova „ad hoc zpřesněna procedura hodnocení“ ad. Dohodnuto, že prof. Kocourek na příští zasedání připraví materiál hodnocení přínosů aplikovaného výzkumu, ukáže software, jak se evidují přínosy (jejich kvantifikace ještě nebyla provedena) Ad 6) Zkušenosti s kontrolou dat v RIVu diktují, že bude třeba mít dostatečný čas pro kontrolu, která musí být v mnoha případech u knih i fyzická. Je nutné vyžádat přes sekretariát Rady přípravu knih v Národní knihovně. Už v zadávací části se tam nesmí dávat výsledky, které tam nepatří, jako např. učebnice, sborníky apod. Shrnutí: 1) Celkový počet položek ke kontrole byl (zejména vzhledem ke krátkému časovému intervalu) velmi vysoký. Důvodů bylo vícero: - nesprávné zadání do RIVU, což komplikuje až znemožňuje dohledat zdroj - rozdílná zadání od vícera poskytovatelů způsobují falešné duplicity - ke kontrole byly předkládány i výsledky, které dle našeho názoru měly být eliminovány už při strojovém zpracování - často se vyskytovaly zadané údaje, které nesplňovaly charakteristiku výsledku. U naší komise se to týkalo zejména knih: značné množství byly učebnice nebo i populární příručky. Doporučení: - pro zadávání údajů do RIVU používat v maximálně možné míře databázové vstupy (WOS, Medline, ...), tyto pouze doplnit o údaje, neobsažené v databázi, které jsou potřebné pro hodnocení - velmi doporučujeme zavést povinné uvádění jednoznačných identifikátorů (např. doi, ISBN) u všech výstupů, kde to je možné - v rámci skupin oborů/oborů provést výraznou redukci výstupů, které budou využívány pro účely hodnocení. Měly by to být POUZE výsledky, které jsou relevantní a zásadní pro hodnocení kvality výstupů, nikoliv všechny výsledky - celkový postup zadávání výstupů do RIV je velmi těžkopádný a administrativně náročný. Opět je doporučováno výrazně zjednodušit systém hodnocených parametrů jen na důležité a maximálně využívat dostupné databáze a strojové zpracování. 2) Časový interval pro kontrolu byl extrémně krátký, kontrola by mohla být kvalitnější, pokud by nemusela probíhat ve spěchu. Doporučení: - přísně se držet harmonogramu, který umožní kvalitní fyzickou kontrolu u položek, které si to budou vyžadovat. 3) Komise má řadu připomínek ke způsobu přidělování bodů za jednotlivé výstupy, kde je spatřována nevyváženost v počtu přidělených bodů až zkreslování významnosti (či naopak nevýznamnosti) některých výsledků – to je nyní v komisi předmětem diskuse a výsledek bude předložen k další diskusi. Nicméně již nyní je možno uvést některé závěry. Doporučení: - zásadně doporučujeme změnit hodnocení výsledků vypracovaných na vícero pracovištích: bodové hodnocení by se mělo mezi pracoviště dělit; obdobně v případě publikací s mezinárodní účastí by českému pracovišti příslušel pouze počet bodů, vyplývající z podílu počtu autorů, uvedených na publikaci - pro stanovení bodového hodnocení v různých oborech/skupinách časopisů nelze využívat jednotné křivky Jimp; k této otázce bude potřeba se vrátit a navrhnout takový postup, aby bodové hodnocení zdůrazňovalo velmi významné výsledky, přitom se zachovávalo dobré bodové hodnocení pro kvalitní časopisy ve střední skupině a naopak výrazněji ponižovalo bodové hodnocení u publikací v nevýznamných časopisech. - Největší problém spatřujeme u hodnocení výsledků nepublikačního charakteru – zde je nutno používat skutečně uvážlivě metodu hodnocení, která jednoznačně prokáže význam výsledku (např. využívání patentu, nejen udělení patentu atd.). Bude předmětem další diskuse. Ad 7) Podána informace, že v plánu nelegislativních úkolů Rady na I. pololetí r. 2011 v souladu s usnesením vlády ze dne 8. června 2009 č. 729 o Národní politice výzkumu, vývoje a inovací České republiky na léta 2009-2015 je příprava principů národních priorit výzkumu, experimentálního vývoje a inovací. Na tomto základě bude definován úkol pro odborné komise cca v březnu 2011. Ad 8) Bylo vysvětleno poskytování cestovného členům OK, především fakt, že lze proplácet jen náklady cestovného hromadnými dopravními prostředky, nikoliv vlastním autem. Členové žádají možnost interního webového přístupu k materiálům KHV, což jim bylo přislíbeno. Příští zasedání: 14. 12. 2010 ve 13 hod. v ÚMG AV ČR. Zapsala: M. Dosoudilová Ověřil: P. Hozák
