Zpráva o výsledcích hodnocení výzkumu a vývoje a jeho výsledků v roce 2004

1. Zadání

    Hodnocení proběhlo podle usnesení vlády ze dne 23. června 2004 č. 644 o hodnocení výzkumu a vývoje a jeho výsledků a navazující Metodiky hodnocení výzkumu a vývoje a jeho výsledků ze 27. října 2004 (č.j. 6134/04-RVV a č.j. 28 187/2004-31). Podrobně popisuje východiska a postup hodnocení jeho rekapitulace, která je zveřejněna současně s touto zprávou.

    Zpětně nebylo možné žádné změny provádět a hodnocení bylo dokončeno v souladu s metodikou. Zaslané připomínky však byly promítnuty do závěrů hodnocení a budou využity při přípravě hodnocení v dalších letech, jak je doporučeno níže.

Doporučení pro hodnocení v roce 2005 (pro upřesnění Metodiky hodnocení 2005)

  1. Důsledně požadovat, aby hodnocení výsledků projektů a výzkumných záměrů ukončených bez jakéhokoliv výsledku bylo poskytovateli přehodnoceno na N = nesplněno zadání, tj. nebyly splněny předpokládané cíle (s tím, že pokud jde o objektivní důvod, např. někdo jiný dosáhnul daného cíle dříve, nebude mít toto hodnocení pro příjemce žádné negativní důsledky[1] ). Naproti tomu u projektů a výzkumných záměrů ukončených bez jakéhokoliv výsledku hodnocených U = uspěl či dokonce V = vynikající výsledky s mezinárodním významem uplatňovat přísné sankce.
  2. Výrazně zkvalitnit a redukovat seznam recenzovaných neimpaktovaných časopisů (přílohu č. 1 Metodiky) tak, aby obsahoval pouze mezinárodně uznávané časopisy, které nemají alternativu mezi impaktovanými časopisy (každá ze tří odborných komisí RVV navrhne do 30.4.2005 cca 10 časopisů včetně odůvodnění a tento návrh bude podroben diskusi).
  3. Výrazně omezit[2] kategorie výsledků B = Odborné knihy, C = kapitola v odborných knihách a D = články v recenzovaných sbornících v cizím jazyce (a ve společenských vědách i v českém jazyce) vzhledem k tomu, že až na výjimky nejsou tyto výstupy základního výzkumu přínosem ke světovému poznání (např. z cca 1 200 „odborných“ knih je většina v českém jazyce s lokálním významem).
  4. Přímo Metodikou stanovit, které programy (popř. výzkumné záměry) budou hodnoceny zvlášť a jak –půjde pouze o plně infrastrukturální projekty/výzkumné záměry knihoven, archivů atd. poskytujících služby celému výzkumu a vývoji.
  5. Stanovit váhy jednotlivých druhů výsledků (viz bod 1.1.1.4. Metodiky), např.:
    1. Články v impaktovaných časopisech (Jimp) – váha 10[3]
      Články v recenzovaných neimpaktovaných časopisech (Jrec) – váha 1
      Odborné knihy (B) – váha 1
      Články v odborných knihách (C) – váha 1
      Články ve sborníku (D) – váha 1
    2. Patenty a další výsledky chráněné podle zvláštních právních předpisů (P)– váha 25
    3. Prototyp, poloprovoz, ověřená technologie – váha 25
    4. Výzkumná zpráva (pouze u VaV pro státní správu) – váha 1
    Pozn.: Navržené váhy vychází z podrobného studia výsledků dosažených v letech 1999-2003. Dojde-li k důslednému promítnutí doporučení č. 2 a 3 do Metodiky pro hodnocení 2005, lze váhu 1 (výsledky Jrec, B a C) zvýšit na 3 – 5.

2. Souhrnné údaje z hodnocení 2004

Vstupními údaji byly podle zadání údaje Informačního systému výzkumu a vývoje, které jsou podle zákona č. 130/2002 Sb. (resp. podle předchozího nařízení vlády č. 88/2001 Sb., resp. podle předchozích usnesení vlády, počínaje usnesením vlády ze dne 3. ledna 1996 č. 27) příjemci prostřednictvím poskytovatelů povinni poskytnout do IS VaV. Tyto údaje byly zpracovány do materiálu „Pracovní výsledky 1. etapy hodnocení“:

Tab. A: Souhrnné údaje o instituci (instituce – příjemce a její identifikace, údaje o poskytnutých projektech/výzkumných záměrech členěné podle jednotlivých poskytovatelů (počet a náklady) a údaje o odpovídajících jednotlivých druzích výsledků)

Tab A1: Agregovaná tab. A – pro každou instituci pouze jeden řádek (tj. není členěna podle jednotlivých poskytovatelů)

Tab B: Podrobný přehled všech hodnocených výsledků po jednotlivých institucích (název, identifikace a popis výsledku a počet, kolikrát byl daný výsledek v IS VaV uplatněn ať již jinými institucemi nebo stejnou institucí u jiných projektů/výzkumných záměrů)

Tab C: Podrobný přehled všech výdajů na jednotlivé hodnocené projekty/výzkumné záměry (údaje o příjemci, údaje o projektu/výzkumném záměru a o tom, zda IS VaV obsahuje k danému projektu/výzkumnému záměru výsledek či nikoliv)

Tab C1: Údaje o počtu projektů/výzkumných záměrů bez jakéhokoliv výsledku v IS VaV seřazené podle jednotlivých poskytovatelů.

Tab D: Souhrnné údaje všech výdajích na hodnocené projekty/výzkumné záměry sdružené podle institucí (z Tab. C)

Po vyjádření poskytovatelů a odborných komisí Rady byly tyto pracovní tabulky shrnuty do dvou příloh této zprávy:

Projekty a výzkumné záměry ukončené v letech 1999 – 2003 podle institucí (náklady celkem a dosažené výsledky celkem a podle jednotlivých druhů) – příloha č. 1

Projekty a výzkumné záměry ukončené v letech 1999 – 2003 podle poskytovatelů (celkem a z toho projektů bez výsledků v IS VaV – RIV) – příloha č. 2, která má tři části:

  1. Ukončené projekty a výzkumné záměry s rokem ukončení 2000 – 2003 (celkem a z toho ty, u kterých nebyly předány do IS VaV – RIV žádné výsledky)
  2. Všechny zastavené projekty a výzkumné záměry s rokem ukončení 1999 –2003 a projekty a výzkumné záměry ukončené v r. 1999 (celkem a z toho ty, u kterých nebyly předány do IS VaV – RIV žádné výsledky)
  3. Neukončené projekty a výzkumné záměry s plánovaným rokem ukončení 1999 – 2003 (celkem a z toho ty, u kterých nebyly předány do IS VaV – RIV žádné výsledky)

Hodnoceno bylo:

  • 8 370 projektů a výzkumných záměrů ukončených v letech 1999-2003
  • za 29 658 mil. Kč – náklady na ně vynaložené ze stát. rozpočtu
  • 78 384 výsledků v RIV s vazbou[4] na projekty/záměry ukončené v letech 1999-2003
  • 45 446 přepočtený počet[5] výsledků v RIV s vazbou na projekty/záměry ukončené v letech 1999-2003
Z toho:
  • Bez výsledku v RIV bylo 1 327 projektů/výzkumných záměrů ukončených v letech 1999-2003 s náklady ze stát. rozpočtu 2 657 mil. Kč
    V tom je
    646 projektů/výzkumných záměrů řádně ukončených u kterých nebyly dodány výsledky s náklady 1 130 mil. Kč (viz příloha 2, bod a);
    421 projektů/výzkumných záměrů uzavřených v době, kdy dodání výsledků do RIV nebylo legislativně zakotveno (v r. 1999) s náklady 834 mil. Kč (viz příloha 2 bod b);
    260 projektů/výzkumných záměrů zastavených či přerušených bez dodání výsledku s náklady 694 mil. Kč (viz příloha 2, bod c)
  • S výsledkem v RIV bylo 6 889 projektů/výzkumných záměrů ukončených v letech 1999-2003 s náklady ze stát. rozpočtu 25 556 mil. Kč
Z 8 370 projektů/výzkumných záměrů ukončených v letech 1999-2003 jich je pouze 1 265 bylo řešeno organizacemi, které mají ke každému projektu/výzkumnému záměru alespoň jeden výsledek. 7 105 projektů/výzkumných záměrů ukončených v letech 1999-2003 bylo řešeno organizacemi, které u jednoho či více projektů/výzkumných záměrů nemají žádný výsledek (5 624 projektů/výzkumných záměrů má výsledek a 1 481 výsledek nemá).

3. Projekty a výzkumné záměry bez výsledku

Projekt výzkumu a vývoje nebo výzkumný záměr může skončit bez očekávaného výsledku, ať už proto, že jej dříve dosáhne někdo jiný, dojde ke změně podmínek a je předčasně ukončen atd. (ve vyspělých zemích je tomu u více než 20 % projektů/výzkumných záměrů). Z hlediska účelnosti vynakládání prostředků je alarmující, že

  1. v ČR je drtivá většina těchto projektů/výzkumných záměrů dokončena (ve světě jsou ihned zastaveny), tj. ani poskytovatelé ani příjemci neplní své zákonem stanovené povinnosti.
  2. v ČR je absolutní výjimkou závěrečné hodnocení N == neuspěl (nesplnil stanovené cíle), cca dvě třetiny těchto projektů/výzkumných záměrů jsou hodnoceny U = uspěl, třetina dokonce V = vynikající, na světové úrovni, často s mimořádnými odměnami řešitelů apod. Opět jde o vážné selhání poskytovatelů a jejich hodnotících orgánů (formální závěrečné hodnocení, chybějící kontrola atd.).
  3. všem poskytovatelům byly v březnu 2004 (při jednáních o návrhu SR VaV na r. 2005) předány seznamy projektů bez výsledků v IS VaV s důrazným upozorněním, že do 6. září 2004 musí tyto výsledky do IS VaV dodat. Stav se změnil jen velmi nepatrně (přes nespornou snahu některých poskytovatelů získat chybějící výsledky).

Závěr

Pro opakované neplnění povinností stanovených zákonem u projektů/výzkumných záměrů ukončených v letech 200-2003 (příloha 2, bod a) a u přerušených nebo zastavených projektů, kde rovněž nebyly efektivně využity státní prostředky (příloha 2, bod c) budou v návrhu výdajů státního rozpočtu na rok 2006 jednotlivým poskytovatelů sníženy výdaje o 10 % nákladů, které poskytli na tyto projekty s tím, že jim je doporučeno (aby se „sankce“ nemusela opakovat v dalších letech):

 

  1. Podle předaných jmenovitých seznamů prověřit, zda skutečně šlo o projekty/výzkumné záměry bez výsledků nebo zda (ať již chybou na straně poskytovatele či příjemce) nebyly předány do IS VaV.
  2. U jednotlivých projektů/výzkumných záměrů ukončených v letech 1999–2003 bez výsledků zjistit důvody, proč nebylo dosaženo předpokládaných cílů a:
    • tam, kde objektivní důvody nastaly až po ukončení řešení přehodnotit závěrečné hodnocení projektu na N;
    • tam, kde šlo o pochybení na straně příjemce nebo objektivní důvody nastaly před ukončeným řešení (a to bylo přesto dokončeno) přehodnotit závěrečné hodnocení projektu na N a uplatnit vůči příjemcům sankce, které umožňuje zákon včetně vyřazení z veřejných soutěží ve výzkumu a vývoji na dobu až tří let.
  3. Při závěrečném hodnocení ukončených projektů/výzkumných záměrů požadovat posouzení výsledků (uplatňovaných v RIV) hodnotící komisí a v těch případech, kdy výsledky jsou pouze předpokládané (v tisku atd.) důsledně kontrolovat, kdy byly skutečně dosaženy.
  4. Plnit ustanovení zákona č. 130/2002 Sb. o povinnosti uzavřít smlouvu o využití výsledků, ve které budou ošetřeny i ty případy, kdy k uplatnění výsledku dojde až po závěrečném hodnocení projektů/výzkumných záměrů, a to včetně sankcí za jejich nesplnění.

4. Projekty a výzkumné záměry s výsledky

Se všemi výhradami a doporučeními ke změnám Metodiky pro rok 2005 uvedenými v kap. 1 bylo splněno zadání a instituce, které řešily projekty/výzkumné záměry ukončené v letech 1999–2003 (a měly alespoň jeden výsledek v IS VaV) byly rozděleny do čtyř skupin podle následujících kritérií:

  1. Červená skupina – 150 institucí (náklady ze SR 945 mil. Kč), které ani při uvedené velmi „tolerantním“ nastavení kritérií neměly ani jeden výsledek uznaný podle Metodiky hodnocení 2004.
  2. Žlutá skupina – 166 institucí (náklady ze SR 2 635 mil. Kč), které alespoň formálně (tj. alespoň jedním výsledkem) splnily podmínky Metodiky hodnocení 2004.
  3. Šedá skupina – 417 institucí (náklady ze SR 7 691 mil. Kč), které mají za uvedené pětileté období méně než 10 světově uznávaných výsledků – publikací v impaktovaných časopisech (Jimp), patentů (P) a zavedených technologií (T).
  4. Zelená skupina – 119 institucí (náklady ze SR 13 766 mil. Kč), které mají za uvedené pětileté období více než 10 světově uznávaných výsledků – publikací v impaktovaných časopisech (Jimp), patentů (P) a zavedených technologií (T).

Modře byly vyznačeny názvy typicky infrastrukturálních zařízení pro VaV (knihovny, archivy, CESNET), pro které jsou zvolená kritéria nevhodná (i když je zajímavé umístění např. knihoven ve všech čtyřech skupinách).

V rámci každé skupiny byly instituce seřazeny abecedně. Výsledky jsou uvedeny v příloze č.1.

Závěr
  1. Výsledky hodnocení institucí by měly korelovat s výsledky hodnocení nových výzkumných záměrů. V případech, kdy budou nové výzkumné záměry přiděleny institucím z červené a žluté skupiny a nebudou přiděleny institucím ze zelené skupiny, bude požadováno konkrétní odůvodnění na základě jakých dlouhodobých výsledků se tak stalo a proč (výzkumné záměry jsou podle zákona určeny na zajištění dlouhodobého koncepčního výzkumného rozvoje dané organizace) a výsledky se zohlední v návrhu výdajů státního rozpočtu na rok 2006.
  2. Všem poskytovatelům bude doporučeno, aby při udělování státní podpory přihlíželi výrazně více k dosaženým výsledkům na požadované úrovni s tím, že v dalších letech bude dodržování tohoto kritéria důsledně kontrolováno.

[1] Podíl tzv. úspěšného výzkumu v ČR (99%) vysoko překračuje úroveň vyspělých zemí cca 75 %) a je zdrojem oprávněných pochyb o objektivnosti hodnocení.

[2] Výrazně omezit – např. seznamem renomovaných zahraničních nakladatelství, jimiž vydané knihy atd. budou uznány jako standardní výsledek VaV.

[3] Varianta: 10*(impaktfaktor časopisu / impaktfaktor oboru dle ISI) – pro rozlišení různé kvality impaktovaných časopisů v rámci jednoho oboru.

[4] Celkem RIV k 1.12.2004 obsahoval 336 228 výsledků, z toho 100 695 bez vazby na projekty a výzkumné záměry; z 235 533 výsledků s vazbou byla vazba u 78 384 výsledků na projekty ukončené v letech 1999-2003 a u 157 149 na stále řešené projekty/výzkumné záměry (např. drtivá většina výzkumné záměrů končí až v roce 2004 a jejich výsledky budou předmětem hodnocení v roce 2005).

[5] Viz postup podle bodu 1.1.1. Metodiky (odstranění násobných výsledků v RIV vykázaných stejnou institucí jako výsledky různých projektů nebo vykázaných různými institucemi)

Sdílejte na:

Přílohy