raport ko cowy- ewaluacja kryteri w, Fundusze Unijne
[ Pobierz całość w formacie PDF ]
Ocena systemu kryteriów wyboru projektów
w ramach Regionalnego Programu Operacyjnego
Województwa Podlaskiego na lata 2007 - 2013
RAPORT KOŃCOWY
Badanie ewaluacyjne współfinansowane ze środków Europejskiego Funduszu Rozwoju
Regionalnego w ramach Pomocy Technicznej Regionalnego Programu Operacyjnego
Województwa Podlaskiego na lata 2007-2013
Warszawa-Białystok 17 października 2008r.
1
„Badanie ewaluacyjne pn. Ocena systemu kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa
Podlaskiego na lata 2007-2013”
Spis treści
Streszczenie wykonawcze ...............................................................................................................................3
Executive summary .........................................................................................................................................7
1. Wprowadzenie ..........................................................................................................................................11
2. Opis metodologii badania .........................................................................................................................12
2.1 Cel badania..........................................................................................................................................12
2.2 Przedmiot badania ..............................................................................................................................12
2.3 Pytania i zagadnienia badawcze..........................................................................................................12
2.4 Pytania ewaluacyjne............................................................................................................................14
2.5 Narzędzie, metody i techniki badawcze..............................................................................................17
3. Wyniki badania - analiza kryteriów wyboru projektów.............................................................................20
3.1 Ocena jakości i użyteczności kryteriów wyboru projektów ................................................................20
3.2 Ocena kryteriów pod kątem zdolności do wyboru najbardziej optymalnych projektów z punktu
widzenia realizacji celów RPOWP .............................................................................................................28
3.3 Ocena kryteriów merytorycznych pod kątem nadania im odpowiedniego systemu punktowego ....32
3.4 Ocena obiektywności przyjętych kryteriów wyboru projektów .........................................................35
3.5 Ocena kryteriów pod kątem mierzalności i spójności wewnętrznej...................................................38
3.6 Ocena precyzyjności sformułowanych kryteriów pod kątem jednakowego ich rozumienia zarówno
przez potencjalnych Beneficjentów, jak i oceniających............................................................................42
4. Zalecenia i rekomendacje.........................................................................................................................46
4.1 Kryteria formalne ................................................................................................................................46
4.2 Kryteria merytoryczno-techniczne......................................................................................................47
4.3 Kryteria merytoryczno-techniczne szczegółowe.................................................................................51
4.4 Rekomendacje i wnioski ogólne..........................................................................................................51
4.5 Hierarchia rekomendacji.....................................................................................................................52
5. Aneksy ......................................................................................................................................................55
2
„Badanie ewaluacyjne pn. Ocena systemu kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa
Podlaskiego na lata 2007-2013”
Streszczenie wykonawcze
1.
Niniejszy raport stanowi podsumowanie badań nad systemem kryteriów wyboru projektów
zatwierdzonych przez Komitet Monitorujący RPOWP, pod kątem zapewnienia skutecznej i
najbardziej efektywnej realizacji celów Regionalnego Programu Operacyjnego Województwa
Podlaskiego na lata 2007-2013.
2.
Badania przeprowadzone w ramach projektu miały na celu dokonanie oceny poszczególnych
kryteriów wyboru projektów oraz ich grup. W badaniu wykorzystano szereg metod i technik
badawczych, takich jak analizy eksperckie, symulacyjną ocenę projektów, wywiady z osobami
zaangażowanymi we wdrażanie RPOWP, wywiady telefoniczne z beneficjentami i potencjalnymi
beneficjentami oraz panele ekspertów.
3.
Przedmiotem badania były następujące grupy kryteriów:
·
Kryteria formalne (jednakowe dla wszystkich wniosków: ogólne i szczegółowe)
·
Kryteria merytoryczno-techniczne (dopuszczające)
·
Kryteria merytoryczno-techniczne (ogólne)
·
Kryteria merytoryczno-techniczne, szczegółowe (dla Osi Priorytetowych i poszczególnych
Działań).
4.
Odnośnie oceny jakości i użyteczności kryteriów wyboru projektów należy stwierdzić, że większość
kryteriów ogólnych spełnia wymogi jakości oraz użyteczności.
5.
Kryteria szczegółowe są swoistą kontynuacją (dopełnieniem) kryteriów ogólnych. Mają one
dwoisty, administracyjno-merytoryczny charakter. Wysoką jakość i użyteczność kryteriów
stwierdzono przy kryteriach dotyczących spełniania warunków minimalnej lub maksymalnej
wartości projektu, zgodności danych dotyczących miejsca realizacji projektu, poprawności
wyliczeń matematycznych, kompletności załączników oraz ich poprawności, a także prawidłowości
wskaźników projektów. W trakcie analizy innych kryteriów stwierdzono w tym zakresie
występowanie kryteriów wymagających korekty o większej lub mniejszej wadze i znaczeniu.
6.
Kryteria merytoryczno-techniczne dzielą się na dopuszczające i ogólne. Obie grupy kryteriów
generują szereg problemów w ocenie, w szczególności tam, gdzie projekty nie mają charakteru
twardego. Kryteria obu grup trudno jest czasem zweryfikować - np. kryterium właściwie
przygotowana analiza ekonomiczna, gdzie oceniający sprawdza czy analiza została przygotowana
zgodnie z wytycznymi MRR nie daje możliwości udzielenia jednoznacznej odpowiedzi (problemem
jest określenie właściwa – podobnego typu określeń należy zdecydowanie unikać w kryteriach).
7.
Kryteria wyboru projektów pierwszej Osi priorytetowej można uznać w większości przypadków za
użyteczne. Oczywiście znajdziemy tutaj takie kryteria których jednoznaczność jest
3
„Badanie ewaluacyjne pn. Ocena systemu kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa
Podlaskiego na lata 2007-2013”
problematyczna, bądź nie odpowiadają do końca projektom realizowanym w ramach działania
(np. kryterium dotyczące wprowadzenia nowych rozwiązań technologicznych prowadzących do
powstania i wprowadzenia na rynek nowego produktu w odniesieniu do projektów
infrastrukturalnych realizowanych przez inkubatory, Centra Transferu Technologii, czy też ocena
wpływu na rozwój klastra w przypadku funduszy pożyczkowych i poręczeniowych). Z kolei analiza
przy pomocy matrycy przystawalności wykazała, iż kryteria sformułowane w odniesieniu do
wszystkich czterech działań pierwszej Osi priorytetowej są kryteriami wpływającymi na
optymalność wyboru projektów.
8.
W ramach drugiej Osi priorytetowej kryteria wyboru projektu w znacznej części są użyteczne i
poprawne jakościowo. Dotyczy to w szczególności projektów z zakresu infrastruktury lotniczej
oraz rozwoju transportu kolejowego. W mniejszym stopniu ocena ta dotyczy projektów z zakresu
wspierania rozwoju infrastruktury drogowej (zarówno projektów indywidualnych, jak i
konkursowych) oraz w zakresie rozwoju transportu publicznego. Kryteria wyboru projektów
drugiej Osi priorytetowej pozwalają w dużej mierze na wybór projektów optymalnych z punktu
widzenia regionu.
9.
W przypadku osi priorytetowej III istnieją trzy odrębne listy kryteriów na tym poziomie. Dwie
zostały przygotowane dla działania 3.1, jedna dla działania 3.2. Większość kryteriów nie spełnia
wymogów jakości oraz użyteczności. Po pierwsze, należy stwierdzić, iż lista kryteriów, przy
pomocy których mają być oceniane projekty promocyjne oraz odrębnie projekty infrastrukturalne
badają inne elementy. Grozi to wyborem projektów, które w ramach jednego działania będą ze
sobą nieprzystawalne i niekomplementarne. Tym samym należy stwierdzić, iż jako grupa kryteria
te nie są odpowiednie. Sprawdzają one kwestie formalno-administracyjne i rzeczywiście odnoszą
się do zagadnień, związanych bezpośrednio z administracyjną wykonalnością projektu. Analiza
przy pomocy matrycy przystawalności wykazała, iż w przypadku kryteriów z działania 3.1 nie
pozwalają one z nielicznymi wyjątkami wyłonić projekty, które przyczynią się do zlikwidowania lub
zminimalizowania problemów zdiagnozowanych w sytuacji społeczno-gospodarczej regionu.
10.
W przypadku kryteriów IV Osi priorytetowej kryteria w większości są kryteriami użytecznymi i
dobrymi jakościowo, przy czym wymagają doprecyzowania. W zasadzie tylko w przypadku
jednego kryterium (wykorzystanie zaawansowanych technologii informatycznych) istnieją
wątpliwości co do jego jednoznaczności i użyteczności (z jednej strony kryterium zakłada, że
stosowane mogą być rozwiązania inne niż zaawansowane, z drugiej zaś strony, stwarza pole dla
subiektywności oceny). Analiza przy pomocy matrycy przystawalności wykazała, iż w przypadku
kryteriów IV Osi priorytetowej stwierdzić można, że przygotowane kryteria spełniają w całości
wymogi optymalności projektów z punktu widzenia potrzeb regionu.
4
„Badanie ewaluacyjne pn. Ocena systemu kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa
Podlaskiego na lata 2007-2013”
11.
Dla projektów, aplikujących o środki z osi priorytetowej V przygotowano praktycznie pięć
zestawów kryteriów szczegółowych, dla każdego z grup projektów: z zakresu poprawy jakości
powietrza, gospodarki wodno-ściekowej, gospodarki odpadami, odnawialnych źródeł energii i
ochrony przyrody. Większość analizowanych kryteriów w obecnym układzie jest odpowiednia, to
znaczy dotyczy zagadnień, właściwych dla ochrony środowiska Zdecydowanie gorzej wypada
ocena jednoznaczności kryteriów. Opisy kryteriów nie są jasne, dają pole do szerokich
interpretacji (np. w kryterium
Poprawa wskaźników ochrony środowiska
w opisie kryterium
wyrażone zostało w procentach (energochłonności?), w kryterium
zastosowanie odnawialnych
źródeł energii
w opisie nie sprecyzowano, co oznacza % inwestycji (zakres ? koszty ?)
1
, stąd brak
mierzalnej jednostki, w kryterium P
owiązanie projektu z działalnością edukacyjno-informacyjną
RPOWP nie rozstrzygnięto, co oznacza powiązania projektów z kampaniami edukacyjnymi.
Kryteria w osi priorytetowej w praktyce nie pozwalają na ostateczny wybór projektów
optymalnych. W kryteriach brak jest takich, które badają stronę popytową, to znaczy oceniają
przystawalność projektu do problemu. W osi priorytetowej V pewna część kryteriów odnosi się
wprost do parametrów ilościowych projektów i nagradza większą liczbą punktów te, które te
parametry mają po prostu większe.
12.
W osi priorytetowej VI przygotowano osobne zestawienia kryteriów merytoryczno-technicznych
szczegółowych dla poszczególnych działań, z czego dla działania 6.1 obejmującego infrastrukturę
edukacyjną osobno utworzono kryteria dla szkolnictwa wyższego, osobną zaś dla edukacji (szkoły
podstawowe, gimnazjalne i ponad-gimnazjalne). W przypadku działania 6.1 część kryteriów jest
odpowiednia i odnosi się do oceny jakości projektu. W przypadku działania 6.2 wszystkie kryteria
są odpowiednie i dotyczą oceny jakości i odpowiedniości rezultatów projektów z zakresu
infrastruktury zdrowia. W przypadku działania 6.3 większość kryteriów jest odpowiednia. W
działaniu 6.1 w odniesieniu do szkolnictwa wyższego nie stwierdza się, by jakiekolwiek kryterium
dyskryminowało typ beneficjenta, projektu, zakres rzeczowy i finansowy. W działaniu 6.1 w
zakresie edukacji nieobiektywne są kryteria dotyczące zajęć pozalekcyjnych oraz osiągnięć szkoły
w konkursach i olimpiadach. W działaniu 6.2 zastrzeżenia budzi jedynie kryterium ostatnie
dotyczące
zgodności projektów z wdrażaniem dyrektyw.
13.
Kryteria ogólne i dopuszczające są mierzalne. W przypadku kryteriów merytoryczno-technicznych,
w tym ogólnych oraz szczegółowych, większość jest mierzalna. Nie dotyczy to kryteriów uznanych
za nieprecyzyjne.
1
Według wyjaśnień IZ: zmniejszenie energochłonności obiektów oznacza różnicę procentową między zapotrzebowaniem na
ciepło w obiektach objętych projektem przed i po modernizacji dzieloną przez zapotrzebowanie na ciepło przed
modernizacją; zmniejszenie strat ciepła na przesyłach to różnica procentowa między stratami ciepła na przesyłach w
obiektach objętych projektem przed i po modernizacji dzielona przez straty ciepła na przesyłach przed modernizacją;
powiązanie projektu z działalnością edukacyjno-informacyjną oznacza, że projekt infrastrukturalny inwestycyjny może
zawierać element związany z prowadzeniem kampanii edukacyjno-informacyjnej.
5
[ Pobierz całość w formacie PDF ]