Ewaluacja i kontrola projektów

W literaturze przedmiotu ewaluacja to użycie metod badań społeczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o skuteczności programów i projektów.[1] W dokumentach Unii Europejskiej ewaluacja jest definiowana jako ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma (miała) spełnić.[2]
Podstawową rolą ewaluacji jest podnoszenie jakości i skuteczności realizowanych form wsparcia. Uzasadnienie konieczności prowadzenia ewaluacji zostało określone przez Komisję Europejską w  następujący sposób: „Celem ewaluacji jest: sprawdzenie racjonalności działań (…), równoczesne promowanie osiągniętych sukcesów i zapobieganie porażkom podejmowanych działań. [3]
Jednym z głównych powodów podejmowania działań ewaluacyjnych jest konieczność rozliczenia finansowego projektu oraz określenie wpływu podjętych zadań projektowych na rozwój firm, instytucji i regionów.
W UE ewaluacja funduszy unijnych uznawana jest za nadrzędne narzędzie programowania, umożliwiające określenie silnych i słabych stron oraz dopasowanie się do reakcji odbiorców, personelu i innych osób, których dotyczy realizowany projekt.[4]
Mimo, że w potocznym rozumieniu ewaluacja ogranicza się do realizacji badania konkretnego instrumentu oraz sporządzenia raportu prezentującego otrzymane wyniki, to traktowana jest jako proces złożony z następujących etapów:[5]

• planowanie – na tym etapie zostaje określony przedmiot i kryteria ewaluacji;
• projektowanie – to etap, w czasie którego zostaje uszczegółowiona metodologia;
• zbieranie danych – to etap na który składają się prace badawcze prowadzone przez zespół ewaluatorów i gromadzone są informacje, które posłużą do sporządzenia raportu;
• analiza danych zgromadzonych na etapie planowania i projektowania;
• raportowanie, które jest przedostatnim etapem ewaluacji polegającym na przedstawieniu wyników przeprowadzonych badań i analiz; jego forma powinna być określona na etapie planowania.

Aby ewaluacja mogła przyczynić się do poprawy jakości realizowanych działań jej wyniki powinny być upowszechnione i przedstawione w formie „najlepszych praktyk”.
W stosunku do realizowanych projektów możemy wyróżnić trzy podstawowe typy ewaluacji: ex-ante, mid-term, ex-post.

Ewaluacja ex-ante zdefiniowana została jako interaktywny proces, którego celem jest poprawa i wzmocnienie końcowej jakości realizowanego projektu.

Ewaluacja mid-term jest narzędziem służącym polepszeniu jakości i trafności procesu projektowania. Daje ona możliwość korekty, poprawę wdrażania projektu, a więc usprawnienie procedur wdrażania, a w konsekwencji poprawę jakości i potencjału organizacji realizującej projekt. Jednym z ważniejszych zadań stojących przed ewaluacją mid-term jest weryfikacja przyjętych celów projektu.

Ewaluacja ex-post to ewaluacja podsumowująca, dokonywana po zakończeniu projektu. Jej głównym celem jest określenie rezultatów a także wielkości zaangażowanych środków i skuteczności zrealizowanej pomocy. Ocena dokonana na podstawie ewaluacji ex-post powinna określić przyczyny sukcesu lub porażki, a także dostarczyć informacje o trwałości osiągniętych celów. Ważnym celem ewaluacji może być też, w jaki sposób interwencja wpłynęła na poszczególne grupy interesariuszy i czy zrównoważono korzyści różnych grup, nie tylko tych bezpośrednio korzystających z efektów projektu.

Bardzo często beneficjenci projektów mylą termin ewaluacji z kontrolą, a przecież ewaluacja to szacowanie uzyskanych efektów do wcześniejszych założeń i zdefiniowanych kryteriów. Kontrola natomiast odnosi się do uzyskanych efektów i ma na celu porównanie istniejącego stanu z założeniami, ustalenie nieprawidłowości oraz opracowanie zaleceń do zidentyfikowanych uchybień.
Typy kontroli przedstawia poniższa ilustracja:

Źródło: opracowanie własne

Każda kontrola realizowanego projektu musi uzyskać pewność, że:

• fizyczna i finansowa realizacja projektu następuje zgodnie z harmonogramem,
• wydatki zostały uzyskane z systemów księgowania i są zgodne z planem finansowym,
• istnieje i jest stosowany odrębny system księgowości dla wydatków ponoszonych w ramach projektu,
• kontrakty/umowy realizowane w ramach projektu są zgodne z prawem dot. zamówień publicznych.

Podstawowym kryterium oceny jest więc legalność oraz zgodność prowadzonych działań projektowych z wnioskiem o dofinansowanie projektu. Sam proces kontroli to działanie nieregularne i wyrywkowe. Kontrole realizowane są najczęściej w trakcie realizowanego projektu przed otrzymaniem ostatniej transzy dofinansowania. Każda kontrola obejmuje część finansową oraz merytoryczną. Podpisując umowę o dofinansowanie projektu wyrażamy (automatycznie) zgodę na przeprowadzenie procesu kontroli.

Instytucja Wdrażająca (IW) może jednostronnie rozwiązać umowę o dofinansowanie, jeżeli projektodawca:

• zaprzestał realizacji Projektu,
• realizuje go w sposób niezgodny z zawartą umową,
• nie osiągnie zamierzonego w Projekcie celu z przyczyn przez siebie zawinionych,
• odmówi poddania się kontroli lub audytowi (jeżeli jest wymagany),
• w ustalonym przez IW terminie nie doprowadzi do usunięcia stwierdzonych nieprawidłowości,
• wykorzysta przekazane środki na cel inny niż określony w projekcie,
• nie przedłoży w ustalonym terminie i na ustalonych zasadach sprawozdania z realizacji projektu,
• nie wniesie zadeklarowanego wkładu własnego,
• nie przestrzega przepisów ustawy – Pzp (Prawo zamówień publicznych).

Poniższa ilustracja prezentuje orientacyjne miejsca trwania procesu ewaluacji i kontroli na linii czasu realizacji projektu:

Źródło: opracowanie własne                                                                  

Jak można zauważyć czasowi trwania realizowanego projektu przyporządkowano kontrolę w czasie i przed końcem realizacji, dwa badania ewaluacyjne na początku i przed kontrolą końcową oraz wizytę monitorującą. Zespoły kontrolujące w czasie prowadzonego procesu kontroli  biorą pod uwagę raporty z badań ewaluacyjnych, tak więc dobrze jest tak zaplanować ewaluację tak aby, stworzone raporty były do dyspozycji zespołu kontrolującego.
Do najczęstszych uwag zespołów kontrolujących związanych z realizacją części finansowej projektu zaliczamy:

1. błędne opisane dokumenty do wniosku o płatność,
2. brak adnotacji o weryfikacji merytorycznej i finansowej dokumentów księgowych,
3. błędna kwalifikacja poniesionych wydatków,
4. błędnie nadawane numery księgowe i ewidencyjne dokumentów finansowych,
5. dokonywanie poprawek na dokumentach finansowych nanoszone niezgodnie z ustawą o rachunkowości,
6. ponoszenie wydatków niezgodnie z ustawą o finansach publicznych,
7. błędy w stosowaniu zasady konkurencyjności oraz prawa zamówień publicznych Pzp.

dr inż. Przemysław Dubel
Centrum Projektów i Ekspertyz
Wydziału Zarządzania UW

Nie wiesz jak przygotować projekt lub przeprowadzić analizę problemu i celu projektu? Zapraszamy do przeczytania cz. I- Przygotowanie projektu oraz cz. II- Analiza problemu i celu projektu.

[1] K. Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” nr 4(22)/2005, Warszawa, 2005, s. 35.

[2] Komisja Europejska, 2004a, Evaluating EU Activities. A Practical Guide for the Commission Services, Brussels: European Commission . DG Budget.

[3] CEC, Evaluation Design and Management, t. 1, MEANS Collection: Evaluating Socioeconomic Programmes, Luxembourg: OOPEC, 1999, s. 17.

[4] J. Bachter, R. Michie, A New Era in EU Regional Policy Evaluation. The Appraisal of the Structural Funds, “Regional Studies” nr 29, 1995.

[5] Por.: T.Krzeszowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno gospodarczym w kontekście przystąpienia Polski do UE, PARP, Warszawa 2002, s 5-30.;M. Trocki, B.Gruczy, Zarządzanie projektem europejskim, PWE, Warszawa 2006.