Na co komu ewaluacja?

Ewaluacja, czyli co?

Ewaluacja to pojęcie, które dzisiaj już coraz mniej budzi zdziwienie, za to coraz częściej jest kojarzone ze zbieraniem tzw. informacji zwrotnych. Jej znaczenie wzrasta w różnych obszarach i dziedzinach życia społecznego. O tym, dlaczego tak się dzieje, co to oznacza w kontekście rozwoju organizacji pozarządowej, dowiesz się z poniższego artykułu.

Ewaluację definiuje się jako użycie metod badań społeczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o skuteczności podejmowanych działań (za H. Rossi, czy S. Mathisson). Tyle o definicji. A co tak naprawdę ona oznacza? W telegraficznym skrócie można ją ująć jako umiejętność takiego zbierania, analizowania a następnie wykorzystywania zebranych informacji, aby można było uzyskać na ich podstawie odpowiedź, czy założone przez nas cele zostały osiągnięte.

Czym ewaluacja nie jest?

Aby uzyskać jeszcze pełniejszy obraz tego, czym jest ewaluacja, można z powodzeniem wskazać czym ona nie jest tzn. co tak naprawdę odróżnia ją od pokrewnych dziedzin. Ewaluacja nie jest zatem:

– badaniem naukowym – pomimo stosowania analogicznych metod, głównym celem ewaluacji jest nie tylko zwiększanie zasobu wiedzy, ale również formułowanie specyficznych rekomendacji służących poprawie wdrażania konkretnych interwencji;
– kontrolą ani audytem – tu przedmiotem kontroli lub audytu jest zgodność prowadzonych działań z procedurami. Ewaluacja ocenia działania również w kontekście efektów.
– monitoringiem – Monitoring służy jedynie „rejestrowaniu” bezpośrednich efektów wdrażania (produktów). Ewaluacja umożliwia ustalenie związków pomiędzy podjętymi działaniami a uzyskanymi efektami, zwłaszcza w ujęciu średnio i długookresowym (rezultaty).

Po co to wszystko?

Ewaluacja wprowadza do realizacji projektu element stałej refleksji. Dzięki niej mamy szansę na  wyciągnięcie wniosków z prowadzonych przez nas działań i uzmysłowienie sobie, co w projekcie działa dobrze, co niedostatecznie, czy projekt dociera do tych odbiorców, do których ma dotrzeć, czy spełnia ich oczekiwania, czy przynosi zakładane efekty. Ponadto, daje klarowną odpowiedź na pytanie- gdzie leżą i jakie mogą być źródła ewentualnych problemów. Co jeszcze? Ewaluacja umożliwia rzetelną analizę wartości projektów, pozwala na poszukiwanie i wdrażanie takich rozwiązań, które podnoszą ich jakość. Wyniki takich autoewaluacji stanowią doskonałe źródło informacji przydatnych podczas opracowywania kolejnych projektów przez organizacje.

Przyjrzymy się zatem poniżej, jakie konkretnie korzyści może przynieść ewaluacja i do czego mogą przydać się jej wyniki?

1. Doskonalenie programu/projektu. To obszar, który może służyć do podejmowania decyzji związanych z bieżącym wdrażaniem programu bądź projektu, a  w przypadku jego kolejnych edycji – modyfikacji celów czy przedefiniowaniu grupy docelowej)
2.  Projektowanie nowych programów/projektów i działań. Mechanizm działania projektu może zostać wsparty przez wiedzę, która płynie zarówno z zarządzania nim jak i z doświadczenia bezpośredniego. Taka konfiguracja pozwala na sprawne planowanie poprzez unikanie rozwiązań, które się nie sprawdziły a wykorzystanie takich, które przyniosły zadowalające dla nas efekty.
3. Upowszechnianie wiedzy płynącej z ewaluacji wśród partnerów społecznych, współpracujących w ramach programu/projektu. Wnioski z ewaluacji mogą podnieść jakość działań prowadzonych w ramach programu/projektu przez podmioty współpracujące, przyczyniając się do wzrostu skuteczności wspólnie podejmowanych aktywności. 
4.  Rozwój organizacji/instytucji prowadzącej ewaluację. Uczestnictwo w procesie ewaluacyjnym  ni tylko rozwija kompetencje ewaluacyjne pracowników organizacji/instytucji. Sprzyja również szerszej refleksji nad funkcjonowaniem organizacji i usprawnianiem sposobów jej działania. Ponad to, ewaluacja daje możliwość nawiązania relacji z beneficjentami, partnerami projektu, lokalnymi liderami. 

Ewaluacja krok po kroku 

Trzeba mieć świadomość, iż ewaluacja wykonana na koniec projektu, to nic innego jak zadanie wykonane w sposób niewłaściwy. Dlaczego? Bo ewaluacja nie stanowi odrębnego bytu, lecz integralną część całości (całego projektu) i powinna odbywać się na każdym jego etapie i tak jak on być rzetelnie i skrupulatnie rozplanowana. Jak zatem zaplanować jej proces? Ponieważ ma ona zarówno swoje cele i odbiorców, musimy się zastanowić i przeanalizować dla kogo jest ona realizowana i jakie ma przynieść efekty. Ogólny zarys etapów planowania ewaluacji przedstawia się następująco:

1. Projektowanie
   Jeśli określiliśmy już cel ewaluacji, musimy teraz przyjrzeć się temu co będziemy oceniać  (wykorzystanie zasobów, metody edukacyjne, skutki, wpływ etc). To pozwoli określić wskaźniki bądź kryteria ( jakościowe, ilościowe) oraz czas rozpoczęcia naszej ewaluacji. 
2. Zbieranie informacji
   Po określeniu powyższych wskaźników i kryteriów, musimy zebrać potrzebne nam dane i informacje dotyczące tego ilu mieliśmy uczestników w projekcie, czego się nauczyli i co zrobili ze zdobytą wiedzą. Tutaj możemy skorzystać z takich sposobów zbierania informacji jak: sporządzone notatki, wywiady zarówno podczas trwania projektu, jak i po jego zakończeniu. 
3. Ocena i konkluzje
   To proces wyciągania wniosków z uzyskanych informacji, szukanie wyjaśnień dla tego, co się zadziało, podkreślanie rezultatów i patrzenie na  te rezultaty w kontekście założonych, początkowych celów i dążenia projektu.
4. Implementowanie rezultatów Funkcją ewaluacji jest wprowadzenie zmiany społecznej dlatego zebrane informacje oraz wyciągnięte z nich wnioski muszą być w odpowiedni sposób wykorzystane i odpowiednio wdrożone.
5. Interpretowanie informacji
   Zarówno interpretacja zebranych danych, podobnie jak kolejne etapy, musi być związana z czystym obiektywizmem, bo jak wiadomo, rzeczywistość może być zawsze interpretowana na wiele różnych sposobów. Nasze osobiste obawy i własne interesy nie powinny mieć na nią znaczącego wpływu
6. Przygotowywanie
   To przede wszystkim ustalenie dążeń i celu. Warto zastanowić się nad tym i postawić sobie pytania: dlaczego ewaluacja jest niezbędna? Kto jej potrzebuje? Kto powinien być zaangażowany w jej przeprowadzenie?

Rodzaje ewaluacji

Rodzajów ewaluacji jest wiele i każdy z nich wymaga dłuższego pochylenia się nad nim, dlatego poniżej przedstawiamy jedynie pobieżny i krótki ich zarys, koncentrując się w dalszej części artykułu jedynie na jednym z nich jakim jest ankieta ewaluacja ex ante i ex post . Rodzaje  ewaluacji dzielimy zatem ze względu na:

przedmiot ewaluacji:

• Ewaluacja globalna – obejmująca obszar analizowanego przedsięwzięcia w całości.
• Ewaluacja horyzontalna, tematyczna – obejmująca jeden lub kilka obszarów tematycznych w ramach jednego lub większej ilości projektów. 
• Ewaluacja szczegółowa, uzupełniająca – oceniająca jedno wybrane zagadnienie w ramach jednego przedsięwzięcia. 

na funkcje:

• Ewaluacja formatywna –koncentruje się na analizie procesów i ich modernizowaniu Ewaluacja formatywna jest narzędziem wykorzystywanym w procesach decyzyjnych wpierające podniesieniu wartości przyszłych lub aktualnych projektów 
• Ewaluacja podsumowująca inaczej konkluzywna- analizie poddają się wyniki projektu jako całości. Jest ona narzędziem, które wspiera procesy decyzyjne dotyczące przyszłej realizacji przedsięwzięcia ze względu na podmiot oceniający.

• Ewaluacja zewnętrzna – podmiotem prowadzącym badanie ewaluacyjne jest instytucja zewnętrzna.
• Ewaluacja wewnętrzna – podmiotem prowadzącym badanie ewaluacyjne jest organizacja związana bezpośrednio lub pośrednio z administracją realizacji przedsięwzięcia.
• Autoewaluacja – podmiotem prowadzącym badanie ewaluacyjne są osoby, które bezpośrednio zaangażowane we wdrażanie projektu.

czas realizacji:

• Ewaluacja ex ante – jest wykonywana przed rozpoczęciem przedsięwzięcia lub programu. 
• Ewaluacja mid term – jest wykonywana w połowie wdrażania przedsięwzięcia lub programu. Jej celem jest zbadać przybliżone efekty realizowanych projektów, ich wyniki, stopień osiągnięcia celów i jakość wykorzystania zasobów.
• Ewaluacja on-going – jest wykonywana w trakcie realizowania projektu, w dowolnym czasie.
• Ewaluacja ex post – jest wykonywana po zakończeniu realizowanego projektu. Zwykle badaniu poddają się efekty długotrwale — skuteczność, efektywność, koszty.  

Czym jest ankieta ewaluacyjna?

Ankieta ewaluacyjna to narzędzie, które służy do weryfikacji wiedzy wśród uczestników szkoleń, warsztatów i różnego rodzaju projektów.  Dzięki niej mamy szanse na zbadanie postawy uczestników, poziomu ich wiedzy bądź zdobycie interesującej nas opinii.
Uzyskane informacje mogą się okazać bardzo przydatne zarówno dla organizatora szkolenia jak i dla jego wykonawcy (trenera). Dlaczego jest to tak ważne? Z dwóch względów. Po pierwsze, osoba, która jest wykonawcą (trener) otrzymuje jasne i precyzyjne informacje zwrotne o skuteczności swoich działań i na tej podstawie może on dokonać ich ewentualnej modyfikacji, sposobu przekazywania wiedzy czy ogólnie atrakcyjności prowadzonego przez siebie szkolenia. Po drugie, organizator szkolenia otrzymuje również komunikat o jakości i skuteczności organizowanych przez niego szkoleń i czy spełniły one rolę, którą ten założył w działaniach projektowych. Jak widzimy, korzyści wynikające z przeprowadzenia ankiety są generują obopólne korzyści. 

Co możemy zmierzyć ?

Możliwości mamy wiele i możemy mierzyć tu tak naprawdę dowolne elementy. Jednak dla uzyskania wartościowych i sensownych wyników dobrze jest ograniczyć się tylko do najważniejszych wskaźników. Ważne, aby ankieta nie była zbyt długa i aby wypełniający ją uczestnicy mogli swobodnie odpowiedzieć na zadane im pytania. Głównymi wskaźnikami w badaniu opinii o szkoleniu są: ocena prowadzącego oraz ocena warunków szkolenia. W przypadku weryfikacji wiedzy warto skorzystać z opcji testu przyznając punktacje do pytań, która pozwoli automatycznie zliczyć punkty. Przy weryfikacji wiedzy warto też skorzystać z zaproszeń e-mail, aby powiązać adres e-mail z odpowiedzią.

Jakich pytań użyć?

W przypadku ankiet ewaluacyjnych świetnie sprawdzają się pytania, w których użytkownik zaznacza na skali np. 1-5 swoją odpowiedź. Skala może być prezentowana w formie gwiazdek lub innych ikon. Taka forma pytania jest bardzo łatwa w zrozumieniu i szybka do odpowiedzenia. Szereg pytań ze skalą warto zakończyć dodatkową odpowiedzią otwartą w przypadku negatywnych ocen lub chęci podzielenia się swoją opinią.

Kryteria 

Kryteria oceny można ustalić  według: 

1. Trafności – odpowiadającego na pytanie – czy i w jakim stopniu cele projektu/realizowane w nim działania odpowiadają na problemy i potrzeby grupy docelowej? 
2.  Skuteczności – odpowiadającego na pytanie – czy i w jakim stopniu działania realizowane w ramach projektu przyczyniają się do osiągnięcia planowanych celów i rezultatów? 
3.  Użyteczności – odpowiadającego na pytanie – czy i w jakim stopniu realizacja projektu korzystanie wpływa na sytuację podmiotów wchodzących w skład grupy docelowej? 
4.  Trwałości – odpowiadającego na pytanie – czy efekty/rezultaty projektu będą nadal widoczne po zakończeniu jego realizacji?

Reasumując, jeśli chcesz aby raport z ewaluacji rzeczywiście stał się rzetelnym i pomocnym narzędziem w dalszym rozwoju twojej organizacji, projektu itd.  musisz potraktować ją poważnie. Mimo iż, w budżetach projektowych nie zawsze będzie dużo miejsca na zaplanowanie ewaluacji to jednak zawsze można włączyć ją w działania projektowe w taki sposób, który nie będzie się wiązał z uszczupleniem budżetu. Jeśli rzeczywiście chcemy aby nasze działania zmieniały rzeczywistość wokół nas, to należy tej rzeczywistości się najpierw przyjrzeć, poobserwować, zatrzymać się i jej w żaden sposób nie przyśpieszać. Tylko z takiej refleksji jaką jest slow evaluation, która zaczyna się już na etapie planowania projektu, gdzie metody badawcze współgrają z działaniami w projekcie i są dostosowane do odbiorców, a nie przed jego zakończeniem, nasze działania będą miały naprawdę sens a zebrane informacje staną się inspiracją do dalszej pracy.