Na co komu ewaluacja?

Ewaluacja, czyli co?

Ewaluacja to poj臋cie, kt贸re dzisiaj ju偶 coraz mniej budzi zdziwienie, za to coraz cz臋艣ciej jest kojarzone ze zbieraniem tzw. informacji zwrotnych. Jej znaczenie wzrasta w r贸偶nych obszarach i dziedzinach 偶ycia spo艂ecznego. O tym, dlaczego tak si臋 dzieje, co to oznacza w kontek艣cie rozwoju organizacji pozarz膮dowej, dowiesz si臋 z poni偶szego artyku艂u.

Ewaluacj臋 definiuje si臋 jako u偶ycie metod bada艅 spo艂eczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o skuteczno艣ci podejmowanych dzia艂a艅 (za H. Rossi, czy S. Mathisson). Tyle o definicji. A co tak naprawd臋 ona oznacza? W telegraficznym skr贸cie mo偶na j膮 uj膮膰 jako umiej臋tno艣膰 takiego zbierania, analizowania a nast臋pnie wykorzystywania zebranych informacji, aby mo偶na by艂o uzyska膰 na ich podstawie odpowied藕, czy za艂o偶one przez nas cele zosta艂y osi膮gni臋te.

Czym ewaluacja nie jest?

Aby uzyska膰 jeszcze pe艂niejszy obraz tego, czym jest ewaluacja, mo偶na z powodzeniem wskaza膰 czym ona nie jest tzn. co tak naprawd臋 odr贸偶nia j膮 od pokrewnych dziedzin. Ewaluacja nie jest zatem:

– badaniem naukowym – pomimo stosowania analogicznych metod, g艂贸wnym celem ewaluacji jest nie tylko zwi臋kszanie zasobu wiedzy, ale r贸wnie偶 formu艂owanie specyficznych rekomendacji s艂u偶膮cych poprawie wdra偶ania konkretnych interwencji;
– kontrol膮 ani audytem 鈥 tu przedmiotem kontroli lub audytu jest zgodno艣膰 prowadzonych dzia艂a艅 z procedurami. Ewaluacja ocenia dzia艂ania r贸wnie偶 w kontek艣cie efekt贸w.
– monitoringiem 鈥 Monitoring s艂u偶y jedynie 鈥瀝ejestrowaniu鈥 bezpo艣rednich efekt贸w wdra偶ania (produkt贸w). Ewaluacja umo偶liwia ustalenie zwi膮zk贸w pomi臋dzy podj臋tymi dzia艂aniami a uzyskanymi efektami, zw艂aszcza w uj臋ciu 艣rednio i d艂ugookresowym (rezultaty).

Po co to wszystko?

Ewaluacja wprowadza do realizacji projektu element sta艂ej refleksji. Dzi臋ki niej mamy szans臋 na  wyci膮gni臋cie wniosk贸w z prowadzonych przez nas dzia艂a艅 i uzmys艂owienie sobie, co w projekcie dzia艂a dobrze, co niedostatecznie, czy projekt dociera do tych odbiorc贸w, do kt贸rych ma dotrze膰, czy spe艂nia ich oczekiwania, czy przynosi zak艂adane efekty. Ponadto, daje klarown膮 odpowied藕 na pytanie- gdzie le偶膮 i jakie mog膮 by膰 藕r贸d艂a ewentualnych problem贸w. Co jeszcze? Ewaluacja umo偶liwia rzeteln膮 analiz臋 warto艣ci projekt贸w, pozwala na poszukiwanie i wdra偶anie takich rozwi膮za艅, kt贸re podnosz膮 ich jako艣膰. Wyniki takich autoewaluacji stanowi膮 doskona艂e 藕r贸d艂o informacji przydatnych podczas opracowywania kolejnych projekt贸w przez organizacje.

Przyjrzymy si臋 zatem poni偶ej, jakie konkretnie korzy艣ci mo偶e przynie艣膰 ewaluacja i do czego mog膮 przyda膰 si臋 jej wyniki?

  1. Doskonalenie programu/projektu. To obszar, kt贸ry mo偶e s艂u偶y膰 do podejmowania decyzji zwi膮zanych z bie偶膮cym wdra偶aniem programu b膮d藕 projektu, a聽 w przypadku jego kolejnych edycji 鈥 modyfikacji cel贸w czy przedefiniowaniu grupy docelowej)
  2. Projektowanie nowych program贸w/projekt贸w i dzia艂a艅. Mechanizm dzia艂ania projektu mo偶e zosta膰 wsparty przez wiedz臋, kt贸ra p艂ynie zar贸wno z zarz膮dzania nim jak i z do艣wiadczenia bezpo艣redniego. Taka konfiguracja pozwala na sprawne planowanie poprzez unikanie rozwi膮za艅, kt贸re si臋 nie sprawdzi艂y a wykorzystanie takich, kt贸re przynios艂y zadowalaj膮ce dla nas efekty.
  3. Upowszechnianie wiedzy p艂yn膮cej z ewaluacji w艣r贸d partner贸w spo艂ecznych, wsp贸艂pracuj膮cych w ramach programu/projektu. Wnioski z ewaluacji mog膮 podnie艣膰 jako艣膰 dzia艂a艅 prowadzonych w ramach programu/projektu przez podmioty wsp贸艂pracuj膮ce, przyczyniaj膮c si臋 do wzrostu skuteczno艣ci wsp贸lnie podejmowanych aktywno艣ci.聽
  4. 聽Rozw贸j organizacji/instytucji prowadz膮cej ewaluacj臋. Uczestnictwo w procesie ewaluacyjnym聽 ni tylko rozwija kompetencje ewaluacyjne pracownik贸w organizacji/instytucji. Sprzyja r贸wnie偶 szerszej refleksji nad funkcjonowaniem organizacji i usprawnianiem sposob贸w jej dzia艂ania. Ponad to, ewaluacja daje mo偶liwo艣膰 nawi膮zania relacji z beneficjentami, partnerami projektu, lokalnymi liderami.聽

Ewaluacja krok po kroku聽

Trzeba mie膰 艣wiadomo艣膰, i偶 ewaluacja wykonana na koniec projektu, to nic innego jak zadanie wykonane w spos贸b niew艂a艣ciwy. Dlaczego? Bo ewaluacja nie stanowi odr臋bnego bytu, lecz integraln膮 cz臋艣膰 ca艂o艣ci (ca艂ego projektu) i powinna odbywa膰 si臋 na ka偶dym jego etapie i tak jak on by膰 rzetelnie i skrupulatnie rozplanowana. Jak zatem zaplanowa膰 jej proces? Poniewa偶 ma ona zar贸wno swoje cele i odbiorc贸w, musimy si臋 zastanowi膰 i przeanalizowa膰 dla kogo jest ona realizowana i jakie ma przynie艣膰 efekty. Og贸lny zarys etap贸w planowania ewaluacji przedstawia si臋 nast臋puj膮co:

  1. Projektowanie
    Je艣li okre艣lili艣my ju偶 cel ewaluacji, musimy teraz przyjrze膰 si臋 temu co b臋dziemy ocenia膰聽 (wykorzystanie zasob贸w, metody edukacyjne, skutki, wp艂yw etc). To pozwoli okre艣li膰 wska藕niki b膮d藕 kryteria ( jako艣ciowe, ilo艣ciowe) oraz czas rozpocz臋cia naszej ewaluacji.聽
  2. Zbieranie informacji
    Po okre艣leniu powy偶szych wska藕nik贸w i kryteri贸w, musimy zebra膰 potrzebne nam dane i informacje dotycz膮ce tego ilu mieli艣my uczestnik贸w w projekcie, czego si臋 nauczyli i co zrobili ze zdobyt膮 wiedz膮. Tutaj mo偶emy skorzysta膰 z takich sposob贸w zbierania informacji jak: sporz膮dzone notatki, wywiady zar贸wno podczas trwania projektu, jak i po jego zako艅czeniu.聽
  3. Ocena i konkluzje
    To proces wyci膮gania wniosk贸w z uzyskanych informacji, szukanie wyja艣nie艅 dla tego, co si臋 zadzia艂o, podkre艣lanie rezultat贸w i patrzenie na聽 te rezultaty w kontek艣cie za艂o偶onych, pocz膮tkowych cel贸w i d膮偶enia projektu.
  4. Implementowanie rezultat贸w Funkcj膮 ewaluacji jest wprowadzenie zmiany spo艂ecznej dlatego zebrane informacje oraz wyci膮gni臋te z nich wnioski musz膮 by膰 w odpowiedni spos贸b wykorzystane i odpowiednio wdro偶one.
  5. Interpretowanie informacji
    Zar贸wno interpretacja zebranych danych, podobnie jak kolejne etapy, musi by膰 zwi膮zana z czystym obiektywizmem, bo jak wiadomo, rzeczywisto艣膰 mo偶e by膰 zawsze interpretowana na wiele r贸偶nych sposob贸w. Nasze osobiste obawy i w艂asne interesy nie powinny mie膰 na ni膮 znacz膮cego wp艂ywu
  6. Przygotowywanie
    To przede wszystkim ustalenie d膮偶e艅 i celu. Warto zastanowi膰 si臋 nad tym i postawi膰 sobie pytania: dlaczego ewaluacja jest niezb臋dna? Kto jej potrzebuje? Kto powinien by膰 zaanga偶owany w jej przeprowadzenie?

Rodzaje ewaluacji

Rodzaj贸w ewaluacji jest wiele i ka偶dy z nich wymaga d艂u偶szego pochylenia si臋 nad nim, dlatego poni偶ej przedstawiamy jedynie pobie偶ny i kr贸tki ich zarys, koncentruj膮c si臋 w dalszej cz臋艣ci artyku艂u jedynie na jednym z nich jakim jest ankieta ewaluacja ex ante i ex post . Rodzaje  ewaluacji dzielimy zatem ze wzgl臋du na:

przedmiot ewaluacji:

  • Ewaluacja globalna – obejmuj膮ca obszar analizowanego przedsi臋wzi臋cia w ca艂o艣ci.
  • Ewaluacja horyzontalna, tematyczna – obejmuj膮ca jeden lub kilka obszar贸w tematycznych w ramach jednego lub wi臋kszej ilo艣ci projekt贸w. 
  • Ewaluacja szczeg贸艂owa, uzupe艂niaj膮ca – oceniaj膮ca jedno wybrane zagadnienie w ramach jednego przedsi臋wzi臋cia. 

na funkcje:

  • Ewaluacja formatywna 鈥搆oncentruje si臋 na analizie proces贸w i ich modernizowaniu Ewaluacja formatywna jest narz臋dziem wykorzystywanym w procesach decyzyjnych wpieraj膮ce podniesieniu warto艣ci przysz艂ych lub aktualnych projekt贸w 
  • Ewaluacja podsumowuj膮ca inaczej konkluzywna- analizie poddaj膮 si臋 wyniki projektu jako ca艂o艣ci. Jest ona narz臋dziem, kt贸re wspiera procesy decyzyjne dotycz膮ce przysz艂ej realizacji przedsi臋wzi臋cia ze wzgl臋du na podmiot oceniaj膮cy.
  • Ewaluacja zewn臋trzna聽– podmiotem prowadz膮cym badanie ewaluacyjne jest instytucja zewn臋trzna.
  • Ewaluacja wewn臋trzna聽– podmiotem prowadz膮cym badanie ewaluacyjne jest聽organizacja聽zwi膮zana bezpo艣rednio lub po艣rednio z administracj膮 realizacji przedsi臋wzi臋cia.
  • Autoewaluacja – podmiotem prowadz膮cym badanie ewaluacyjne s膮 osoby, kt贸re bezpo艣rednio zaanga偶owane we wdra偶anie projektu.

czas realizacji:

  • Ewaluacja聽ex ante聽– jest wykonywana przed rozpocz臋ciem przedsi臋wzi臋cia lub聽programu.聽
  • Ewaluacja聽mid term聽– jest wykonywana w po艂owie wdra偶ania przedsi臋wzi臋cia lub programu. Jej celem jest zbada膰 przybli偶one efekty realizowanych projekt贸w, ich wyniki, stopie艅 osi膮gni臋cia cel贸w i聽jako艣膰聽wykorzystania聽zasob贸w.
  • Ewaluacja聽on-going聽– jest wykonywana w trakcie realizowania projektu, w dowolnym czasie.
  • Ewaluacja聽ex post聽– jest wykonywana po zako艅czeniu realizowanego projektu. Zwykle badaniu poddaj膮 si臋 efekty d艂ugotrwale 鈥斅爏kuteczno艣膰, efektywno艣膰, koszty.聽

Czym jest ankieta ewaluacyjna?

Ankieta ewaluacyjna to narz臋dzie, kt贸re s艂u偶y do weryfikacji wiedzy w艣r贸d uczestnik贸w szkole艅, warsztat贸w i r贸偶nego rodzaju projekt贸w.  Dzi臋ki niej mamy szanse na zbadanie postawy uczestnik贸w, poziomu ich wiedzy b膮d藕 zdobycie interesuj膮cej nas opinii.
Uzyskane informacje mog膮 si臋 okaza膰 bardzo przydatne zar贸wno dla organizatora szkolenia jak i dla jego wykonawcy (trenera). Dlaczego jest to tak wa偶ne? Z dw贸ch wzgl臋d贸w. Po pierwsze, osoba, kt贸ra jest wykonawc膮 (trener) otrzymuje jasne i precyzyjne informacje zwrotne o skuteczno艣ci swoich dzia艂a艅 i na tej podstawie mo偶e on dokona膰 ich ewentualnej modyfikacji, sposobu przekazywania wiedzy czy og贸lnie atrakcyjno艣ci prowadzonego przez siebie szkolenia. Po drugie, organizator szkolenia otrzymuje r贸wnie偶 komunikat o jako艣ci i skuteczno艣ci organizowanych przez niego szkole艅 i czy spe艂ni艂y one rol臋, kt贸r膮 ten za艂o偶y艂 w dzia艂aniach projektowych. Jak widzimy, korzy艣ci wynikaj膮ce z przeprowadzenia ankiety s膮 generuj膮 obop贸lne korzy艣ci. 

Co mo偶emy zmierzy膰 ?

Mo偶liwo艣ci mamy wiele i mo偶emy mierzy膰 tu tak naprawd臋 dowolne elementy. Jednak dla uzyskania warto艣ciowych i sensownych wynik贸w dobrze jest ograniczy膰 si臋 tylko do najwa偶niejszych wska藕nik贸w. Wa偶ne, aby ankieta nie by艂a zbyt d艂uga i aby wype艂niaj膮cy j膮 uczestnicy mogli swobodnie odpowiedzie膰 na zadane im pytania. G艂贸wnymi wska藕nikami w badaniu opinii o szkoleniu s膮: ocena prowadz膮cego oraz ocena warunk贸w szkolenia. W przypadku weryfikacji wiedzy warto skorzysta膰 z opcji testu przyznaj膮c punktacje do pyta艅, kt贸ra pozwoli automatycznie zliczy膰 punkty. Przy weryfikacji wiedzy warto te偶 skorzysta膰 z zaprosze艅 e-mail, aby powi膮za膰 adres e-mail z odpowiedzi膮.

Jakich pyta艅 u偶y膰?

W przypadku ankiet ewaluacyjnych 艣wietnie sprawdzaj膮 si臋 pytania, w kt贸rych u偶ytkownik zaznacza na skali np. 1-5 swoj膮 odpowied藕. Skala mo偶e by膰 prezentowana w formie gwiazdek lub innych ikon. Taka forma pytania jest bardzo 艂atwa w zrozumieniu i szybka do odpowiedzenia. Szereg pyta艅 ze skal膮 warto zako艅czy膰 dodatkow膮 odpowiedzi膮 otwart膮 w przypadku negatywnych ocen lub ch臋ci podzielenia si臋 swoj膮 opini膮.

Kryteria聽

Kryteria oceny mo偶na ustali膰  wed艂ug: 

  1. Trafno艣ci 鈥 odpowiadaj膮cego na pytanie 鈥 czy i w jakim stopniu cele projektu/realizowane w nim dzia艂ania odpowiadaj膮 na problemy i potrzeby grupy docelowej? 
  2.  Skuteczno艣ci 鈥 odpowiadaj膮cego na pytanie 鈥 czy i w jakim stopniu dzia艂ania realizowane w ramach projektu przyczyniaj膮 si臋 do osi膮gni臋cia planowanych cel贸w i rezultat贸w? 
  3.  U偶yteczno艣ci 鈥 odpowiadaj膮cego na pytanie 鈥 czy i w jakim stopniu realizacja projektu korzystanie wp艂ywa na sytuacj臋 podmiot贸w wchodz膮cych w sk艂ad grupy docelowej? 
  4.  Trwa艂o艣ci 鈥 odpowiadaj膮cego na pytanie 鈥 czy efekty/rezultaty projektu b臋d膮 nadal widoczne po zako艅czeniu jego realizacji?

Reasumuj膮c, je艣li chcesz aby raport z ewaluacji rzeczywi艣cie sta艂 si臋 rzetelnym i pomocnym narz臋dziem w dalszym rozwoju twojej organizacji, projektu itd.  musisz potraktowa膰 j膮 powa偶nie. Mimo i偶, w bud偶etach projektowych nie zawsze b臋dzie du偶o miejsca na zaplanowanie ewaluacji to jednak zawsze mo偶na w艂膮czy膰 j膮 w dzia艂ania projektowe w taki spos贸b, kt贸ry nie b臋dzie si臋 wi膮za艂 z uszczupleniem bud偶etu. Je艣li rzeczywi艣cie chcemy aby nasze dzia艂ania zmienia艂y rzeczywisto艣膰 wok贸艂 nas, to nale偶y tej rzeczywisto艣ci si臋 najpierw przyjrze膰, poobserwowa膰, zatrzyma膰 si臋 i jej w 偶aden spos贸b nie przy艣piesza膰. Tylko z takiej refleksji jak膮 jest slow evaluation, kt贸ra zaczyna si臋 ju偶 na etapie planowania projektu, gdzie metody badawcze wsp贸艂graj膮 z dzia艂aniami w projekcie i s膮 dostosowane do odbiorc贸w, a nie przed jego zako艅czeniem, nasze dzia艂ania b臋d膮 mia艂y naprawd臋 sens a zebrane informacje stan膮 si臋 inspiracj膮 do dalszej pracy.

Skip to content