Ewaluacja ( „oceniać, szacować”, z „stawać się, być zdolnym, potężnieć” i „móc, zdołać”)Iwona Sobieraj, Badania ewaluacyjne w środowisku szkoły s. 12, Słownik Wyrazów Obcych – systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Jest to ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny, podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalneRozporządzenie Rady Unii Europejskiej z dnia 21 czerwca 1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych.
Ewaluacja jest relatywnym wartościowaniem kontekstowym w procesie całościowego ujmowania zjawisk, prowadzącym do: diagnozowania jakości, wyszczególniania właściwości i zależności, doskonalenia oddziaływań oraz formowania przemian na podstawie interpretacji wielu danych źródłowych oraz badań dystansowych i analizOcenianie realizacji kół zainteresowań IT i ewaluacja efektów [w:] Program nauczania-uczenia się infotechniki, [red.:] Stanisław Ubermanowicz, Krzysztof Wawrzyniak. Poznań: FWiOO, tom 2., 2014, s. 248-285. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości.
Historia Za początek instytucjonalnego wykorzystania ewaluacji w Europie Henryk Mizerek za R. Lance'em Hoganen uznał 1792 rok kiedy to William Farish wprowadził stopnie szkolne jako miarę oceny osiągnięć uczniów. Typy i rodzaje ewaluacji Typy ze względu na przedmiot badania: ewaluacje procesów społecznychStanisław Ubermanowicz, Ewaluacja splotowa InfoKultury. Skala dwuważonych ocen, Wydawnictwo Naukowe UAM, Poznań 2005, , ewaluacje projektów, ewaluacje programów, ewaluacje polityk, ewaluacje tematyczne/horyzontalne, meta-ewaluacjeKarol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” 2005, nr 4(22), s. 39-40..
ze względu na kryterium czasu i cel:
ewaluacja ex ante – projektująca potencjalną trafność, spójność, skuteczność i efektywność oddziaływań przed rozpoczęciem procesu formowania przemian (np. interwencji publicznej), ewaluacja on-going – prowadzona na bieżąco podczas procesu formowania przemian i wpływająca na optymalizację oddziaływań, ewaluacja mid-term – przeprowadzana w połowie okresu oddziaływań z wartościowaniem dotychczasowego wpływu na procesu, ewaluacja ad hoc – przeprowadzana w sytuacji wystąpienia zjawisk nieplanowanych, mająca na celu szybkie przeciwdziałanie zaistniałym problemom, ewaluacja ex post – podsumowująca po zakończeniu procesu, oceniająca skutki oddziaływań (interwencji) najczęściej wg kryteriów: skuteczności, efektywności, użyteczności i trwałości.
ze względu na usytowanie ewaluatora:
ewaluacja wewnętrzna – przeprowadzana przez ewaluatora funkcjonującego w ramach instytucji odpowiedzialnej za realizację interwencji publicznej, z wykorzystaniem zasobów wewnętrznych, ewaluacja zewnętrzna – przeprowadzana przez ewaluatorów funkcjonujących poza instytucją odpowiedzialną za realizację interwencji publicznej (ewaluatorów zewnętrznych), ewaluacja hybrydowa – przeprowadzana jest niezależnie przez ewaluatora wewnętrznego oraz ewaluatora zewnętrznego.
ze względu na zasięg problematyki:
ewaluacja programowa – dotycząca jednego programu operacyjnego, ewaluacja horyzontalna – dotycząca wybranych zagadnień w przekroju kilku programów.
ze względu na akcenty badawcze:
ewaluacja oparta na teorii interwencji – koncentrująca się na tym, w jaki sposób i dlaczego dana interwencja osiągnie lub osiągnęła określone rezultaty, ewaluacja kontrfaktyczna – polegająca na ocenie efektów interwencji publicznej poprzez ich porównanie z sytuacją, która zaistniałaby w przypadku braku interwencji lub w przypadku realizacji innej interwencji, ewaluacja procesu – koncentrująca się na działaniach, które mają miejsce w trakcie wdrażania interwencji publicznej, skupiająca się na sposobach jej wdrażania i funkcjonowania, ewaluacja wpływu – koncentrująca się na efektach, oceniająca zmiany (zarówno zamierzone jak i niezamierzone) będące wynikiem realizacji interwencji publicznejWytyczne w zakresie ewaluacji polityki spójności na lata 2014-2020. Minister Inwestycji i Rozwoju, Warszawa: 10 października 2018.
Rodzaje Ewaluacja demokratyczna – to proces badawczy polegający na ocenianiu wartościującym, w którym sami respondenci (a nie eksperci) wytyczają normy uznawane za wartości w danym kręgu kulturowo-społecznym. Ustalane w ten sposób standardy ewaluatywne są na danym etapie rozwojowym charakterystyczne dla konkretnej populacji. Ocenianie wartościujące jest strategią odmienną od oceniania sprawdzającego osiągany poziom, a także pełniejszą od oceniania różnicującego grupy, umożliwia bowiem wyznaczenie tego, czy mierzone cechy, właściwości, zjawiska lub procesy są rzeczywistymi wartościami uznawanymi przez kwalifikowaną większość. Społeczny proces ewaluacji ma większą rangę niż opiniowanie autorytarne, pasujące raczej do decyzyjnej fazy zatwierdzania, zwanej walidacją.
Ewaluacja splotowa – polega na ocenianiu wartości zjawiska lub cech podmiotu uwikłanego w naturalnym kontekście procesów społecznych. Na wypadkową wartość składają się różne komponenty, przy czym bierze się pod uwagę zarówno czynniki korzystne, jak i niekorzystne, osłabiające wynik końcowy. Istotą ewaluacji splotowej jest interpretacja na kilku poziomach rozwarstwienia zmiennych po to, ażeby trafnie orzekać o tym, co było katalizatorem, a co hamulcem przemian. Ważne przy tym jest rozsądzanie, czy zaobserwowana przemiana cech jest korzystna/niekorzystna, czy może raczej jest typowym zjawiskiem w procesie rozwojowym, kiedy to następuje poprawa jednego komponentu wartości kosztem innego.
Proces ewaluacji Etapy procesu ewaluacji Określenie tematu ewaluacji – co będzie podlegało ewaluacji? Postawienie pytań kluczowych – pytań, na które szuka się odpowiedzi Sformułowanie kryteriów wartościowania i obowiązujących w organizacji standardów Ustalenie jakie zagadnienia należy przeanalizować w celu udzielenia odpowiedzi na pytania ewaluacyjne Zidentyfikowanie źródeł potrzebnych informacji – np. dobór próby przy badaniu ankietowym, gdzie znaleźć konieczne dokumenty itp. Wybranie metod pracy – badanie ankietowe, wywiady, obserwacja, analiza dokumentów Opracowanie narzędzi – formularze ankiet, wytyczne do wywiadów Przygotowanie harmonogramu ewaluacji oraz narzędzia monitoringu (sprawdzenie czy otrzymuje się potrzebne informacje)
Ewaluacja to systematyczne zbieranie informacji – już na etapie planowania powinno się określić jak będzie wyglądała ewaluacja działań: cele ewaluacji sposoby zbierania informacji terminy cząstkowe odbiorcy ewaluacji.
Dzięki temu, że ewaluacja jest systematycznym zbieraniem informacji, pozwala na ulepszanie podejmowanych działań jeszcze w trakcie ich realizacji. Jeśli na przykład podczas trwania programu okazuje się, że do osiągnięcia zamierzonych celów zostały użyte niewłaściwe środki, innymi słowy – są to działania nieadekwatne, które nie prowadzą do osiągnięcia celu – można podjąć decyzję o zmianie podejmowanych działań. Ewaluacja wiąże się wobec tego z oszczędnością pieniędzy, czasu i zasobów ludzkich.
Na osobie, która podejmuje się ewaluacji, ciąży moralny obowiązek zachowania obiektywizmu i etycznego podejścia do procesu ewaluacji. Bez tego cały proces przestaje być ewaluacją, a może przerodzić się w próbę manipulacji lub osiągania prywatnych celów.
Ewaluacja to umiejętność zbierania i analizowania takich informacji, by odpowiedzieć na pytanie, czy zostały osiągnięte zamierzone cele. Jeżeli celem działań ma być propagowanie zdrowego trybu życia, to przydatną informacją może być liczba zorganizowanych szkoleń pierwszej pomocy, wydanych poradników medycznych czy wyniki konkurs dotyczącego pomocy przedmedycznej.
Nie każda informacja będzie przydatna dla potrzeb ewaluacji (szum informacyjny), dlatego tak ważne jest pytanie o cele. Nie ma informacji dobrych czy złych – są tylko przydatne i nie dla danego procesu ewaluacji. Aby samo zbieranie informacji/danych było przeprowadzone prawidłowo, już na etapie planowania należy zadecydować, czego i w którym momencie chcemy się dowiedzieć. Należy także ustalić mierniki osiągnięcia celów.
Dane dzieli się na dwie grupy: jakościowe i ilościowe. Liczba uzyskanych punktów podczas testu sprawdzającego, średnia wieku uczestników kursu czy liczba wydanych poradników to dane ilościowe. Zaś kwalifikacje pracowników czy stosunki międzyludzkie panujące w danej grupie to typowe dane jakościowe. Najczęściej oba rodzaje tych informacji są potrzebne do dokonania rzetelnej ewaluacji.
Jest wiele sposobów zbierania informacji, w tym: ankieta, wywiad, obserwacja i analiza dokumentów. Każda z nich może odkryć przed nami różne aspekty tego samego przedsięwzięcia. Kryteria ewaluacji trafność – to stopień, w jakim cele przedsięwzięcia są zgodne z wymaganiami beneficjenta, potrzebami lokalnymi oraz politykami i priorytetami partnerów i donorów; skuteczność – to stopień, w jakim przedsięwzięcie osiągnęło (lub ma osiągnąć) cele – przy uwzględnieniu stopnia ważności tych celów; efektywność – to ocena właściwego przekształcenia zasobów/środków (funduszy, ludzi, czasu, itd.) w efekty; użyteczność – to wszystkie konsekwencje wdrożenia przedsięwzięcia – krótko- i długoterminowe, bezpośrednie i pośrednie, pozytywne i negatywne, przewidziane i nieprzewidziane; trwałość – to stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu.
Wskaźniki ewaluacyjne wskaźniki zasobów, wskaźniki produktu, wskaźniki wyników, wskaźniki oddziaływaniaBohdan Turowski, Marcin Zawicki, Funkcje, etapy, metody i narzędzia ewaluacji, [w:] Ewaluacja funduszy strukturalnych – perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007..
Metody stosowane w ewaluacji Metoda badania dokumentów, Metody analizy i krytyki piśmiennictwa, Metody symulacji komputerowej, Metody obserwacyjneKorneliusz Pylak, Podręcznik ewaluacji projektów infrastrukturalnych, Warszawa 2009., Metody sondażu diagnostycznegoMonika Stachowiak-Kudła, Wartościowanie decyzji publicznych metodą konsultacji z interesariuszami, [w:] Prawo administracyjne w ujęciu interdyscyplinarnym, pod red. Bartłomieja Opalińskiego, Oficyna Wydawnicza Uczelni Łazarskiego, Warszawa 2014, s. 51-68., Metoda indywidualnych przypadków, Metody analizy i konstrukcji logicznej.
Szczególne zastosowania ewaluacji w Polsce W niektórych branżach określono szczególne ramy ewaluacji: w oświacie – ocena przydatności i skuteczności podejmowanych działań dydaktycznych, wychowawczych i opiekuńczych w odniesieniu do założonych celów, służącą doskonaleniu tych działań (Rozporządzenie MENiS z 23 kwietnia 2004). W nowszym Rozporządzeniu MEN (z 7 października 2009) definicja ogólniejsza: Ewaluacja – praktyczne badanie oceniające przeprowadzane w szkole lub placówce, w następnych rozporządzeniach MEN (z 27 sierpnia 2015 i 25 sierpnia 2017 r.) ewaluacja to proces gromadzenia, analizowania i komunikowania informacji na temat wartości działań podejmowanych przez szkołę lub placówkę w szkolnictwie wyższym – jest środkiem formułowania opinii na podstawie wskaźników (jakościowych lub ilościowych) uznanych za ważne i wiarygodne. Za pomocą tych wskaźników porównuje się faktyczne efekty programu kształcenia z oczekiwanymi. Jest to też droga do urzeczywistnienia realizacji w szkołach wyższych zarządzania publicznego bazującego na dowodach (evidence based policy), podnosząc tym samym skuteczność ich funkcjonowania