Po seznámení s výzvou 82 v prvním blogu bychom s vámi rádi sdíleli naše zkušenosti z kontrafaktuálních evaluací (CIE) v projektech této výzvy. Vyplynuly z nich z našeho pohledu zajímavé situace, ze kterých se dají vyvodit doporučení, co se při evaluacích vyplácí a čeho je naopak lepší se vyvarovat. Věříme, že budou přínosné také pro vás, ať už evaluátory nebo ostatní, kteří zatím s výzkumem nemáte tolik zkušeností. Toto je druhý blog z třídílné série, která se zaměřuje na výzvu 82 a její evaluaci, třetí díl se pak věnuje podrobnějšímu popisu dvou úspěšných projektů.
Projekty byly tematicky pestré a podoba evaluace vždy trochu jiná. V deseti případových studiích jsme však našli společné prvky, na které je při plánování kontrafaktuální evaluace dobré myslet. Pro lepší představu jsme je doplnili o konkrétní příklady z praxe.
Stálost intervence a prostředí
Praxe evaluací nám potvrdila jeden ze základních předpokladů CIE a to, že evaluovaná intervence musí být po dobu výzkumu stálá a neměl by jí realizátor měnit. Jakékoli změny pak ubírají na validitě výzkumu a možnostech interpretace dat. Pokud například vyhodnocujeme intervenci před a po a projekt se výrazněji změní, nesrovnávají se stejné podmínky.
Dobrým příkladem je prostředí věznic, které je velmi stálé a svým způsobem pro kvaziexperiment optimální. Naopak oblast sociálních služeb pro seniory se ukázala jako poměrně proměnlivá, například kvůli fluktuaci zaměstnanců, nebo kvůli změnám ve financování služby.
CIE provádějte tam, kde je intervence stálá s nejméně změnami.
Nutný dostatečný počet lidí z KS a IS
Další ze základních předpokladů je dostatečně velká intervenční (IS) a kontrolní/srovnávací skupina (KS), což je důležité pro prokázání statistické významnosti změny. U všech projektů se ukázalo, že naplánované počty zapojených osob do evaluace byly optimističtější než samotná praxe, kdy se z různých důvodů nepodařilo takové množství naplnit.
Příkladem může být projekt, který se věnoval seniorům s Alzheimerovou chorobou. Původně bylo plánováno zapojení 100 až 150 lidí, kteří se rozdělí do IS a KS. Výzkum nakonec pracoval s 44 lidmi v IS a 14 lidmi v KS. Práce s těmito čísly tak byla velmi hraniční pro získání statisticky významných výsledků. Důvody úbytku respondentů byly různé, od dramatického zhoršování zdravotního stavu až po úpravu původní intervence.
Plánujte výzkum tak, aby jste měli v IS i KS více lidí, než je nezbytné minimum pro evaluaci. V praxi budou počty lidí v obou skupinách pravděpodobně z různých důvodů nižší než jste původně očekávávali.
Sběr dat neevaluátory
Pro sběr primárních kvantitativních dat jsou často potřeba i neevaluáotři, tedy lidé z praxe. Může jít například o sociální a terénní pracovníky, kteří jsou v přímém kontaktu se zkoumanou cílovou skupinou, mají k ní dobrý přístup a některá data mohou sami vyhodnotit díky své odbornosti. Tento sběr dat má uvedené výhody, bohužel má i své nevýhody.
Evaluace jednoho projektu řešila problém právě se sociálními pracovníky, kteří sbírali nevalidní data. Důvodů bylo více, nerozuměli zcela smyslu výzkumu a sběru dat, evaluace pro ně nebyla priorita a byla jim vlastně nařízena, nebo na kvalitní sběr dat neměli při své práci prostě pořádně čas. Výsledkem pak byla nepřesná data, která byla buď špatně sebrána nebo částečně domyšlena. Projekt situaci nakonec zvládl a napravil, ale teprve až když tento problém zjistil z nevěrohodných dat.
Sběr dat neevaluátory má určitě smysl, dejte však vždy pozor, aby rozuměli tomu, co sbírají, k čemu je evaluace a jak mohou výsledky zpětně využít ve své praxi.
Kvantitativní výzkum funguje dobře s kvalitativním
U všech projektů s CIE tvořil základ kvantitativní výzkum, tedy tvrdá čísla, která dokládala kauzální změnu. Ovšem u všech byl kvantitativní výzkum doplněn kvalitativním. Evaluace tak dávaly nejen informaci k jak velké změně došlo, ale také proč tomu tak bylo a co změna vlastně znamená. Obecně je u CIE důležitý kvalitativní výzkum, protože:
- můžete dobře a komplexně prozkoumat situaci lidí,
- můžete dobře porozumět datům,
- když data neukazují posun, budete vědět proč.
U vězeňského projektu došlo u vězňů ke zhoršení ve vnímání autorit, což bylo vzhledem k terapeutické práci s nimi poměrně překvapivé, ale díky kvalitativnímu výzkumu se našlo vysvětlení. Vězni si dokázali díky programu lépe uvědomovat svou životní situaci včetně toho, že s autoritami opravdu mají dlouhodobě problém. U stejného projektu doplňoval kvalitativní výzkum ten kvantitativní ještě v jednom případě. V průběhu projektu evaluace ukázala, že efekty terapeutického programu jsou napříč věznicemi trochu rozdílné. Kvalitativní evaluace zjistila rozdíly mezi jednotlivými skupinami, které nebyly z dat úplně zřejmé. Díky tomuto zjištění tak projekt mnohem lépe věděl, jak program v praxi funguje.
Pokud plánujete dělat rigorózní kvantitativní evaluaci, určitě nezapomeňte hned od začátku plánovat i kvalitativní výzkum. Dozvíte se tak více o vašem řešení, kontextu, ve kterém funguje, a lépe porozumíte tomu, co změna znamená.
Propojenost evaluace s věcnou částí
Pro úspěšnou evaluaci a dobrou práci s jejími výsledky je zcela zásadní propojenost výzkumu a věcné části projektu. Ideální je, když se tvoří věcná náplň a evaluační plán společně. Projekt i výzkum se mohou sladit, tvoří jeden komplexní celek, evaluátoři dobře rozumí věcné podstatě projektu a věcná část výsledkům evaluace, které umí správně využít.
Jeden z projektů se zaměřoval na vyhodnocení a systémové ukotvení preventivních programů pro rodiny s dětmi na Ostravsku. Kvalitní evaluační výsledky byly pro něj zásadní. Samotný výzkum a prokazování kauzality v této oblasti nebyly snadné. Bylo proto důležité nastavit evaluaci, která co nejlépe vyhodnotí změny a zároveň, aby nastavení preventivních programů a služeb bylo takové, že umožní jejich vyhodnocení. Věcná část projektu a evaluace se tvořily společně, aby fungovaly jako jeden celek. Výsledkem pak byly opravdu systémové změny v oblasti prevence na Ostravsku.
Tvořte projekt i evaluační plán společně.
Motivace realizátora
Jako důležitý a vlastně zcela zásadní faktor se ukázala samotná motivace realizátora projekt evaluovat. Ano, robustní evaluace byla povinností všech projektů, ale její pojetí a práce s ní se napříč projekty lišila. Některé projekty pojaly evaluaci částečně formálně, aby splnily požadavek výzvy. Většina s ní však pracoval správně.
Dobrým příkladem je projekt, který ověřoval účinnost poměrně revoluční metody práce s dětmi s autismem. Pro přijetí metody odbornou společností ji bylo nutné řádně ověřit a jelikož se jedná o téma, které patří velkou částí do oblasti zdravotnictví, nároky na ověření podléhaly rigorózním lékařským standardům. Evaluace toto reflektovala a přinesla velmi zajímavé, statisticky významné výsledky, které ověřily efekty této metody u dětí s autismem. Takto provedená studie je uznávaná i v mezinárodním měřítku.
Zkuste se před projektem dobře zamyslet, k čemu vám může být evaluace užitečná a využijte ji naplno.
Evaluace a advokační práce spolu velmi dobře fungují
Ano, tyto dvě složky inovačních projektů spolu opravdu dobře fungují, ale… Podmínkou je opět motivace realizátora. Musí mít dobře promyšlenou advokační strategii a vědět, jaký typ výsledků potřebuje a pro koho. Evaluace musí být také dobře provázaná s věcnou částí projektu. Když má realizátor projektu o evaluaci přehled a výsledkům rozumí, může je pak dobře využít. Pokud jsou tyto dvě podmínky splněny, je evaluace a její výsledky výborným nástrojem pro advokační činnost.
Jak pomohla evaluace v advokační práci, si můžete poslechnout v našem podcastu o projektu organizace Volonté:
Plánujte od začátku advokační práci a evaluaci společně.
Jak prokazovat kauzalitu bez CIE
Prokazovat kauzalitu bez možnosti srovnání s kontrolní skupinou je vždy obtížné. Evaluační metody, které nepracují s kontrafaktuálem, ale s kauzalitou ano, jsou například komparativní případové studie nebo process tracing. Už během konzultací projektových záměrů se nekontrafaktuální metody ukazovaly často jako nedostatečné a špatně zachycující změnu. Toto není kritika těchto přístupů, jen v kombinaci s požadavky výzvy a tematickým zaměřením projektů byly v mnoha případech prostě nevyhovující.
Jeden projekt, který neměl kontrafaktuální design evaluace, přece jen ve výzvě byl. Pracoval právě s komparativní případovou studií a s teorií změny, kterou ověřoval. Teorie změny byla hodně propojena s teoretickými koncepty a více než kauzalita samotné intervence se ověřovaly teorie v praxi. Projekt pracoval s kauzalitou tedy trochu jinak než ostatní. Detailní studie evaluace tohoto projektu vyjde v evaluačním časopise EVALTEP v červnu 2024.
Pokud chcete ověřovat kauzální mechanismy, doporučujeme nastavit kontrafaktuální design evaluace. Ověřování kauzality bez kontrafaktuálních evaluací je vhodné jen pro minimum projektů a intervencí.
Zdroje:
Evaluační zprávy projektů výzvy 82
MAZÁK, Jaromír. Process tracing: zkoumání kauzality v případových studiích. Sociología. 2017, 55-80. Sociología. Online: Mazak: process tracing.pdf
Obrázek: Evaluační zpráva projektu
