Laadullinen arviointitutkimus
Esa Jokinen (viittausohje)
Arviointitutkimus (engl. evaluation tai evaluation research) on soveltavan tutkimuksen piiriin kuuluva käsite. Se kokoaa yhteen erilaisia pyrkimyksiä selvittää, millaisia vaikutuksia toteutetuilla ammatillisilla, poliittisilla tai hallinnollisilla toimenpiteillä, muutoksilla, hankkeilla tai ohjelmilla on. Muutokset voivat sisältää erityisiä taloudellisia satsauksia jonkin kohderyhmän julkisiin palveluihin tai tukiin, mutta ne voivat olla myös toimintamuotojen sisäistä kehittämistä – tai yhdistelmä molempia.
Arviointitutkimus on tyypillisesti tutkimusaineistoon pohjaavan näytön kokoamista hyödynsaajien näkökulmasta, mutta myös monet muut näkökulmat voivat olla tärkeitä. Tästä voidaan käyttää yleisnimitystä ohjelma-arviointi (engl. program evaluation) erotuksena sellaisista asiantuntija-arvioista, joissa asiantuntija antaa lausunnon jostakin omaan asiantuntemusalaansa liittyvästä aiheesta, mallista tai käytännöstä ilman, että on tutkinut sen vaikutuksia. Arviointitutkimus ei sijoitu minkään yhden tieteenalan piiriin, ja sitä onkin hahmotettava osana tieteellisen tiedon, niin sanotun käytäntötiedon ja kehittämisen haastavaa kokonaiskenttää.
Yleensä arviointitutkimus kytkeytyy nimenomaan julkisten ja hyvinvointipalvelujen kenttään ja tavoitteeseen kontrolloida julkisten resurssien käyttöä suhteessa yhteiskunnalliseen hyötyyn. Arviointitutkimuksen periaatteita voidaan kuitenkin soveltaa melkein minkä tahansa organisoituneen toiminnan tutkimiseen. Siihen liittyy soveltavaan tutkimukseen olennaisesti kuuluva eettisen reflektoinnin vaatimus. Arviointitutkijan on tehtävä rajauksensa selvästi näkyväksi ja pidettävä silmällä tulostensa tulkitsemista ja hyödyntämistä siinä määrin kuin se on kulloinkin mahdollista (ks. Cousins 2004).
Mitä arviointitutkimus on?
Yleisesti käytetyn Scrivenin (1991, 139) määritelmän mukaan "evaluaatio on jonkin asian tai toiminnan arvon (englanniksi merit, worth, and value) määrittämistä. Arvottamisen tulee perustua systemaattiseen tiedonkeruuseen, analysointiin ja tulkintaan." Scriveniltä on lähtöisin myös eronteko formatiivisen eli toimintaa kehittävän ja summatiivisen eli toiminnan tuloksia arvioivan tutkimuksen välillä.
Arviointitutkimuksen tarkastelussa voidaan kiinnittää huomiota neljään asiaan: siihen, mitä arvottamisella tarkoitetaan, miten systemaattisuus ymmärretään, mikä on kulloisenkin arvioinnin määritelmän syntytausta ja siihen mitä arviointitutkimus ei ole.
Ensinnäkin arviointitutkimus eroaa muusta tieteellistä tutkimuksesta arvottamispyrkimyksensä vuoksi. Se näyttää olevan ristiriidassa tieteellisen tutkimuksen arvovapauden kanssa (Weber 1909/1949), mutta näin ei ole. Arvottamisella tarkoitetaan sitä, että tutkimustulosten ja tutkimushavaintojen perusteella arviointitutkija esittää näkemyksensä siitä, onko toiminnalla saatu aikaan sellaisia vaikutuksia kuin realistisesti voidaan odottaa. Hän myös tulkitsee aktiivisesti, mitkä seikat ovat keskeisesti määrittäneet näitä vaikutuksia.
Arvottaminen on yhteinen tavoite erilaisissa arviointitutkimuksissa. Systemaattisuuden vaatimuksissa on sen sijaan enemmän vaihtelua. Joidenkin ajattelijoiden mielestä tutkimustietoon perustavassa yhteiskunnassa eri tieteenalojen tutkimukset ovat kiinteä osa päätöksentekojärjestelmää ja tietoa hyödynnetään aktiivisesti hallinnon eri tasoilla (Campbell 1991). Käytännössä tällaisesta ideaalista ollaan kaukana, ja siihen liittyvä keskustelu johtaa helposti umpikujaan. Arviointitutkimuksessa on toki paljon hyötyä, jos siinä voidaan hyödyntää jonkin tieteenalan validoituja – eli päteviksi tunnistettuja ja aiemmin koeteltuja – tutkimusmenetelmiä kuten esimerkiksi kyselypatteristoja, vertailuasetelmia tai laajoja rekisteri- tai otostutkimuksia. Tällaiseen on kuitenkin harvoin mahdollisuuksia. Siksi aineistona hyödynnetään sellaisia menetelmiä, aineistoja ja tutkimuskysymyksiä, jotka ovat toteutettavissa arviointitutkimushankkeen puitteissa. Systemaattisuuden vaatimus toteutuu tällöin vaihtelevasti, mutta olennaista on kyky suhteuttaa käytetty arviointimenetelmä kulloisenkin menetelmällisen viitekehyksen periaatteisiin.
Arvottaminen ja systemaattisuus kytkeytyvät yhteen siten, että voidaan sopia monia erilaisia kriteereitä, joiden mukaan arvottaminen tapahtuu. Laadullisessa arviointitutkimuksessa korostetaan arvottamisen sosiaalisia ja tulkinnallisia ulottuvuuksia. Täsmällisten arviointikriteereiden merkitystä ei vähätellä, mutta niiden ylikorostaminen nähdään tyypillisenä erityisesti taloustieteellisesti orientoituneille asiantuntijapiireille, jotka voivat käyttää merkittävääkin yhteiskunnallista vaikutusvaltaa. Arviointitutkimuksen osalta heidän kiinnostuksensa kohdistuu erityisesti siihen, millainen näyttö on ”riittävää”, jotta voidaan sanoa tietyn intervention onnistuneen (Donaldson 2009). Oletuksena ja edellytyksenä on tällöin mahdollisimman luotettava eli systemaattinen aineisto. Tällaista ”kontrafaktuaalista” (engl. counterfactual) arviointitutkimusta on syytä pitää suppeana menetelmänä monitahoisia vaikutuksia väreilevissä muutoshankkeissa.
Arviointitutkimuksen erilaisten määritelmien ja lähestymistapojen taustalla ovat omat kontekstinsa ja institutionaaliset viitekehyksensä. Scrivenin (1991) määritelmän taustalla on käytännöllinen osallistuminen muun muassa koulutusjärjestelmän kehittämiseen yhdysvaltalaisen yhteiskunnan kilpailukykyhaasteissa, mikä on erilainen konteksti kuin vaikkapa kansanterveyden tai hallinnon kehittäminen nyky-Suomessa. Käytännössä arviointitutkimus on myös monien kansainvälisten organisaatioiden agendalla ja motivoituu niiden taustaintresseistä käsin.
Voi olla hyödyllistä tarkastella myös sitä, mitä arviointitutkimus ei ole. Se ei lähde tutkijan mielenkiinnosta tai intresseistä, vaan sen taustalla on jokin yhteiskunnallinen tai organisatorinen taho, joka arviointitietoa tarvitsee. Tarve ei ole välttämättä konkreettinen, vaan se voi liittyä esimerkiksi siihen, että hankkeen rahoittaja edellyttää hankkeen arviointia.
Arviointitutkimusta ei voida toteuttaa laboratorio-olosuhteissa tai hypoteettisena spekulaationa, vaan se kiinnittyy aina todelliseen toimintaan tai muutospyrkimyksiin. Arviointitutkimus ei kuitenkaan ole myöskään toimintatutkimusta, jossa pyritään aktiivisesti aikaansaamaan muutoksia toimintajärjestelmissä. Arviointitutkimuksessa on kuitenkin toimintatutkimuksen tapaan myös vahvasti mukana vuorovaikutus ja kommunikointi arviointikohteen ja sidosryhmien kanssa.
Arviointitutkija ei pyri olemaan tuomari vaan esittämään näkemyksiä hankkeiden onnistuneisuudesta ja vaikutuksista osana monimutkaista sosiaalista toimintakontekstia. Muutoshankkeen toimijat eivät yleensä itse voi toteuttaa arviointitutkimusta sen vaatiman systemaattisuuden ja menetelmien vuoksi, mutta esimerkiksi itsearvioinnit voivat toimia arviointitutkimuksen aineistona.
Laadullisen arviointitutkimuksen piirteitä
Arviointitutkimuksessa määrällisen ja laadullisen tutkimuksen välinen eronteko ei ole yhtä merkityksellinen kuin yhteiskuntatieteellisessä tutkimuksessa usein. Olennaisinta on arviointijohtopäätösten looginen ja uskottava määrittäminen, jossa voidaan yhtä hyvin hyödyntää niin laadullisia kuin määrällisiäkin havaintoja. Voidaan esimerkiksi havaita, että kehittämishanke on synnyttänyt uudenlaisia palveluja asiakkaille, jolloin hanke on saavuttanut tärkeän asian. Laadullisessa arvioinnissa kysytään, millä tavalla palveluja on kehitetty, ketkä kehitystyöhön ovat osallistuneet ja mikä palveluissa on tarkkaan ottaen uutta. Lisäksi voitaisiin toki laskea uusien palvelujen määriä, mitata asiakastyytyväisyyttä ja niin edelleen.
Arviointitutkimuksen määrällisyys tai laadullisuus voi ilmetä käytettävässä havaintoaineistossa, arviointikriteerien rakentamisessa tai käsityksessä arviointitutkimuksen roolista. Taulukossa 1. on tiivistetty otteiden keskeiset erot.
Määrällinen arviointitutkimus | Laadullinen arviointitutkimus | |
Havaintoaineisto | Eksakti ja riittävän edustava tietopohja käytössä. Rekisterit, tilastot ja kyselyaineistot. | Mikä tahansa materiaali, joka valottaa jotain tärkeää puolta muutoshankkeesta. Huomio on sekä vaikutuksissa että prosesseissa ("kehittämisessä"). |
Arviointikriteerien konstruoiminen | Havaittavat vaikutukset, panos-tuotos -mallit , vertailuryhmien käyttö, tilastollinen merkitsevyystestaus. Tutkijavetoista. | Kriteereitä ei voida täysin päättää ennalta. Realistinen arviointi siitä, mikä toimii kenelle ja missä kontekstissa. Sidosryhmillä on tässä roolinsa tutkijan rinnalla. |
Käsitys arviointitutkimuksen roolista | Arviointitutkimus on tiedon tiivistämistä ja pyrkii varmuuden lisäämiseen. Merkitys perustuu menetelmien tieteellisyyteen ja faktojen "vastaansanomattomuuteen". | Arviointitutkimus on ensisijaisesti vuorovaikutteista toimintaa, joka lisää ymmärrystä muutoshankkeesta. Merkitys perustuu uskottavaan näkemykseen ja neuvotteluun, mutta aukotonta yksimielisyyttä ei tavoitella. |
Taulukon 1. määrälliset ja laadulliset elementit menevät osin päällekkäin ja ne voivat toteutua tietyssä arviointitutkimuksessa eri painotuksin. Monessa mielessä määrällinen ja laadullinen arviointitutkimus ovat jatkumo, jossa toinen täydentää toista, ja jossa joudutaan tekemään valintoja ja kompromisseja eri tutkimusotteiden välillä.
Käsite vaikuttavuus on hankala laadullisessa arviointitutkimuksessa, koska sillä tarkoitetaan yleensä mahdollisimman tarkasti määriteltävää panosten ja tulosten välistä suhdetta muutoshankkeessa. Tällöin käytetään yleensä tilastollisia mallinnusmenetelmiä, jotka puolestaan edellyttävät määrällistä tietopohjaa. Vaikuttavuuden arviointi kohdistuu yleensä suhteellisen helposti ja yhdenmukaisesti mitattaviin seikkoihin. Yksi esimerkki tällaisesta on työvoimapalvelujen vaikuttavuuden mittaaminen yksilötason työllistymisellä. Laajemmassa mielessä vaikuttavuudella tarkoitetaan kuitenkin myös pidemmän aikavälin vaikeammin mitattavia muutoksia, joiden arvioinnissa tarvitaan laadullista päättelyä ja yhteisen näkemyksen rakentamista arviointitutkijan ja hankkeen keskeisten sidosryhmien kesken.
Laadullisesti orientoituneen arviointitutkimuksen ytimeen voidaan katsoa kuuluvan teorialähtöisiä lähestymistapoja, joilla pyritään vastaamaan vaikuttavuusprosessin "mustan laatikon" kysymykseen siitä, miten hankkeen vaikutukset tarkkaan ottaen syntyvät. Realistisessa arviointitutkimuksessa halutaan selvittää, mikä (toimenpide) toimii, kenelle ja missä kontekstissa. Tuloksena on tarkempi käsitys vaikutuksia tuottavista mekanismeista, joiden perusteella voidaan tehdä yhtä hanketta yleisempiä johtopäätöksiä. (Pawson & Tilley 1997). Muutosteoreettisessa arviointitutkimuksessa suurempi painoarvo annetaan hankkeen toteuttajien ja sidosryhmien "muutosteorioille" eli käsityksille muutoksen vaikutusmekanismeista ja niistä toimenpiteistä, joilla niihin voidaan päästä käsiksi (Weiss 1995, Chen 2012, Mayne 2011). Viimeksi mainittu on realistista arviointitutkimusta toimivampi lähestymistapa monimutkaisiin ja monitoimijaisiin muutoshankkeisiin. Siinä myös lähdetään tarkastelemaan pikemminkin muutoshankkeen erityisluonnetta ja ainutlaatuisuutta kuin muutoksen yleispäteviä piirteitä. Aineistoksi sopivat hyvin esimerkiksi haastattelut tai työpajat.
Laadullisessa arviointitutkimuksessa voidaan soveltaa melko rikkaasti erilaisia menetelmiä kuten sisällönanalyysiä, diskurssianalyysiä, narratiivisia, etnografisia ja osallistavia menetelmiä. Myös teoreettisen ajattelun rooli voisi olla suurempikin kuin usein nähdään, sillä viime kädessä arviointitutkimuksen voidaan ajatella tarkastelevan sitä, miten tutkittua ja teoreettista tietoa sovelletaan laajaan ongelmanratkaisuun. Nyky-yhteiskunnassa arviointitutkimuksen ansiona voidaan pitää jo sitä, että se pyrkii näkemään yleisen ja idealistisen "hanke- ja projektipuheen" lävitse siihen mitä hankkeilla tosiasiassa saadaan aikaan.
Arviointitutkimuksen prosessi
Arviointitutkimus voidaan hahmottaa normaalina tutkimusprosessina, jonka eri vaiheissa tehdään erilaisia valintoja esimerkiksi aineiston ja tutkimuksen tavoitteiden suhteen. Arviointinäkemyksen ja johtopäätösten muodostuminen tapahtuu laadullisen tutkimuksen spiraalina, jossa viitekehys rakentuu kirjallisuuteen ja empiirisiin havaintoihin perehtymisen rinnalla. Arviointitutkimuksessa kirjallisuudella tarkoitetaan paitsi tutkimuskirjallisuutta, myös esimerkiksi eritasoisia hallinnon asiakirjoja, strategioita ja aiempia selvityksiä, jotka vaikuttavat arviointiin olennaisesti. Siksi arviointiprosessi syntyy jatkuvien ”miniarviointien” ketjuna. joka lopulta laajentaa paitsi arviointitutkijan myös hankkeen toteuttajien ja sidosryhmien ymmärrystä hankkeesta.