Kyselyaineiston dokumentointi ja raportointi

Johdanto
Aineiston analyysia edeltävät asiat
Analyysivaiheessa suositeltavia toimintatapoja
Tulosten tiivistäminen johtopäätöksiksi

Johdanto

Tähän artikkeliin on tiivistetty joukko kyselytutkimuksen raportointiin liittyviä vinkkejä ja näkökohtia. Ohjeet on laadittu erityisesti yliopistojen seminaari- ja opinnäytetöiden kirjoittajia silmällä pitäen. Osa annettavista suosituksista koskee lähinnä postikyselyaineistoja, mutta linjaukset soveltuvat pääsääntöisesti muunkin tyyppisten kyselytutkimusten raportointiin. Ote on aineistolähtöinen keskittyen aineistojen ja tulosten tarkoituksenmukaiseen esittämistapaan.

Sosiaalitieteiden kvantitatiivisten tutkimustulosten esittämisestä löytyy käytännönläheisiä johdattavia tekstejä myös alan kotimaisista oppikirjoista (esim. Alkula ym. 1993). Tutkimuksen ja tutkimustekstin kokonaisrakenteeseen sekä esimerkiksi viittaustekniikkoihin pureutuvia oppaita on tarjolla vielä runsaammin eri tieteenaloilla.

Aineiston analyysia edeltävät asiat

Aineistojen valinta ja esittely

Opinnäytteensä tai raporttinsa alkupuolella tutkijan tulee perustella aineistojensa valinta tutkimusongelmiin liittyvine rajauksineen. Miksi tarvittiin ja valittiin juuri tämä tai nämä aineistot? Olisiko aikaisempia aineistoja voitu hyödyntää? Ennen tulosten kuvailua ja analysointia tutkijan tulee niin ikään esitellä ainakin pääpiirteittäin aineistojen rakenne ja sisältö, keruumenetelmät sekä laatu mahdollisine puutteineen.

On yhä tyypillistä, että kyselyjä hyödyntävien tutkimusten tulokset perustuvat kulloistakin tutkimusta varten koottuun uuteen aineistoon. Tässä tapauksessa tutkijan velvollisuutena on esittää lukijalle tiiviisti mutta kattavasti aineiston keruuseen ja laatuun liittyvät olennaiset seikat. Mallia voi ottaa oman alan tutkimuksista, jotka perustuvat kyselyaineistoihin.

Jos taas tutkimus perustuu jo olemassa olevaan aineistoon, joka on dokumentoitu riittävällä tarkkuudella jossakin aikaisemmassa tutkimuksessa tai esimerkiksi Yhteiskuntatieteellisen tietoarkiston tietokannoissa, voi aineiston dokumentoinnin pääosin hoitaa viittaamalla muista lähteistä löytyvään informaatioon. Tällöinkin aineistosta tulee esitellä ydinseikat kuten koko, kattavuus ja keruuajankohta, keskeiset laatuun vaikuttavat tekijät, sekä kenen keräämä aineisto alun perin on. Tietoarkisto antaa kaikille arkistoimilleen aineistoille malliviittaustiedon.

Vaikka kyse olisi uudesta aineistosta, ei tutkimuksen varsinaisessa leipätekstissä pidä esitellä kuin olennaisimmat aineistoasiat. Yleensä ne kuvataan erillisessä tekstin osassa mutta tarkkaa sääntöä sijainnille ei ole. Usein on järkevää laatia aineiston keruusta ja edustavuustarkasteluista erillinen liite, johon on helppo viitata asiaa käsittelevästä leipätekstistä. Jotkin yleiset aineistoon liittyvät asiat, kuten suunnitteluun osallistuneet henkilöt ja aineistonkeruun rahoittajatahot, voi mainita jo tutkimuksen alussa, esimerkiksi esipuheessa.

Uuden kyselyaineiston keränneessä tutkimuksessa on suositeltavaa esitellä aineistosta ainakin seuraavan muistilistan seikat. Mallia kannattaa ottaa oman alan tutkimusten aineistonesittelyosista sekä tietoarkiston aineistodokumentoinneista. Niihin perehtyminen antaa yksityiskohtaista informaatiota esiteltävien asioiden tietosisällöstä.

KYSELYAINEISTON DOKUMENTOINNIN MUISTILISTA

• kuka/ketkä olivat vastuussa aineiston suunnittelusta ja ketkä muut osallistuivat siihen
• aineistonkeruun rahoitus
• tutkimusasetelma (yleensä ns. poikkileikkausaineisto; jos muu, erittele)
• aineistotyypin spesifiointi (esim. posti-, puhelin-, käynti- tai verkkokysely)
• aineistoon mahdollisesti liittyvät osa-aineistot
• aineiston kerääjä (tutkija tai tutkimushanke itse, ainelaitos, tutkimuslaitos tms.) ja keruussa avustaneet tahot
• aineiston perusjoukko (esim. kaikki 18 vuotta täyttäneet suomalaiset)
• otoksen tai näytteen muodostamisperiaatteet (esim. tasaväliseen poimintaan perustunut yksinkertainen satunnaisotanta nimiluettelosta)
• otoksen tai näytteen koko (mahdollisesti eriyttäen brutto- ja netto-otos)
• otoksen tai näytteen alueellinen kattavuus ja edustavuus
• aineistonkeruun ajankohta ja (tarvittaessa) kenttätyön ohjeistus
• muistutuskierrosten ajankohta ja vaikuttavuus
• tiedonkeruun muut täsmennykset

Esimerkki ensikäytössä olleen Tiedebarometri 2007 -aineiston (FSD2294) esittelystä raportissa.

Esimerkki jatkokäytössä olleen Eurobarometri 65.1, helmi-maaliskuu 2006 -aineiston (FSD2259) esittelystä artikkelissa.

Otoksen tai näytteen edustavuus ja vastausprosentti

Kyselyaineistoja käyttävän on suotavaa viitata ainakin oman tieteenalan keskusteluun käytössä olevasta aineistotyypistä. Erityisesti kyselyaineistoihin liittyy monia mittaamisen validiteettiin ja tulosten reliabiliteettiin liittyviä kysymyksiä.

Tutkimuksen alkuun sijoittuva aineistojen esittely on harvoin oikea paikka kyselyn yksittäisten validiteetti- ja reliabiliteettikysymysten pohdinnalle. Aluksi aineiston rakenne ja laatu on hyvä kuvailla yleisesti. Lisäksi on tarpeellista arvioida uuden aineiston edustavuutta suhteessa perusjoukkoon. Arviointitarve koskee myös kyselymenetelmään perustuvia ns. kokonaistutkimuksia, joissa tuskin koskaan saavutetaan täydellistä vastausprosenttia (esim. tietyille viranhaltijoille tai luottamushenkilöille suunnattu kysely). Edustavuuden tarkastelu on useimmiten mahdollista nivoa luontevasti aineistonkeruun kronologiseen esittelyyn.

Otokseen tai näytteeseen pohjautuvien tulosten yleistettävyyttä koskeva aineiston edustavuuden arviointi voidaan periaatteessa jakaa ainakin kolmeen osaan: otoksen tai näytteen valmisteluun, vastausprosentin määrittämiseen sekä aineiston sosiodemografisen edustavuuden tarkasteluun.

Aluksi on paikallaan esitellä ja arvioida otoksen tai näytteen kokoa sekä muuta suunnitelmien mukaista kattavuutta. Miksi päädyttiin tämän kokoiseen otokseen? Käytettiinkö apuna tilastotieteellisesti vankkaa suunnittelua otoskoon määrittämiseksi ja/tai miten pyrittiin varmistamaan tutkimuksen kannalta tärkeisiin analyysiryhmiin kuuluvien riittävä määrä aineistossa? Harkittiinko muita otantamenetelmiä ja miksi päädyttiin juuri käytössä olleeseen menetelmään?

Tämän jälkeen on loogista siirtyä kuvaamaan aineistokeruun määräpäiviä ja keruutyön etenemistä. Tämän pohjalta voidaan lopulta laskea kyselyn vastausprosentti. Huomattakoon, että kaikki olennaiset lähetysajankohdat, muut tärkeät päivämäärät ja aineistonkeruun etenemistä koskevat tiedot on syytä tallentaa systemaattisesti jo silloin, kun ne vielä ovat tuoreessa muistissa. Käytäntö osoittaa, että näiden asioiden selvittäminen jälkikäteen on erittäin hankalaa.

Kyselyaineiston keruun edettyä loppuun saadaan tieto palautettujen lomakkeiden määrästä sekä usein myös siitä, keitä otokseen kuuluvia henkilöitä ei syystä tai toisesta tavoitettu lainkaan. Postikyselyssä tutkija voi yrittää päätellä kadon syitä myös palautuneista lähetyskirjekuorista, jos niihin on merkitty tavoittamatta jättämisen syy.

Vastausprosentin laskemiseksi tutkijan tulee tietää tarkkaan, kuinka monta havaintoyksikköä ns. netto-otokseen lopulta kuuluu. Jos otos on poimittu esimerkiksi väestörekisteristä, keruuhetkellä ns. brutto-otokseen on saattanut kuulua joita kuita kuolleiksi ilmoitettuja, pysyvästi laitoksessa olevia tai pitkäaikaisesti ulkomailla oleskelevia, joilta ei ole mahdollista kerätä tutkimusaineistoa. Tällaisten tapausten määrä voidaan vähentää brutto-otoksesta, jolloin päädytään netto-otoksen kokoon. Tutkija voi myös yrittää selvittää netto-otokseen kuuluvien tavoittamattomien henkilöiden uusia osoitteita ja koettaa tavoittaa heitä uudelleen.

Kyselyn vastausprosentti on joka tapauksessa tarkoituksenmukaisinta laskea siten, että lopulliseen aineistotiedostoon mukaan luettavien henkilöiden määrä (n) suhteutetaan netto-otoksen (N) kokoon. Kaavana toimii n/N*100. Palautusprosentti voi olla hieman suurempi, koska siihen voidaan hyvällä syyllä lukea mukaan kaikki lomakkeensa palauttaneet vastaajat. Postikyselyissä saadaan vain harvoin luotettavaa tietoa tavoittamatta tai vastaamatta jättämisen syistä. Sitä vastoin käyntikyselyaineistoista tätä tietoa on tarjolla ja se voidaan raportoida yksityiskohtaisin taulukoin esimerkiksi tutkimuksen aineistonkeruuliitteessä.

Lopuksi aineiston edustavuutta koskevaan osaan tulee tiivistää sosiodemografista edustavuutta koskevat tulokset. Ne saadaan vertaamalla otoksen tai näytteen rakennetietoja vastaaviin perusjoukkoa koskeviin tietoihin (esim. sukupuoli-, ikä-, koulutus-, ammatti- ja aluerakenne). Mikäli aineistossa ilmenee merkittäviä rakennevinoutumia, on ehkä harkittava painokerrointen käyttöä tuloksia laskettaessa. Suurimman osan rakenne-edustavuutta koskevista vertailuista voi tarvittaessa sijoittaa liitteisiin. Aineistoja esittelevään leipätekstiin on suositeltavaa sisällyttää ainakin vertailujen päätulokset ja yleiset edustavuutta koskevat johtopäätökset.

Usein yhteiskunta- ja käyttäytymistieteilijöiden kyselyt eivät kuitenkaan kohdistu perusjoukkoihin, joiden sosiodemografiset rakennetekijät ovat entuudestaan tiedossa. Tällaiset aineistot perustuvat tavanomaisesti harkinnanvaraisiin tai ei-sattumanvaraisesti muodostuneisiin näytteisiin, jotka tosin muistuttavat otoksiin pohjautuvia kyselyjä kooltaan ja ulkoasultaan. Kyseisistä aineistoista saadut tulokset voivat olla tieteellisesti arvokkaita siitäkin huolimatta, että niiden edustavuutta ei ole mahdollista arvioida tilastotieteellisin yleistettävyyden kriteerein.

Analyysivaiheessa suositeltavia toimintatapoja

Kyselyaineiston analyysimenetelmiä esitellään runsaasti tietovarannon muissa osissa. Tilastollisten ohjelmistojen tuottamat tulokset jäävät "vain" numeroiksi, ellei tutkija onnistu hahmottamaan ja esittämään niiden merkitystä asettamiensa tutkimusongelmien kannalta. Tämä tehtävä ei suinkaan ole helpoin osa tieteellistä tutkimusta. Kyselytutkimusten tulosten esittämiseen ja niiden tulkitsemiseen liittyy paljon asioita, jotka ovat välttämättömiä tulosten sisällön ja laadun ymmärtämiseksi. Seuraava raportoinnin "kommentoitu" vinkkilista ei ole tyhjentävä mutta sen suositusten seuraaminen auttanee välttämään kyselytutkimusten raportoinnin tyypillisimmät sudenkuopat. Tietovarannon muissa osissa annetaan tietoja taulukkojen ja graafisten esitysten laatimiseen.

A Dokumentoi muuttujien tarkka sisältö

Kyselytutkimusten tulokset riippuvat huomattavassa määrin mittaamisessa käytettyjen kysymysten ja niiden vastausvaihtoehtojen sanamuodoista. Siksi analysoitavia muuttujia koskevat kysymykset tulee esittää vastausvaihtoehtoineen sanatarkasti jossakin tulosten esittämiselle loogisessa paikassa. Tämä pätee ainakin silloin, kun muuttujaa koskevia tuloksia esitellään ensimmäisen kerran.

On kätevää liittää kopio kyselylomakkeesta tutkimuksen loppuun, mutta lukijaa ei tule jatkuvasti rasittaa viittauksilla julkaisun takasivuille. Yleensä on suositeltavaa esitellä kysymysten ja tuloksiin liittyvien vastausvaihtoehtojen sanamuodot myös leipätekstissä, ellei asia ole luontevasti selvitettävissä muilla keinoilla. Tarkat sanamuodot sisältävien taulukoiden ja kuvioiden laatiminen helpottaa huomattavasti tulosten ymmärtämistä. Lisäksi taulukoissa ja kuvioissa voi käyttää erillisiä selitteitä.

Myös aineiston alkuperäisistä muuttujista muodostettavien, tutkimuksessa julkistettavien ns. uusien muuttujien sisältö tulee dokumentoida yksityiskohtaisesti ainakin tutkimuksen liitteissä tai viitteissä. Uusia muuttujia voivat olla esimerkiksi erilaiset summamuuttujat ja indeksit.

B Poimi tekstiin olennainen

Tieteellisissä opinnäytteissä tulee visusti välttää tulosten mekaanista raportointia. Yhdestä isosta taulukosta pystyy vaivatta kirjoittamaan paljon tekstiä sanomatta tuloksista mitään olennaista. Olennaisten tulosten poimiminen tarkoittaa yleensä korkeintaan muutamien keskeisten lukujen ja mahdollisten erojen esiin nostamista. Tämä on hyvä oppia tekemään tuloksia vertaillen, yhdistellen ja yleistäen. Näin tekstiin ei vain kopioida jo kerran esitettyjä numerotietoja.

Keskity siihen mikä tarjoaa uutta tietoa. Ennen tutkimattomasta aihepiiristä kerätyn aineiston perustulokset ovat usein tärkeimpiä ja ne tulee esittää selkeästi. Tämä koskee laajemminkin tutkimusaineistonsa itse keränneiden hankkeiden tulosten esittelyä. Paljon tutkitulla alueella on puolestaan suositeltavaa viitata tärkeimpiin aikaisempiin tuloksiin ja keskustella omista tuloksista niiden pohjalta.

C Kuvaile jakaumatiedot tiiviisti ja käytä liitteitä

Ennen mahdollisia jatkotarkasteluja on yleensä paikallaan kuvailla selitettävien muuttujien jakaumia sekä taulukoissa että leipätekstissä. Absoluuttisia lukuja eli frekvenssejä ja prosenttiosuuksia on useimmiten turhaa esitellä yksityiskohtaisesti rinnakkain. Hyvin pienissä aineistoissa kuvailuun voi olla tarpeen käyttää myös absoluuttisia lukuja, mutta suuremmissa kyselyaineistoissa riittävät prosentuaaliset tarkastelut. Kaikissa tapauksissa tulee aina ilmoittaa ns. kantalukuina olevat havaintoyksikköjen määrät (n), joista prosentit lasketaan.

Kuvailun laajuus ja tarkkuus tulee suhteuttaa aineiston kokoon ja tutkimuksen tavoitteisiin. Käsiteltävien muuttujien perustavat jakaumatiedot tulisi selvittää ainakin liitteissä, mikäli tämä ei vie liikaa tilaa. Leipätekstissä tai viitteissä on myös mahdollista luonnehtia tiivistäen esimerkiksi väittämäsarjojen yksittäisten muuttujien jakaumien yhteisiä tai poikkeavia piirteitä.

D Suhteuta sanavalinnat ja tulosten tarkkuustaso aineistotyyppiin

Taulukoissa ja kuviossa esitetään numerotulokset aineistotyyppiin soveltuvalla tarkkuudella. Leipätekstin kielessä tulee kiinnittää huomiota aineiston ja siitä saatujen tulosten kannalta järkevään tarkkuustasoon. Tavanomaisia yhteiskuntatieteellisiä kyselyaineistoja käytettäessä leipätekstissä ei ole syytä esittää tuloksia desimaalien tarkkuudella vaan tulokset on syytä pyöristää kokonaisluvuiksi.

E Ota huomioon kenelle kirjoitat

Opinnäytetöiden ensisijainen yleisö on tiedeyhteisö. Kirjoittajalla ei siis ole varaa epäselvään tai ylitsevuotavan briljeeraavaan tekstiin.

Prosenttilukujen, keskilukujen, hajontalukujen tai tunnetuimpien kahden muuttujan riippuvuuslukujen laskentatapoja ei liene tarpeen selittää vaan ne voidaan olettaa tunnetuiksi. Sen sijaan lukijakunnan ehkä heikommin tuntemien menetelmien ja tunnuslukujen sisältö saattaa olla tarpeen esitellä.

Näissäkin asioissa opinnäytteiden tekijöiden on suositeltavaa konsultoida ohjaajiaan erilaisten menettelyjen tarpeellisuudesta.

F Kuvaile ennen selittävää analyysia

Muuttujien riippuvuuksia tiivistäviin korrelaatioihin ja monimuuttujamenetelmiin on yleensä luontevaa siirtyä vasta perustavien kuvailutietojen esittämisen jälkeen. Myös riippuvuuslukutarkastelut ja erityisesti merkitsevyystestien käyttö on suhteutettava aineistotyyppiin ja aineiston kokoon. Mitä suurempi otosaineisto on, sitä herkemmin pienetkin ja sisällöllisesti merkityksettömät riippuvuudet yltävät tilastollisesti merkitseviksi.

G Esitä tulosten epävarmuustekijät kattavasti ja johdonmukaisesti

Yleistäviin päätelmiin tähtäävien tulosten tieteellisen arvon kannalta on olennaista tietää, kuinka suurella varmuudella otokseen perustuvat tulokset pitävät paikkansa perusjoukossa. Aineiston yleisluonteiset epävarmuustekijät, kuten edustavuuteen liittyvät puutteet, voi selvittää ennen analyysia tutkimuksen johdannossa tai aineiston rakennetta koskevassa esittelyssä. Tämän jälkeenkin tulosten luotettavuuteen liittyvien yksittäisten seikkojen monipuolinen esittely ja arviointi on ainakin yhtä tärkeää kuin itse tulosten esittely.

Tuloksia kuvaavassa leipätekstissä on hyvä kiinnittää huomiota esimerkiksi

• kulloinkin analyysin pohjana olevien havaintoyksikköjen määrään
• käsiteltävänä olevia muuttujia koskeviin validiuskysymyksiin (sanamuodon perustelut ja rajaukset, muuttujan liittyminen muihin mittareihin jne.)
• reliabiliteettiin (mm. puuttuvan tiedon määrä muuttujan jakaumassa eli vastauskato, vastausprosentin vaikutus tuloksiin eli vastaajakato jne.)

Toisaalta validiteetti- ja reliabiliteettiongelmiin liittyviä epäilyjä ei myöskään kannata toistaen toitottaa. Joskus saattaa olla lukijaystävällisempää laatia näistä asioista oma liite, johon on mahdollista sisällyttää asiaan kuuluvia analyyseja, kuten reliabiliteettilaskelmia.

Tulosten tuottamiseen käytettävät menetelmät ja niiden rajoitukset on tarvittaessa kuvattava tiiviisti. Perustavien analyysimenetelmien periaatteita ei ole syytä esitellä, mutta esimerkiksi joidenkin monimuuttujamenetelmien käyttöön saattaa liittyä maininnan arvoisia rajoituksia tai muuta huomioon otettavaa.

H Vertaile konteksti- ja aineistosidonnaisesti

Yhteiskuntatieteellisen tutkimuksen tulokset ovat konteksti- ja aikasidonnaisia. On hyvä pohtia, liittyykö tutkimuksen keruuajankohtaan tai vastaajien vastaamisympäristöön tekijöitä, jotka voisivat vaikuttaa tulosten laatuun. Mikäli tutkittavasta aihepiiristä on tarjolla aikaisempia vertailukelpoisia tietoja, voivat kontekstitekijöiden muutokset tarjota yhden varteenotettavan selitystekijän havaittaville muutoksille.

I Aineistolähteiden merkitseminen

Mikäli tutkimuksessa käytetään muiden keräämiä aineistoja muullakin tavoin kuin julkaisuviitteiden kautta, on aineistolähteet merkittävä tutkimuksen tekstiin ja lähdeluetteloon julkaisujen tapaan. Esimerkiksi Yhteiskuntatieteellinen tietoarkisto antaa arkistoimilleen aineistoille malliviittaustiedon, joka tulee mainita julkaisun lähdeluettelossa ja soveltuvalla tavalla siinä kohdassa tutkimusta, jossa sitä hyödynnetään.

Tulosten tiivistäminen johtopäätöksiksi

Numeerisilla aineistoilla tehtävien tutkimusten keskeisiä tuloksia on usein vaikea erottaa suuresta tulosmassasta. Aineistojen kuvailun ja analyysin tulee tähdätä jäsentyneesti asetettujen tutkimusongelmien ratkaisuun. Kyse on jatkuvasta lähestymis- ja kirjoittamistavasta. Yleensä on myös hyödyllistä koota ja arvioida tuloksia asiakokonaisuuksittain jo ennen tutkimuksen loppuyhteenvetoa.

Tutkimustulosten kokonaisarvioinnin paikka on loppuluvussa tai -yhteenvedossa. Opinnäytetyön, kuten minkä tahansa muun tutkimuksen, keskeisin tavoite on uuden tiedon tuottaminen. Siksi omia tuloksia ja niiden luotettavuutta tulee arvioida perusteellisesti suhteessa oman tutkimuksen tavoitteisiin, olettamuksiin ja viitekehykseen sekä aikaisempiin tutkimuksiin.

Johtopäätöksissä ei ole syytä tyytyä vain kertaamaan aiemmissa osissa esitettyjä tuloksia ja päätelmiä. Yleissääntönä voitaneen pitää, että johtopäätöksissä ei enää esitellä uusia numerotuloksia, eikä enää muutoinkaan paljon yksityiskohtaisia numerotietoja - ehkä aivan keskeisimpiä lukuun ottamatta.

Johtopäätösluvussa tutkijan tulisi kyetä vastaamaan elegantisti asetettuihin kysymyksiin sortumatta liiaksi jo aiemmin esitetyn toistoon. Samalla tulee arvioida käytettyjen lähestymistapojen ja aineistojen soveltuvuutta ja onnistuneisuutta asetettujen tavoitteiden kannalta sekä asettaa mahdollisesti uusia tutkimuskysymyksiä jatkotutkimukselle.

Tiivistelmä

Aineiston analyysia edeltävät asiat

• aineiston valintaperusteet ja esittely
• kyselyaineiston dokumentoinnin muistilista
• aineiston edustavuus

Analyysivaiheessa suositeltavia toimintatapoja

• ota huomioon kenelle kirjoitat (opinnäytteissä tiedeyhteisölle)
• dokumentoi muuttujien tarkka sisältö rasittamatta lukijaa liikaa
• poimi tekstiin olennainen toistamatta liiaksi taulukkojen ja kuvioiden tuloksia
• kuvaile jakaumatiedot tiiviisti ja käytä liitteitä
• pohdi numeroiden, tekstin ja teknisten selitteiden oikeita paikkoja ja sijoita ne harkitusti leipätekstiin, viitteisiin, taulukkoihin, kuvioihin ja erilaisiin liitteisiin
• suhteuta sanavalinnat ja tulosten tarkkuustaso aineistotyyppiin
• kuvaile riittävästi ennen selittävää analyysia
• valitse analyysimenetelmät harkiten ja käytä luovasti hallitsemiasi menetelmiä
• esitä tulosten epävarmuustekijät kattavasti ja johdonmukaisesti
• yhdistele, vertaile ja yleistä konteksti- ja aineistosidonnaisesti
• keskity tutkimusongelman ja teoreettisen kehyksen kannalta olennaiseen
• ilmoita viitattujen julkaisujen lisäksi aineistolähteet

Tulosten tiivistäminen johtopäätöksiksi

• johtopäätöksiä voi koota myös osittain (luvuittain ja aihealueittain)
• vastaa selkeästi asetettuihin kysymyksiin ja arvioi riittävästi tulosten luotettavuutta