Ilpon palaute papereista 14.12.08

Odotetusti papereissa oli suurta vaihtelua kaikissa olennaisissa seikoissa. Kaikkiaan teitte hyvää työtä; useimmille teistä tämä oli ensimmäinen empiirinen työ. Empiirisen työn tekeminen on vaikeaa, ja vaatii tottumusta - kenties myös rohkeutta. Suhteessa taustaanne selvisitte eritäin hyvin.

1. Otsikointi: sen pitäisi olla tarkka, sillä kyseessä on paikka, josta lukeminen aloitetaan.

Osa papereiden otsikoista oli tarkkoja, mutta osa jäi epämääräisiksi ja yleensä liian laveiksi. Muutamalla otsikko puuttui kokonaan, jolloin paperin pointin hakeminen jäi lukijalle

2. Kysymys. Tutkimuskysymyksen kannattaisi olla tarkka ja sen verran suppea, että siihen pystyy vastaamaan.

Kysymys oli monilla yllättävänkin tarkka. Vain 3-4 työssä oli kysymys, johon oli mahdoton vastata. Esimerkiksi neljän lain vaikutus työtyytyväisyyteen ja -hyvinvointiin ei ole vastattavissa kuin vuosien asiantuntijakomiteatyössä

3. Kirjallisuus. Yliopistolla kirjallisuuteen pitää viitata. Sen kahlaaminen läpi aiheuttaa työtä, mutta kirjallisuus on tärkein viisauden lähde. Ilman kirjallisuutta päätyy yleensä toistelemaan arkisia totuuksia, mikä riittää useimmiten työelämässä, mutta ei yliopistolla.

Kirjallisuuden tuntemus papereissa oli parhaimmillaan yllättävänkin hyvää. Useimmat kirjoittajat olivat poimineet aiheen kirjallisuudesta. Kirjallisuuden käytössä oli kuitenkin suurta vaihtelua, mikä on tllaisella suppealla metodikurssilla ymmärrettävää ja hyväksyttävää, mutta ei enää myöhemmin. Kaikkiaan parhaat työt rakensivat teoriapohjalle. Tulokset olivat aineiston luonteesta johtuen mitä olivat, mutta varsinkin teorialähtöisissä töissä nousi esille hyviä kysymyksiä jo graduakin ajatellen. Muutamassa työssä ei hyödynnetty lainkaan kirjallisuutta, mistä tuli miinusta arvosteluun.

Tutkimuksissa ei kannata luottaa arkikielen termeihin; ne on laaditu nopeaan ongelmanratkaisuun, eivätkä tue luovuutta. Niillä pyöritetään maailmaa, ei tuoteta uutta tietoa.

4. Teoriasta. Kirjallisuuden keskeinen osa on teoria. Teoria on tärkeää siksi, että siihen tiivistyy tutkittu viisaus. Lisäksi ilman teoriaa on vaikea määritellä käsitteitä tutkimusongelmaa varten.

Useissa papereissa hyödynnettiin empiirisessä tutkimuksessa hyväksi havaittuja teorioita, mutta useimmiten teoriat poimittiin oppikirjoista tai konsulttien kirjoituksista. Niissä ei ole sinänsä vikaa, mutta niiden tarkkuus ei yleensä riitä empiiriseen tutkimukseen. Lisäksi oppikirjoissa ja konsulttitöissä ei yleensä esitetä aineistoa, jolloin väitteiden kriittinen arviointi jää uskonvaraiseksi. Tässä on terävöitettävää.

Parhaat tulokset tulevat fokusoimalla johonkin muka pieneen ongelmaan. Hyvä tutkimus kasvaa ulos pienestä aiheesta.

5. Asetelmat. En puhunut kurssilla paljoakaan tutkimusasetelmista, mutta niistä silti muutama sana.

Tutkimusasetelmat vaihtelivat melko vähän, mikä johtui kurssin luonteesta. Kolmea paperia lukuunottamatta kaikissa tutkimuksissa oli case-asetelma, siis tutkittiin yhtä organisaatiota. Vertailuasetelmia oli yksi, lisäksi oli yksi within-subject -tyyppinen asetelma (googlatkaa tämä termi).

Kahdessa tutkimuksessa tutkittiin jotain laajempaa populaatiota, joka täsmentyi papereissa jossain tietyssä elämäntilanteessa olevien ihmisten joukoksi.

Kaikki nämä ovat hyväksyttäviä asetelmia, mutta asetelma liittyy olennaisesti yleistykseen, josta puhuin luennoilla.

6. Menetelmät ja niiden kuvaus. Luennoila edellytin, että papereissa pitäisi aina olla kuvaus menetelmästä. Ilman menetelmien kuvausta lukija ei voi arvioida tuloksia, mikä on skeptisten lukijoiden tapauksessa paha asia.

Kuvasitte yhtä tai kahta poikeusta lukuunottamatta yleensä menetelmänne, mistä kiitos.

Aineiston kuvaus oli paria työtä lukuunottamatta puutteellista. Etenkin tutkituista organisaatioista pitäisi antaa aika yksityiskohtainen kuva, jotta lukija pystyisi esittämään lisäkysymyksiä. Jotkut tekivät näin, mutta eivät kaikki. Kuvaus oli usein yleisellä tasolla, ja otitte yrityksen rakenteen annettuna; tällöin ympäristö, tilannetekijät, yms. jäivät syrjään. Sama pätee luonnollisesti tutkittuihin ihmisiin.

Ongelma oli, että analyysin kuvaus jäi paria poikkeusta lukuunottamatta tekemättä.
Vain muutama selosti analyysin, so. miten muodosti johtopäätökset (etenkin Anna-Liisa Kaasilalle kehut). Tämä on vaikeaa, mutta oleellista, sillä se edellyttää, että mietitte, miten analysoitte aineiston ja noudatatte suunnitelmaanne. Tieteellinen lukija haluaa ilman muuta tietää, miten aineistosta on päädytty tiettyihin johtopäätöksiin. Puolet metodista jää puuttumaan ilman tätä kuvausta.

Reaktiivisuus oli ongelma useassa työssä, mutta vain parissa paperissa oli keskustelu.

Etiikka: yhdessä työssä käsiteltiin omaa yritystä - tutkijan etiikka vs. yrityksen omistajaperheen rooli vaatisi miettimistä. Asiaa käsitellään joulukuussa.

7. Tulosjaksot vaihtelivat, mutta noudattivat usein jollain tavalla ohjeitani.

Jaksot vaihtelivat erinomaisesta keskinkertaiseen. Useimmilla tulosjakso oli rakenteistettu niin, että alussa tehtiin yksinkertaisempia havaintoja, joihin esitettiin tarkempia huomautuksia myöhemmin. Huonoimmat tulosjaksot ottivat jonkin käsitteen - kuten "prosessin" - ja kävivät aineiston läpi käsitteen kautta. Tämä ei osoita mielikuvitusta, vaan sopii valtionhallinnon selvityksiin.

Yleensä ottaen tulkintaan tarvitaan enemmän mielikuvitusta. Kun poimitte aineistositaatin, pitäisi sitä pohjustaa, ja sitaatin jälkeen pitäisi pohtia erilaisia tapoja ymmärtää sen sisältö. Harva sitaatti on yksiselitteinen.

Taaskin arkikieliset käsitteet latistavat muutamaa työtä

8. Johtopäätökset

Johtopäätökset kannattaa rakentaa kahdessa osassa: ensin tulosten tiivistelmä, sitten laajempi keskustelu, jossa pohditaan tuloksia suhteessa kirjallisuuteen. Tässä ei kannata ujostella, viakka aineisto olisikin pieni; kyseessä on tärkeä työvaihe, jossa viime kädessä nähdään, miten hyvin olette sisäistäneet teorianne.

Useimmissa töissä johtopäätökset seurasivat melko loogisesti tuloksista, mikä oli hyvä merkki. Tämä on merkki "sisäisestä validiteetista", josta puhuttiin aiemmin kurssilla.

Keskustelun tärkeys on siinä, että siinä voi nostaa esille uusia kysymyksiä. Muutamassa paperissa - esimerkiksi lämsä ja Malvisto - näin kävikin.

Huonot tulosjaksot seurasivat yleensä ongelmista käsitteistössä. Luultavasti suurin ongelma oli arkikielisten käsitteiden käyttö teoriassa. Jos tutkitte "prosessia", on kovin vaikea tehdä päätelmiä prosessin erikoispiirteistä, jos prosessista tai sitä muokkaavista tekijöistä ei ole vahvaa teoriaa.

Toinen heikkoja tulosjaksoja selittävä tekijä oli liian laaja kysymys. Viimeinen paikka, jossa tarve supistaa kysymystä paljastuu, kun yrittää tehdä johtopäätöksiä. Jos niistä ei saa otetta, jakso alkaa paisua, tai johtopäätösjakso muodostuu kovin yleiseksi/filosofiseksi, on kysymys ollut liian laaja.

Hyviä lisäjaksoja, joista annoin plussaa olivat esimerkiksi yhden paperin keskustelu yleistyksestä ja paperit, joiden lopussa pohdittiin uusia tutkimuskysymyksiä. Tutkimus on luova prosessi, mikä kannattaa tuoda esille paperin lopussa.

9. Silppua

Älkää luottako Wordin kielenkorjaukseen, vaan äidinkielenopettajanne neuvoihin.

Vain Katariina Muoniovaaran työ lähti näytenäkökulmasta, mistä kehut, mutta näytenäkökulma on vaikea. Tämä paperi häilyi useassa kohdassa näyte- ja faktanäkökulman välillä. Konsistentti näytenäkökulmatarkastelu veisi pohtimaan esimerkiksi kertojan aseman muutoksia suhteessa kerrottuun tarinaan ja sen tilanteeseen, ei elämäntilanteeseen, jota koskeva tieto täytyy tuoda tutkimukseen aineiston ulkopuoltlta - siis ulkomaailmasta, ei näytteestä. Tällä huomautuksella hyvä työ.

Parhaat työt antavat erinomaisen pohjan jopa gradulle, esimerkiksi käy Henri Isojärven työ huumorista.