Ehdotusten arvioiminen

  1. Osallistuva arviointi
  2. Teoreettinen arviointi
  3. Ehdotusten testaaminen

Toteavan tutkimuksen tulosten arvioimista käsitellään eri sivulla.

  In English   En Español   Sisällystauluun

Ohjaava tutkimus pyrkii osoittamaan, miten olisi mahdollista parantaa sen kohdetta tai myöhempiä samantapaisia kohteita. Sen mukaisesti hankkeen loppuraportin tärkeimpänä sisältönä on yksi tai useampia ehdotuksia siitä, miten nämä parannukset tehokkaimmin saadaan aikaan. Parannusten toteuttaminen käytännössä usein järjestetään erilliseksi kehittämishankkeeksi, joista esimerkkejä ovat teollisen tuotteen kehittäminen ja toiminnan kehittäminen.

Iteroiva ehdotuksen kehittäminen Kun ehdotukset muodostavat ohjaavan hankkeen tärkeimmän sisällön, ainakin silloin kun ne johtavat käytännön kehittämistoimiin, tutkijan pitää koettaa laatia ne mahdollisimman tehokkaiksi ja optimoiduiksi. Useimmissa ohjaavissa hankkeissa ehdotukset muotoutuvat asteittain (katso Ohjaavan analyysin metodit) ja niiden jokainen perättäinen luonnos arvioidaan vuorollaan, mikä taas usein johtaa ehdotusten uuteen tarkistamiseen, kuten nähdään kuviossa oikealla.

Viimeinen ja myös paras tilaisuus ehdotusten arvioimiseen ja hienosäätöön on juuri ennen kuin raportin lopullinen versio menee monistettavaksi. Tässä luonnoksessa ehdotukset perusteluineen, käytännön toteutusmahdollisuudet ja muut asiaan vaikuttavat tekijät on koottu yhteen, hyödyt ja uhraukset on tarkoin laskettu ja niiden väliset suhteet ovat selkeät, mikä kaikki helpottaa yleisarvion antamista hankkeesta ja myös mahdollisten viime tarkistusten tekemistä.

Avainkysymys silloin, kun ehdotusta arvioidaan, on: Onko ehdotus tehokas, käytännöllinen ja taloudellisesti optimoitu väline halutun parannuksen aikaansaamiseksi?

Seuraavassa esitetään muutamia tavallisia ehdotusten arvioimisen menetelmiä, joista muutamat soveltuvat yhteiskäyttöön parannuksista hyötyvien ihmisten kanssa ja muutamat tutkijan yksin käytettäväksi.

Sikäli kuin ohjaavassa tutkimushankkeessa on jouduttu ehdotusten laatimiseksi myös keräämään toteavasti tietoja empiriasta, näiden osalta tärkein arvioimisen kriteeri on tietojen luotettavuus. Sen arvioimista käsitellään eri sivulla: Tietojen arvioiminen.

Osallistuva arviointi

Jokaisen ohjaavan tutkimushankkeen kaikissa vaiheissa kohdetta katsotaan hankkeelle määritellystä näkökulmasta, ja näin tehdään myös hankkeen lopullisten ehdotusten arvioinnissa. Useinkin arvioijina voivat toimia samat henkilöt, jotka ovat olleet hankkeen alussa määrittelemässä sen tavoitteita.

Toisinaan taas sattuu, että hankkeen edetessä sen näkökulma laajenee. Usein mukaan tulee uusia ihmisiä ja osapuolia, esimerkiksi tuotannosta ja käytännön toteutuksesta vastaavat yksiköt. Joskus taas esiin nousevat yllättävät sivuvaikutukset - kuten raaka-aineiden saanti, jätteet ja saatuminen - joita hankkeen alkaessa kukaan ei tullut ajatelleeksi. Näistä syistä johtuen erimielisyyksiä saattaa olla hankkeen lopussa enemmän kuin sen alkaessa. Niiden ratkomiseen ovat käytettävissä sivulla Mielipiteiden yhteensovittaminen luetellut menetelmät, joista useimmissa sisältönä ovat keskustelut erimielisten ryhmien välillä. Tutkijan tehtävänä joka tapauksessa on selittää ja havainnollistaa tarjolla olevat vaihtoehdot niin, että kaikille tulee mahdolliseksi esittää niistä mielipiteitä. Esimerkki käytännössä kokeillusta asuntojen "suunnittelukielestä".

Toinen suunnittelijalle kuuluva tehtävä on pitää silmällä, tulevatko kaikki tarpeelliset intressiryhmät kuulluiksi arvioinnissa. Kehittämistoimilla voi olla vaikutuksia myös ihmisiin, jotka eivät vielä ole syntyneetkään, ja näidenkin näkökulma olisi otettava huomioon arvioinnissa. Lisäksi on ihmisiä, joiden ääni usein jää kuulematta, nimittäin näkö- ja kuulo- ja liikuntavammaiset sekä lapset, katso luetteloa näille tärkeistä asioista tuotteiden suunnittelussa. Tutkija voi yhteiskokouksissa ottaa puheenvuorossaan esille näiden ihmisten tarpeet, taikka hän voi vielä kokouksen jälkeen muokata ehdotuksia näille sopivammiksi.

Siinä tapauksessa, että on kovin hankalaa koota ihmisiä arviointikokouksiin, voidaan heidän mielipiteensä ajatella koottavan kyselevien tutkimustapojen (kyselyn tai haastattelun) avulla. Epäkohtana on se, että mahdollisesti ristiriitaisten mielipiteiden yhteen sovittaminen jää silloin tutkijan tehtäväksi.

Teoreettinen arviointi

Jos tilanne on sellainen, ettei mielipiteitä työn tulosten käyttäjiltä tai muilta intressiryhmien jäseniltä voida lainkaan koota, tutkija voi ainakin yrittää omaksua objektiivisen asenteen ja puolueettoman näkökulman ja itse arvioida ehdotukset niiden pohjalta. Tutkijan omana työnä tehtävässä ohjaavien ehdotusten arvioinnissa pohjaksi tavallisesti otetaan kaikki asiasta julkaistu tutkimustietous.

Tuotteiden tai yleensä kehittämisehdotusten miellyttävyys on tutkittavaksi hankala ominaisuus, sillä käsite 'miellyttävyys' on kovin yleisluonteinen ja epämääräinen samoin kuin sen sukuiset 'mielihyvä', 'halu' ja 'tarve'. Kaikkia näitä käsitteitä käytetään lukuisissa eri merkityksissä tilanteesta riippuen ja ne myös sisältävät niin lukuisia osatekijöitä, että on lähes mahdotonta tutkia kaikkia niitä samalla kertaa tai kirjoittaa asiasta yleistä teoriaa. Tosin jo antiikissa tätä yritti Epikuros (342/1 - 270/1), josta täten tuli hedonistisen filosofian perustaja (hedone = 'mielihyvä' kreikaksi).

1800-luvun alussa asiaan palasi utilitarismin filosofian koulukunta, kuten Jeremy Bentham ja John Stuart Mill. Hieman myöhemmin Daniel Bernoulli, Vilfredo Pareto ja muut ns. utiliteettiteorian kehittäjät esittivät matemaattisia malleja käytettäväksi miellyttävyyden, tai yleensä hyödyllisyyden, osakomponenttien käsittelyyn.

Yllä on lueteltu muutamia yrityksiä analysoida teoreettisesti miellyttävyyden käsitettä. 1800-luvun lopulla asiaa ryhdyttiin tutkimaan myös empiirisesti, aluksi psykologian laboratorioissa etenkin Georg Th. Fechnerin toimesta, joka halusi kokeellisesti selvittää varsinkin esteettisen nautinnon syntymisen ehtoja ja mekanismeja. Hän tuli täten luoneeksi perustan nykyiselle havaintopsykologialle.

Havaintopsykologian tutkimuskohteena ovat ihmisen aistit, joista kukin pystyy luomaan ihmiselle mielihyvän ja miellyttävyyden aistimuksia. Alla on lueteltu ihmisen aistit sekä esimerkkejä tuotteista, joiden yhteydessä mainittu aisti on tärkeä.

Yksittäiselle ihmiselle mahdollisia kanavia saada tuotteesta mielihyvää:
Mielihyvää välittävä kanava Tuotteita, joissa tämäntyyppinen miellyttävyys on tärkeä
Näköaisti Kuvataiteen ja taideteollisuuden tuotteet. Muita esimerkkejä: Tuotteen kauneus.
Kuuloaisti Näyttämötaide ja musiikki sekä niihin liittyvät soittimet ja laitteet. Ks. myös Tuotteen viesti.
Maku- ja hajuaisti Keittotaide ja siihen liittyvät tuotteet.
Kosketus- ja liikeaistit Urheiluvälineet. Vaatteet. Ajoneuvot. Huonekalut, varsinkin lepoon tarkoitetut.

Näiden miellyttävyyden lajien tutkimuksen emotieteitä siis ovat fysiologia ja havaintopsykologia, mutta nykyisin on myös niitä suppeampaan alaan erikoistuvia tutkimusperinteitä eli paradigmoja. Vanhin niistä on kauneuden tutkimus, estetiikka.

Aistien tuottamat nautinnot ovat ainakin enimmäkseen ihmisolennon myötäsyntyisiä toimintamekanismeja, ja ne ovat täten melko samanlaiset kaikilla ihmisillä, ja myös eri yhteisöissä ja kulttuuripiireissä. Niiden tutkijat eivät siksi useinkaan viitsi ryhtyä työläisiin kenttätutkimuksiin, vaan luottavat enimmäkseen kokeisiin laboratoriossa.

On kuitenkin myös toisenlaisia mielihyvän lähteitä, jotka eivät synny suoraan aisteissa vaan laajemman järjestelmän puitteissa: ihmisyhteisössä. Alla on niistä esimerkkejä.

Yhteisön jäsenelle mahdollisia kanavia saada tuotteesta mielihyvää:
Mielihyvää välittävä kanava Tuotteita, joissa tämäntyyppinen miellyttävyys on tärkeä
Oppimisen, tiedon saamisen ja ymmärtämisen tarve TV. Puhelin. Tietokone. Opetusvälineet. Ks. myös Kauneus oivaltamisena.
Sukupuolisuus. Vaatetus. Kauneudenhoitotuotteet.
Yhteistoiminta. Puhelin. TV. Työkalut. Leikkivälineet. Ks. myös Toiminnan kehittäminen.
Kilpailu. Arvonannon saamisen tarve. Vaatteet. Ajoneuvot. Urheiluvälineet.

Ylläolevan ryhmän tutkimuksen emotieteitä ovat sosiologia ja psykologia, jotka nekin ovat viime vuosisadan kuluessa synnyttäneet joukon tyttäriä. Näistä on taulussa mainittu joitakin niitä, jotka erityisesti liittyvät tuotteisiin.

Kun alemmassa taulussa mainitut mielihyvän lähteet syntyvät ihmisten yhteisöissä, ne ovat myös varsin erilaisia eri yhteisöissä ja kulttuuripiireissä. Jos tutkija tällöin haluaa löytää niissä joitakin yleispäteviä rakenteita ja piirteitä, hänen on tarpeen koota aineistoa useammasta kuin yhdestä yhteisöstä. Toisin sanoen kenttätutkimus on tarpeen.

Yhteisöllisten tarpeiden ja tyydytyksen kenttätutkimukset alkoivat 1900-luvun alussa antropologisen kulttuurien tutkimuksen puitteissa. Bronislaw Malinowski havaitsi, että kehittyvien alkukantaisten kulttuurien piirissä tarpeiden syntyminen noudattaa tiettyä kiinteää järjestystä. Abraham Maslow puolestaan sovelsi samantapaisen tarpeiden järjestyksen nykyajan yhteisöihin.

Myöhemmät tutkijat ovat muodostelleet useitakin erilaisia malleja kuvaamaan tuotteiden synnyttämän tyydytyksen tai mielihyvän eri lajien välisiä suhteita tai hierarkioita.
Turkka Keinonen on laatinut näistä teorioista yhteenvedon. Se löytyy kohdasta Käytettävyys ja mielihyvä.

Esimerkki mallista, jossa tuotteisiin liittyvät tarpeet ja tyydytykset on koottu loogiseksi puuksi on Brian Shackelin (1991, yllä) malli, jossa on jäsennelty tuotteen hyväksynnän osatekijöitä. Tarkempi selostus siitä on kohdassa Käytettävyyden mittaaminen.

Myös Jacob Nielsen on laatinut aiheesta oman mallinsa, oikealla. Sen selostus. Ja aivan viime aikoina Patrick Jordan on koettanut luoda yhteisen teorian, joka kattaisi kaikki teollisen tuotteen asiakasta miellyttävät ominaisuudet.

Tässä "Tuote ja tieto" teoksessa selostettuja tuotesuunnittelun päämääriä puolestaan ovat tuotannon teoria, eri tyyppisten tuotteiden teoriat, ja päämääräkohtaiset tutkimukset. Viimeksi mainitut käsittelevät kyseessä oleville ohjaaville toimille tyypillisiä tavoitteita, esimerkiksi tuotannon talouden näkökohtia taikka ekologisia kysymyksiä kuten raaka-aineiden ja tuotannon jätteiden määriä. Tuotteen käyttäjän näkökulmassa tulee esille mm. tuotteen käytettävyys ja käytön ekologia pitkällä aikavälillä. Useatkin näistä näkökohdista ovat tavallisesti jonkin verran ristiriidassa keskenään, mikä tekee tutkijalle vaikeaksi omaksua käyttäjän näkökulmaa arvioinnissa.

Teoreettisen arvioinnin logiikoita

Jos tutkimuksella tähdätään uuteen tuotteeseen, tavallisin tilanne on se, ettei montakaan sen tulevista ominaisuuksista vielä ole lopullisesti määrätty, vaan suunnittelijoiden on pohdittava rinnakkain lukuisia ominaisuuksia ja koetettava valita niistä asiakasta miellyttävä ja muutoinkin sopiva yhdistelmä. Tehtävä on usein hankala, sillä mitä miellyttävämpi ominaisuus valitaan, sitä enemmän tuotteen valmistaminen tavallisesti maksaa, joten on osattava valita ominaisuuksille sopiva taso.

Vaikeutena siis on usein se, että tuotteelle asetetut vaatimukset ovat ristiriidassa keskenään, eikä niitä voida sovitella yhteen ennenkuin niiden välinen suhde on selvitetty. Tätä ongelmaa saattaa auttaa, jos käytettävissä on tutkimuksen kautta selvitetty malli, kuten jokin ylläolevista. Lisäksi on joitakin menettelytapoja, joilla on mahdollista helpottaa liian lukuisten ja ristiriitaisten vaatimusten ongelmaa, kuten:

Tuotteen kehittämisessä tyypillisiä ominaisuuksien valitsemisen tilanteita ovat mm. strateginen design, tuotekonseptin laatiminen, sitten varsinainen konkreettinen muotoilu ja vihdoin tuotesuunnitelman arvioiminen.

Arvioinnin menetelmiä selvittää tarkemmin mm. King et al. (1987), sekä lehti Evaluation Review. Lähteitä löytyy myös hakusanalla 'arviointi' (evaluation) kirjallisuudesta ja internetistä.

Aikaperspektiivi. Useimmat tuotteet ovat olemassa jonkin aikaa, eikä niiden miellyttävyys yleensä pysy vakiona tänä aikana. Tuotteen elinkaaressa on ainakin seuraavat tärkeät vaiheet, ja tutkijan on harkittava minkä tutkiminen on kulloinkin tärkeintä:

Arvoanalyysi

Arvoanalyysi on menetelmä, jossa haetaan yhteinen optimi kaikille merkittäville tuotteen ominaisuuksille. Jos myös hinta tai kustannus on vertailussa mukana, siitä voidaan käyttää nimeä hyötykustannusanalyysi. Se on selkeästi kvantitatiivinen metodi, sillä se vaatii mittaamaan kaikki tarkasteltavat ominaisuudet. Analyysin vaiheet ovat:

  1. Ennen varsinaista analyysia on kullekin tarkasteltavalle ominaisuudelle laadittava hyväksyttävyysasteikko (ks. yllä).
  2. Toiseksi tarvitaan kaikkien arvioitavien ominaisuuksien painot (ks. yllä).
  3. Laaditaan ristiintaulukointi, jossa on toisessa suunnassa arvioitavat ominaisuudet painoineen, toisessa kaikki vertailtavat vaihtoehdot.
  4. Arviointia varten lisätään taulukkoon kunkin arvioitavan tuotevaihtoehdon osalta kaksi saraketta. Ensimmäiseen niistä (alla keltainen) merkitään kyseisen vaihtoehdon saama "arvosana" asteikolla (esim.) 1...5. Toiseen sarakkeeseen (alla: PxA) tulee arvosanan ja sen painoarvon tulo. Lopuksi kaikki nämä tulot kunkin tuotevaihtoehdon osalta lasketaan yhteen (alla punaiseen ruutuun). Korkeimman summan saanut vaihtoehto on paras (mutta ei vielä välttämättä edullisin, ellei ominaisuuksien joukossa ole hintaa mainittu).
    Vaihtoehdon
    ominaisuus
    Paino-
    arvo
    P
    Vaihtoehto 1 Vaihtoehto 2
    Arvo-
    sana
    A
    PxA Arvo-
    sana
    A
    PxA
    Kapasiteetti 40 2 80 5 200
    Käytön helppous ja automaattisuus 40 3 120 4 160
    Muotoilu 10 5 50 2 20
    Materiaalit, kierrätettävyys 10 3 30 2 20
    Yhteensä 100 -- 280 -- 400

    Jos arvoanalyysi tehdään siten kuin yllä, eli taulukossa arvioidaan vain hyötyarvoja eikä ollenkaan uhrauksia, on analyysissa lopuksi asetettava vastakkain hyödyt ja uhraukset. Tämä tehdään yksinkertaisesti ottamalla erikseen kunkin vaihtoehdon yllä (punaiseen ruutuun kursivoituna) saama loppuarvosana ja muodostamalla sen ja tuotteen hinnan (tai vastaavan kustannuksen) osamäärä, joka sitten osoittaa edullisimman vaihtoehdon. Kustannuksiin on monesti aihetta lukea sekä hankinta- että vuosikustannukset.

    Vaihtoehtoisesti kustannukset voidaan ottaa mukaan jo vertailutauluun omana rivinään, jonka painoarvoksi annetaan 40% tai 50%. Esimerkki tällaisesta taulusta.

Ehdotusten testaaminen

Testaaminen on järjestely, jossa yksi tai useampia parhailta näyttävistä toiminnan tai tuotteen vaihtoehdoista toteutetaan käytännössä tilapäisesti ja usein vain pienessä mittakaavassa. Tulosten perusteella sitten testattu vaihtoehto joko hylätään, parannetaan tai hyväksytään jatkuvaan käyttöön.

Tavallisesti testaajiksi yritetään saada kehitettävän ehdotuksen tulevia käyttäjiä, joskaan tämä ei aina onnistu ja sen sijaan joudutaan käyttämään ns. helposti hankittavaa näytettä. Joka tapauksessa tutkija pyytää näitä henkilöitä toimimaan testissä samoin kuin he toimisivat silloin, kun lopullinen hyväksytty ehdotus on käytössä, joskin usein tämä toiminta joudutaan osittain tekemään "leikisti" eli simuloiden, kun todellinen toiminta olisi liian vaikea järjestää. Menetelmästä käytetään myös nimeä "pilottiprojekti".

Ehdotusten testaaminen on varsin tavallista teollisessa tuotekehityksessä, etenkin tuotteen käytettävyyden tarkistamiseksi ja parantamiseksi. Testattaviksi valmistetaan tuotteen prototyyppi tai useampiakin, jotka ovat ainakin jossakin määrin toimivia, kuten selostetaan kohdassa Arvioinnit tuotekehityksessä. Järjestelyissä voidaan usein mukailla tieteellistä koetta, kuitenkin siten, että yleensä on tarpeetonta pitää testattavana vaihtoehtona mukana nykyistä olevaa tuotetta tai asioiden nykytilaa, silloin kun se on testaajien hyvin tuntema ennestään.

Toinen muunnos tuotteiden tai palvelujen käytännön testaamisesta on koemarkkinointi, jossa pieni määrä uusia todellisia tuotteita tai palveluja asetetaan jollakin valitulla alueella asiakkaiden ostettavaksi.

  In English   En Español   Sisällystauluun

3.8.2007.
Kommentit kirjoittajalle:

Alkuperäinen sijainti: http://www2.uiah.fi/projects/metodi