Kun hanke päättyy, siitä kirjoitetaan yleensä raportti. Raportissa kuvataan hankkeen toimenpiteet, tulokset ja tuotokset sekä hankkeen vaikutukset ja vaikuttavuutta. Rahoittajan edellyttämän muodollisen raportin lisäksi hankkeesta tuotetaan myös usein eri yleisöille julkaisuja, joissa kuvataan hankkeen vaikutuksia ja vaikuttavuutta. Rahoittajalle laadittu raportti ja julkaisujen viestinnälliset tavoitteet voivat olla hyvin erilaisia. Rahoittajalle osoitetaan, että rahoitus on käytetty tarkoituksenmukaisesti. Yleisöille suunnatut julkaisut kertovat tarinoita hankkeen vaikutuksista ja havainnollistuksia hankkeen toimenpiteistä.
Vaikutusten ja vaikuttavuuden analysointi ja arviointi eroavat hankkeen toimenpiteiden ja tulosten kuvaamisesta. Vaikutuksia ja vaikuttavuutta arvioitaessa tarvitaan erilainen lähestymiskulma, koska vaikutukset ja vaikuttavuus eivät viittaa niinkään itse tapahtuneisiin asioihin ja niiden ominaisuuksiin, vaan aikaansaatuun muutokseen ja muutoksen luonteeseen.
Vaikutuksia ja vaikuttavuutta tarkastellaan arvointikriteerejää vasten ja tällöin puhutaan arvioinnin mittareista. Mittarit kertovat vaikutuksista ja vaikuttavuudesta. Esimerkiksi Sitran Vaikuttavuuden askelmerkit-julkaisussa (Heliskoski, 2018, s. 15) erotellaan mittarit seuraavasti:
- toiminnanohjauksen mittarit
- muutosmittarit
- vaikuttavuusmittarit
Toiminnanohjauksen mittarit kuvailevat hankkeen panosten ja tuotosten suhdetta ja ovat siis hankkeen toteutukseen liittyvän arvioinnin osia. Muutosmittareilla arvioidaan hankkeen kohderyhmässä tai välittömässä ympäristössä tapahtuvia muutoksia, siis niiden avulla kuvataan vaikutuksia. Vaikuttavuusmittareilla seurataan muutosten näkyvyyttä yhteiskunnallisella tasolla.
Mittareiden laatimisessa pulmana on, miten erottaa projektin vaikutukset ja vaikuttavuus yleisestä muutoksesta, joka on seurausta aivan muista tekijöistä kuin projektin toimenpiteistä. Näistä syistä vaikutusten ja varsinkin vaikuttavuuden arviointi on mutkikasta puuhaa, mikä vaatii erityisosaamista ja paljon työtunteja. Tietopohjaltaan vaativan, tuloksiltaan luotettavan ja menetelmiltään pätevän arvioinnin resursoiminen ei kuitenkaan monesti ole rahoittajan intressien kärjessä. Hankerahoituksissa suositaan yleensä hankkeen ydintoimenpiteitä ja arviointimittareiden laatiminen jää helposti taka-alalle tai unohtuu.
Hyvät arviointimittarit ovat kuitenkin hyödyllisiä ja niitä on tarpeen tuottaa jo hankkeen suunnittelussa ja alkuvaiheessa. Ne ohjaavat hanketta oikeanlaiseen tekemiseen ja antavat tietoa siitä, että hankkeen toimenpiteet johtavat kohti tavoiteltuja vaikutuksia.
Perhosvaikutus
Hankkeen vaikuttavuus tuo mieleen meteorologi Edward Lorenzin vuonna 1961 luoman käsitteen perhosvaikuts eli perhosefekti (engl. butterfly effect). Tutkimuksessaan hän pohti kuinka alkuarvojen pyöristäminen tai häiriö mittauksissa voi saada aikaan ketjureaktion eli missä pieni heitto, johtaa lopulta suuriin vaikutuksiin. Kuuluisaksi tämä ajatus tuli hänen vuonna 1972 pitämässään esitelmässä, kun hän kysyi: ”Voiko perhosen siipien heilahdus Brasiliassa aiheuttaa tornadon Texasissa?”
Hankkeen vaikuttavuuden kuvaaminen hankehakemuksessa on aina tulevaisuuden arvailua, vaikka se perustuisi vakuuttaviinkin tietoihin. On kuitenkin kiehtovaa ajatella, kuinka jokin pieni tapahtuma hankkeessa saisi aikaiseksi ketjureaktion, perhosvaikutuksen. Pieni muutos yhden ihmisen elämässä vaikuttaisi ensiksi hänen lähipiiriinsä, sitten laajempaan ryhmään, koko yhteisöön ja lopulta koko yhteiskuntaan. Tällöin hankkeen vaikuttavuus olisi yhteiskunnallinen ilmiö.
Ainakin teoriatasolla on hauska leikitellä ajatuksella kuinka vaikka taidenäyttelyssä yhden nuoren luovuuden herääminen voisi olla alku jollekin suuremmalle tapahtumasarjalle. Kaikilla tapahtumilla on kuitenkin syntyhistoriansa ja asiat lähtevät pienestä liikkeelle. Entä jos näitä ketjureaktioita voitaisiin ennakoida ja hankkeiden vaikuttavuuden arviointi nousisikin keskiöön rahoituksen myöntämisessä?
Vaikutusten mittaamisen kriteerit mittaavat siis muutosta hankkeen toiminnan kohderyhmissä. Toiminnan kohteena voivat olla esimerkiksi ihmisyksilöt, yhteisöt tai yleisöt. Vaikutusmittareita voivat esimerkiksi olla:
- ihmisten osaamisen muutos (oppiminen), toimintakyvyn, taitojen tai tietojen muutos
- ihmisten toimintatapojen muutos
- ihmisten asenteiden, ymmärryksen tai kulttuurisen hahmottamisen muutos
- yhteisöjen jäsenten vuorovaikutuksen tai yhteisen toiminnan muutos
- yhteisöjen muodostamien verkostojen ja ekosysteemien muutos
- yleisöjen kiinnostuksen, asennoitumisen tai kuluttamisen muutos
Tärkeää on muotoilla mittarit siten, että hankkeen toimenpiteet todellisesti vaikuttavat niihin ja muiden kuin hankkeesta johtuvien tekijöiden vaikutus ei selitä muutosta täysin.
Vaikuttavuuden mittaamisen kriteerit mittaavat muutosten laajempaa yhteiskunnallista (ei niinkään yksilöllistä) luonnetta ja pitkäkestoisia muutoksia. Vaikuttavuuden mittarit voivat kohdistua edellä mainittuihin vaikutusmittareihin, mutta väestö- ja yhteiskuntatasoisesti.
Vaikuttavuutta voidaan myös analysoida suhteessa ihmisten ja yhteisöjen resursseihin ja miettiä niitä vastaavia mittareita.
- vaikuttavuus fyysisiin ympäristöihin ja taloudellisiin resursseihin (esimerkiksi yhdistysten tai yritysten kannattavuuteen)
- vaikuttavuus ihmisten toimintaan, osaamiseen ja hyvinvointiin
- vaikuttavuus sosiaalisiin suhteisiin, yhteisöjen elinvoimaisuuteen, yhdessä tekemiseen ja verkostojen toimivuuteen
- vaikuttavuus toimijoiden maineeseen ja tunnettuuteen
Vaikutusten ja vaikuttavuuden mittareiden laatimisessa on kysymys tiedon suunnitelmallisesta ja systemaattisesta tuottamisesta. Mittarit voivat olla laadullisia eli muodostua esimerkiksi haastatteluista, havainnoista, kertomuksista, kuvista tai fyysisistä havainnoista. Määrälliset mittarit pukevat havainnot numeeriseen muotoon, joita ovat esimerkiksi tilastot, määrälliset kyselyt ja kävijä- tai käyttäjämäärät.
Tarinoita projektimetsästä
Silta joen yli
Onni-orava ja Misa-majava olivat saaneet pitkällisen projektinsa tuloksena rakennettua sillan joen yli. Oikeastaan kyse oli vain Misa-majavan padosta, mutta Onnin innovaatio oli kutsua sitä sillaksi. Silta oli siis ollut heidän yhteinen projekti. Padosta oli tullut silta ja sillaksi nimeämisen jälkeen pato sai erilaisen hehkun ilta-auringon valossa. Sillasta oli hyötyä kaikille metsän eläimille. Nyt Onni ja Misa pysähtyivät yhdessä katselemaan aikaan saannostaan, josta he olivat todella ylpeitä. Sillan avulla kaikki eläimet pystyivät liikkumaan helposti joen eri puolilla.
– Uimataidottomatkin, mietti Misa-majava.
– Silta mahdollisti myös vastarannan kettunaaraiden liikkumisen joen yli. Tämä saattoi tietysti olla ongelma osalle eläimistä, mutta ainakin tämän puolen poikaketut olisivat iloisia mahdollisuudesta saada seuraa, jatkoi Onni-orava.
– Taitaa olla ketunpoikia tulossa, naurahti Misa-majava.
– Kyllä kauppa käy, kun vastarannan heinikoiden tuotteet vaihtuvat tämän rannan vatukoiden ja mustikkametsien antimiin. Ja eipähän käy enää niin kuin ennen, että jäädään nalkkiin rantavyöhykkeelle, kun metsästäjät saapuva, vaan pötkitään vastarannan tiheikköihin karkuun.
Ja näin Onni-orava ja Misa-majava istuskelivat yhdessä ihastelemassa entistä patoa, josta oli tullut silta. Yhdessä he pohtivat siltaurakkansan vaikutuksia ja löysivät monen monta hyvää ja elämää helpottavaa asiaa. Ja koska sillan vaikuttavuus kantoi kauas tulevaisuuteen, niin Misa-majava ehdotti, että he alkaisivat pitää päiväkirjaa sillan käyttäjistä ja kirjoittaisivat muistiin mitä kaikkia uusia asioita toisella puolen jokea tapahtuisi.
TEHTÄVÄ
Matkusta mielikuvituksessasi tulevaisuuteen ja pohdi projektisi toivottuja vaikutuksia? Mitä muutoksia tapahtuisi ja mitkä asiat voisivat toimia muutosten indikaattoreina? Kuinka muutoksia voitaisiin mitata? Laadi itsellesi kolme keskeistä vaikuttavuusmittaria!
