Vaikutusta, harhaa vai sattumaa? 5 väylää luotettavampaan syypäätelmään
Julkaistu: 2023-12-25
Tärkeimmät terveysväitteet koskevat vaikutuksia — eli jargonin ystäville syy-seuraussuhteita, etiologiaa tai kausaliteettia. Haluamme kuumeisesti tietää, millaisilla asetuksilla meistä tulisi mahdollisimman terveitä. Mutta mahdollisia kääntönuppeja on miljoona ja epävarmuutta on älyttömästi. Vai onko?
Kuinka arvioida vaikutuksia luotettavasti? Vastaus ei ole lyhyt eikä yksinkertainen, mutta kysymys saattaa olla yksi tärkeimmistä.
Pohjimmainen ongelmahan on, että vaikutus on illuusio. Voimme havaita maailman muutosta, mutta emme koskaan voi kelata sitä taaksepäin ja tehdä asioita toisella tavalla verrataksemme seurauksia. Vaikutus on vain hypoteettinen malli mielessämme.
Hypoteettinen maailma 1: ihminen putoaa taivaalta, laskuvarjo avataan, ihminen elää.
Kelaa takaisin.
Hypoteettinen maailma 2: ihminen putoaa taivaalta, laskuvarjoa ei avata, ihminen ei elä.
Vaikutus: Laskuvarjon avaaminen pelasti taivaalta putoavan ihmisen hengen.
Tämä itsestäänselvyys tarkoittaa, että alkeellisimmankin vaikutuksen päättelemiseksi tarvitaan oletuksia ja havaintoja. Ja mitä monimutkaisemmasta järjestelmästä on kyse, sitä enemmän huolellisuutta tarvitaan.
Esitän viisi väylää luotettavampaan päätelmään:
Noudata tieteellisiä periaatteita.
Vertaa itsestäänselvään vaikutukseen.
Selitä kaikki oleelliset havainnot.
Listaa kaikki oletukset ja kyseenalaista ne.
Kuvittele täydellinen koe ja jäljittele sitä.
Noudata tieteellisiä periaatteita
Mikä tekee tieteestä tehokasta luotettavan tiedon tuottamisessa?
Kokeellisuus — kerää paljon oleellisia havaintoja.
Järjestelmällisyys — noudata ennalta suunniteltuja sääntöjä.
Täsmällisyys — käytä tarkkaa määrällistä kieltä, minimoi virhe, selitä yksityiskohtaisesti.
Objektiivisuus — ole mahdollisimman näkökulmaton ja ulkopuolinen, mittaa ihmisestä riippumattomalla tavalla.
Avoimuus — toimi läpinäkyvästi ja raportoi täysin.
Skeptisyys — pyri todistamaan vääräksi.
Riippumattomuus — älä hyväksy eturistiriitoja; suuntaa kannustimet totuuteen.
Toistettavuus — vaadi sama tulos useita kertoja samalla ja erilaisilla menetelmillä.
Totuusnormit — nosta totuuden selvittämisen arvostusta yhteisössä.
Perustiede — älä toimi ristiriidassa aiemman vahvan tietämyksen kanssa.
Vertaa itsestäänselvään vaikutukseen
Miksi laskuvarjon vaikutus on niin itsestäänselvä? Tämä kysymys paljastaa, millaiset havainnot ovat tyypillisiä varmoille vaikutuksille. Mutta varoituksen sana: perusteet ovat melko heikkoja, sillä terveysvaikutukset ovat harvoin itsestäänselviä ja kyse voi olla yksinkertaisesti virheistä.
Varma mekanismi: Laskuvarjon toimintamekanismi on hyvin yksinkertainen ja täysin ymmärretty. Myös se, miten putoamisen aiheuttamat vammat johtavat kuolemaan, tiedetään hyvin. Laskuvarjon toimintaa voidaan havainnoida yksityiskohtaisesti hypyn aikana ja vammoja hypyn jälkeen.
Voimakas yhteys: Laskuvarjon avaamisen ja eloonjäämisen yhteys on hyvin suuri. Vastahavainnot ovat harvinaisia (hyppääjä menehtyy avaamisesta huolimatta, tai päinvastoin).
Ajallinen yhteys: Laskuvarjon avaaminen tapahtuu aina välittömästi ennen eloonjäämistä (tai siis päinvastoin). Vain elävien havaitaan yrittävän avata laskuvarjoa.
Toistettava yhteys: Vuosittain tehdään miljoonia laskuvarjohyppyjä eri puolilla maailmaa erilaisissa olosuhteissa ja samat henkilöt ovat toistaneet hypyn satoja kertoja. Onko yhteys sama?
Annosriippuvainen yhteys: Laskuvarjon avaamisessa ei ole annosta, mutta avautumisen määrän yhteys eloonjäämiseen on selkeä. Mitä pidempään ja täydempänä laskuvarjo pysyy auki, sitä suurempaa eloonjääminen on. Avautumisessa on tietty optimaalinen annos, joka maksimoi eloonjäämisen.
Erottuva yhteys: Laskuvarjon avaaminen ja eloonjääminen eivät ole yhtä voimakkaasti yhteydessä moniin muihin muuttujiin, kuten ympäristön, lentokoneen ja hyppääjän ominaisuuksiin tai hypyn ajankohtaan. Etenkin yhteydet tiedetysti epäoleellisii tekijöihin ovat epäilyttäviä.
Mekanismin eli vaikutuksen välittäjien ymmärtäminen on hyvin tärkeää (mutta ei välttämätöntä). Terveysväitteissä niiden sepittäminen on kuitenkin turhan helppoa. Monilla toimilla on vaikutuksia erilaisiin mittaustuloksiin — eli niillä on paljon mahdollisia mekanismeja — mutta hyöty oireiden ja sairauksien hoidossa osoittautuu silti reilussa kokeessa olemattomaksi. Elimistömme ovat hyvin monimutkaisia.
Selitä kaikki oleelliset havainnot
Joskus suorat kokeelliset havainnot (reilut vertailut) ovat niin luotettavia, että voit yksinkertaisesti unohtaa kaiken muun tiedon olemassaolon. Mutta yleensä on parasta levittää pöydälle kaikki kysymykseen liittyvä tieto ja pyrkiä kokoamaan näistä yhtenäinen, koherentti selitys.
Osana selityksen rakentamista on hyödyllistä kiinnittää huomiota varsinkin samankaltaisiin yhteyksiin ja vaikutuksiin. Esimerkiksi kaikki laskuvarjon kaltaiset välineet toimivat samalla tavalla ja putoamisen seuraukset ovat samoja lentokoneesta tai korkeasta rakennuksesta.
Terveysväitteissä vedotaan monenlaiseen tietoon kuten
mallihavainnot (laskennalliset simulaatiot tai törmäysnukkekokeet)
alueelliset havainnot (määriä ja keskiarvoja maittain)
yksittäiset tapaukset (onnettomuustutkintoja)
väestöotokset (kaikki vuoden 2023 hypyt Suomessa)
kokeelliset havainnot (kuvitteellinen ihmiskoe)
meta-analyysit (kaikkien väestöotoksien yhteistulos)
muiden päätelmät (asiantuntijoiden katsaukset, mielipiteet, suositukset…).
On tärkeää muistaa, että monet tietolähteet ovat hyvin epäluotettavia, joten virhe on mahdollinen osa selitystä. Tiedon ja päätelmien luotettavuuden arviointi on usein haastavaa.
Ja mitä vähemmän aikaa päätösten tekemiseksi on, sitä korkeammalle yhteenvedon tasolle joudut jäämään. Hoitosuositukset ja oppikirjat ovat usein tällaisia lähteitä. Huonoa tässä on kuitenkin se, että päätelmien perusteet jäävät yleensä hyvin epäselviksi ja päätelmät eivät tule tarkistetuksi (niissä on lähes varmasti joitakin virheitä). Eli vaaditaan raakaa luottamusta.
Mutta jos haluat tehdä luotettavan arvion jostakin vaikutuksesta itse, joudut päin vastoin menemään mahdollisimman matalalle tasolle kerättyjen aineistojen yksityiskohtaiseen käsittelyyn ja arviointiin — ja joudut tekemään tämän mahdollisimman laajasti. Kyse voi olla vuosien kokopäivätyöstä. Eli vaaditaan raakaa työtä.
Listaa kaikki oletukset ja kyseenalaista ne
Ensin on hyödyllistä listata kaikki mahdollisen syyn ja vasteen kannalta oleelliset muuttujat. Pohdi huolellisesti, millaiseen laajempaan järjestelmään muuttujat syy ja vaste kuuluvat. Mitä voisit olettaa tämän koko järjestelmän syy-seuraussuhteista?
Kuvaan kuuluvat myös kaikki tekijät, jotka voisivat aiheuttaa arviointiin sekoittuneisuutta, valikoitumisharhaa ja mittausharhaa. Ja perustieteiden (fysiikka, kemia, biologia, psykologia) tarjoamat mahdollisuudet.
Vain näiden oletusten perusteella on mahdollista korjata virhelähteitä ja päätellä vaikutus oikealla tavalla!
Jotta havaittu yhteys voisi olla yhtä suuri kuin vaikutus, tarvitaan yleensä kolme perusoletusta ainakin jossakin osajoukossa. Oletukseen 3 kiinnitetään yleensä eniten huomiota.
Konsistenssi olettaa, että laskuvarjon avannut ja eloonjäänyt hyppääjä olisi jäänyt eloon myös silloin, kun laskuvarjo olisi avattu hänen aikeistaan riippumatta (hypoteettinen toimenpide). Tämä edellyttää, että syyn arvot ovat selkeitä toimenpiteitä ja syyn eri versioilla on sama vaikutus.
Positiivisuus olettaa, että laskuvarjo voi sekä avautua että olla avautumatta, eli kaikki syyn arvot ovat mahdollisia. Tämä edellyttää havaintoja kaikista syyn arvoista (tai syyn satunnaistamista tai oletusta sattumasta).
Vaihdettavuus olettaa, että laskuvarjot avautuvat satunnaisesti, eli tulos olisi sama vaikka varjot olisivat jääneet avautumatta muilla hyppääjillä kuin todellisuudessa havaittiin. Tämä edellyttää syyn satunnaistamista käytännössä ja/tai syyn “satunnaistamista” analyyttisesti harhojen korjaamiseen soveltuvilla menetelmillä (kuten g-menetelmillä).
Yleisen vaihtoehdon vaihdettavuudelle tarjoavat instrumenttimuuttujat. Tässä oletetaan vaihdettavuuden sijasta, että
jokin muuttuja vaikuttaa vasteeseen vain syyn kautta eikä sillä ole vasteen kanssa yhteisiä syitä (ns. instrumentti) ja
joko syyn vaikutus vasteeseen on yhtä suuri kaikissa osajoukoissa (homogeenisyys)
tai instrumentin vaikutus syyhyn on ei-negatiivinen (monotoonisuus).
Voisit esimerkiksi olettaa, että alkoholin aineenvaihduntaan vaikuttavat geenit vaikuttavat terveyteen vain alkoholin käytön kautta (ja niin edelleen). Jos oletukset pitävät paikkansa, alkoholin käytön vaikutus terveyteen voitaisiin arvioida näiden geenien avulla.
Ja joudut tekemään näiden listojen lisäksi valitettavasti myös muita oletuksia. Haluamme erityisesti yleistettäviä vaikutuksia, eli yhteyksiä, jotka pätevät tulevaisuudessakin erilaisilla ihmisillä. Helpoin tapa varmistaa, että tärkeimmät oletukset pitävät paikkansa, on kerätä havaintoja reilussa vertailussa (ja korjata jäljelle jääviä virhelähteitä g-menetelmillä).
Kuvittele täydellinen koe ja jäljittele sitä
Täydellisen kokeen havainnot vastaisivat mahdollisimman suoraan (vähillä oletuksilla) esittämääsi kysymykseen. Tämä voi olla joskus hullu harjoitus, mutta tarkoitus on selventää kysymystä ja löytää myöhemmin tapoja jäljitellä tätä kohdekoetta.
Hullu esimerkki:
Rajaton satunnaisotos ihmisiä lentokoneeseen.
Hoidoksi normaaleja toimivia laskuvarjoja ja verrokiksi pelkällä kankaalla pakattuja reppuja.
Laskuvarjot jaetaan satunnaisesti.
Kaikki hyppäävät koneesta ja käyttävät varjoa samalla tavalla.
Jokaisen hyppääjän kuolinaika kirjataan hypyn jälkeen samalla tavalla.
Vaikutus = Hoito- ja verrokkiryhmän selviytyvyyksien ero.
Hyvä koesuunnitelma on melko monimutkainen dokumentti (esimerkiksi SPIRIT-ohjeistus sisältää 33 protokollan pääkohtaa). Täydellistä koetta eli kohdekoetta ei kuitenkaan usein voida tehdä käytännössä, joten tavoitteena on kerätä parhaita mahdollisia havaintoja, joiden avulla kohdekoetta voidaan jäljitellä analyyttisesti (g-menetelmillä tai muuten).
Et ehkä pysty vastaamaan juuri samaan kysymykseen kuin kohdekokeessa esitetään, mutta kysymys voi olla edelleen hyödyllinen.
Jäljittelyn onnistuminen riippuu täysin oletuksista. Kun laskuvarjoja ei voida jakaa satunnaisesti, seuraavaksi paras vaihtoehto on selvittää huolellisesti, mitkä tekijät vaikuttavat laskuvarjon avautumiseen. Jos tämä tiedetään hyvin, sekoittuneisuus voidaan minimoida hyvinkin tarkasti. Sama toistetaan valikoitumis- ja mittausharhan osalta — jos oletukset pitävät paikkansa, jäljitelty koe on lähellä kohdekoetta!n