Miten tilannetietoisuutta pitäisi mitata? (osa 2/2)

Kirjoitin viime viikolla tilannetietoisuuden mittaamisesta. Esittelin tällöin keinon, jolla tilannetietoisuutta kannattaa ensisijaisesti mitata: tilanteen aikana kysyminen.

Paras mittari ei kuitenkaan ole aina käytettävissä – milloin mistäkin syystä.

Millä muilla tavoin tilannetietoisuutta mitataan?

Mittari #2: käyttäjille annettavat itsearviointikyselyt

Käyttäjille tilanteen jälkeen täytettäviksi annettavat itsearviointikyselyt ovat yleinen tapa mitata tilannetietoisuutta. Tyypillisessä kyselylomakkeessa käyttäjiä pyydetään arvioimaan mm. tehtävän vaikeustasoa ja omaa kuormittuneisuuttaan suhteessa käytettävissä oleviin resursseihin (esim. SART).

Kyselylomakkeiden hyviä puolia ovat vaivattomuus ja edullisuus. Arviointia ei tarvitse erityisestä valmistella; sen kun printtaa netistä sopivan lomakkeen ja varaa muutaman minuutin käyttäjien aikaa sen täyttämiseen. Tulosten analyysikin sujuu suoraviivaisesti valmiiden laskentakaavojen avulla.

Juuri muita hyviä puolia kuin vaivattomuus itsearvioinneilla ei sitten tilannetietoisuutta mitatessa olekaan – ja huonoja sekin edestä.

Itsearviointikyselyjen tulokset eivät korreloi sen enempää objektiivisesti arvioidun tehtävässä suoriutumisen kuin muiden tilannetietoisuuden mittarienkaan kanssa.

Ja miten ne oikeastaan voisivatkaan korreloida: jos joku on tilanteesta täysin pihalla, ei ole lainkaan selvää, että hän ymmärtää itse olevansa pihalla.

Turvallisuuden tai ylipäätään tehtävässä suoriutumisen kannalta katastrofaalisimpia ovat itse asiassa juuri tapaukset, joissa joku kuvittelee olevansa tilanteen tasalla, vaikka on todellisuudessa käsittänyt tilanteen täysin väärin. Jos tehdyt suunnitteluratkaisut vahingossa tukevat tämän kaltaista kuutamolla oloa, se jää itsearviointimittareita käyttäen huomaamatta.

Mittari #3: Silmänliikkeiden mittaaminen

Tilannetietoisuutta voidaan arvioida mittaamalla järjestelmän loppukäyttäjien silmänliikkeitä suorituksen aikana. Jos käyttäjä saa järjestelmältä tietoa lähinnä visuaalisessa muodossa (esimerkiksi käyttöliittymän näyttöruuduilta), katseen kohdistumisesta voidaan päätellä, kiinnittävätkö käyttäjät huomiota tehtävän kannalta oleellisiin asioihin.

Silmänliikemittaus häiritsee tehtävän suoritusta suhteellisen vähän, mikä tekee menetelmästä houkuttelevan. Mittalaitteita ei kuitenkaan ole kaikkialla saatavilla, niiden operointi on suhteellisen hankalaa, ja tulosten analysointiin saa kulumaan tolkuttomasti työtunteja.

Katseen kohdistuminen johonkin kohtaan ei myöskään takaa, että kyseisessä kohdassa oleva tieto olisi todella huomattu (ns. ”katsoo mutta ei näe”-ilmiö). Puhumattakaan siitä, että tieto olisi ymmärretty oikein.

Silmänliikemittaus onkin erittäin epäsuora tapa mitata tilannetietoisuutta. Se voi olla joissain tilanteissa hyvinkin käyttökelpoinen, mutta johtopäätösten tekemisessä on syytä käyttää tervettä skeptisyyttä.

Mittari #4: Ulkopuolisen arvioijan käyttäminen

Neljäs tavallinen tilannetietoisuuden mittarityyppi on ulkopuolisen arvioijan käyttö. Tehtäväkentän hyvin tunteva mutta tilanteessa ulkopuolinen tarkkailija seuraa tehtävän suoritusta ja arvioi näkemänsä ja kuulemansa perusteella käyttäjien tilannetietoisuutta – esimerkiksi ennalta määriteltyjen kriteerien perusteella.

Aivan kuten itsearviointien ja silmänliikemittausten, myöskään tarkkailijoiden arvioiden luotettavuus ei ole kuitenkaan kovin hyvä. Arviointi on subjektiivista, ja eri tarkkailijoiden samasta tilanteesta tekemät tilannetietoisuusarviot eroavatkin usein toisistaan merkittävästi.

Tilannetietoisuus on myös pohjimmiltaan käyttäjien päiden sisäinen prosessi, ja vain osa siitä on ulkopuolisen tarkkailijan nähtävissä. Arvioijat arvioivatkin pikemminkin suoritukseen liittyviä ulkoisia tekijöitä, esimerkiksi suorituksen laatua tai kommunikaatiota, kuin tilannetietoisuutta.


Miten tilannetietoisuutta sitten pitäisi mitata?

Oma suositukseni useimpiin tapauksiin voisi olla seuraava. Joko:

A. Käytetään tilannetietoisuuden mittaamiseen ainoaa todetusti (suhteellisen) luotettavaa mittaria eli kysytään käyttäjiltä tilanteen ymmärtämistä mittaavia kysymyksiä itse suorituksen aikana.

tai jos em. mittarin käyttäminen ei jostain syystä ole järkevää tai mahdollista:

B. Unohdetaan tilannetietoisuuden mittaaminen. Epäluotettavan eli mitä sattuu näyttävän mittarin käyttö on poikkeuksetta huonompi vaihtoehto kuin mittaamatta jättäminen.

Vaihtoehto B ei tarkoita sitä, että suunnitteluratkaisun onnistuminen pitäisi jättää kokonaan arvioimatta.

Minkä tahansa käyttöliittymän tärkein arviointikriteeri on joka tapauksessa se, miten hyvin käyttöliittymä auttaa loppukäyttäjiä suoriutumaan tehtävistään.

Jos hyviä tilannetietoisuusmittareita ei ole käytettävissä, kannattaa keskittyä mittaamaan tehtävässä suoriutumista. Onnistuneeseen suoritukseenhan koko tilannetietoisuushulinakin lopulta tähtää.

 

Saattaisit olla kiinnostunut myös seuraavista:

Miten tilannetietoisuutta pitäisi mitata? (osa 1/2) Kun käyttöliittymät ja muut hilavitkuttimet on ensin yritetty suunnitella käyttäjien tilannetietoisuutta tukeviksi, seuraava askel on mitata, kuinka h...
Automaatioasteen kasvu muuttaa operointityötä – miten ja miksi? Automaatioasteen nostaminen vaikuttaa inhimillisiin tekijöihin monin tavoin. Operointityö muuttuu, ja samalla muuttuvat myös inhimilliset virheet. Mil...
Inhimillisiin tekijöihin panostamisen ROI Inhimillisiin tekijöihin panostamisen hyötyjä yritetään liian usein myydä pelkällä käsien heiluttelulla. Hyödyt olisivat kuitenkin mitattavissa, jos v...
Tilannetietoisuutta tukeva suunnittelu Hyvä tilannetietoisuus koostuu karkeasti ottaen kahdesta asiasta: on saatava tavalla tai toisella kaikki tilanteen kannalta oleellinen tieto ja kyettä...