Asiakastyytyväisyyden mittaaminen AI-puheluissa (CSAT, NPS)

AI-puheluiden mittaamisessa on yksi ansa: katsotaan vain, vastasiko botti nopeasti ja montako puhelua se hoiti. Ne ovat hyödyllisiä lukuja, mutta eivät kerro vielä palvelun laadusta. Nopeasti hoidettu huono puhelu on edelleen huono puhelu. Se vain päättyi tehokkaasti.

Asiakastyytyväisyyden mittaaminen AI-puheluissa vaatii sekä perinteisiä asiakaspalvelumittareita että puhe-AI:lle ominaisia laatumittareita. CSAT ja NPS auttavat, mutta niiden rinnalle tarvitaan ratkaisuaste, eskalointien laatu, virheelliset vastaukset ja puhelun sisällön analyysi.

Tässä oppaassa käydään läpi, miten mittaus kannattaa rakentaa niin, ettei AI näytä dashboardissa hyvältä samalla kun asiakkaat purevat hammasta.

CSAT kertoo heti, mutta ei kaikkea

CSAT eli Customer Satisfaction Score mittaa yleensä asiakkaan tyytyväisyyttä yksittäiseen palvelutapahtumaan. AI-puhelun jälkeen asiakkaalta voidaan kysyä esimerkiksi: “Kuinka tyytyväinen olit tähän puheluun asteikolla 1–5?”

CSAT on hyvä mittari, koska se on lähellä itse tapahtumaa. Asiakas muistaa vielä, saiko hän asiansa hoidettua ja tuntuiko keskustelu sujuvalta. Puheluissa kysely voidaan tehdä heti lopussa äänivalinnalla tai lähettää tekstiviestinä.

CSAT:n ongelma on vinouma. Kaikki eivät vastaa. Usein vastaavat ne, joilla oli erityisen hyvä tai erityisen huono kokemus. Lisäksi arvosana ei kerro miksi asiakas oli tyytymätön. Oliko ongelma AI:n äänessä, väärässä vastauksessa, liian pitkässä keskustelussa vai siinä, ettei asia ratkennut?

Siksi CSAT kannattaa aina yhdistää puhelun metadataan:

• ratkesiko asia ilman ihmistä
• siirrettiinkö puhelu ihmiselle
• kuinka monta kertaa AI pyysi toistamaan
• kuinka pitkä puhelu oli
• missä vaiheessa asiakas keskeytti tai lopetti
• mitä aihetta puhelu koski

Kun CSAT sidotaan näihin tietoihin, alkaa löytyä oikeita parannuskohteita. Jos ajanvarauspuheluiden CSAT on 4,6 mutta reklamaatioiden 2,8, ongelma ei ole koko AI-ratkaisu. Ongelma on reklamaatiovirta.

NPS sopii laajempaan asiakaskokemukseen

NPS eli Net Promoter Score kysyy, kuinka todennäköisesti asiakas suosittelisi yritystä. Se ei ole puhelukohtainen tarkkuusmittari samalla tavalla kuin CSAT, mutta se auttaa näkemään, vaikuttaako AI-palvelu asiakaskokemukseen pitkällä aikavälillä.

AI-puheluiden kohdalla NPS kannattaa pitää erillään välittömästä puhelupalautteesta. Jos NPS kysytään jokaisen pienen puhelun jälkeen, vastaus kertoo usein enemmän asiakkaan yleisestä suhteesta yritykseen kuin kyseisestä AI-keskustelusta.

Käytännöllisempi malli on mitata:

• CSAT heti puhelun jälkeen
• NPS säännöllisesti asiakassuhteen tasolla
• laadullinen palaute avoimena tekstinä tai puhelun lopun lyhyenä kommenttina

Näin nähdään sekä yksittäisen palvelutapahtuman laatu että laajempi vaikutus brändiin. Jos CSAT nousee mutta NPS laskee, AI ratkaisee ehkä yksittäisiä asioita nopeasti mutta tekee asiakaskokemuksesta kylmemmän. Silloin kannattaa kuunnella puheluita, ei vain tuijottaa keskiarvoa.

FCR kertoo, ratkesiko asia ensimmäisellä kontaktilla

Ensimmäisen kontaktin ratkaisuaste eli FCR on AI-puheluissa erittäin tärkeä mittari. Asiakkaan näkökulmasta onnistunut automaatio ei ole sitä, että puhelu meni läpi nopeasti. Onnistuminen on sitä, että asia hoitui ilman uutta yhteydenottoa.

AI-puheluissa FCR voidaan määritellä esimerkiksi näin:

• asiakas ei soita uudelleen samasta aiheesta tietyn ajan sisällä
• tiketti ei avaudu uudestaan
• ajanvaraus, peruutus tai muutos kirjautuu onnistuneesti
• toimituksen tila tai muu kysymys annetaan oikein
• ihmiseskalointi ratkaisee asian ilman uutta kierrosta

Tässä integraatiot ovat ratkaisevia. Jos AI ei kirjaa puhelun lopputulosta CRM:ään tai tikettijärjestelmään, FCR jää arvailuksi. Pelkkä puheluloki ei riitä.

Lisäksi pitää erottaa AI:n ratkaisema FCR ja ihmisen ratkaisema FCR. Jos AI siirtää vaikean asian ihmiselle ja antaa hyvän tiivistelmän, se on onnistunut osa prosessia vaikka lopullinen ratkaisu tuli ihmiseltä. Mittarin pitää nähdä tämä, muuten AI:ta optimoidaan väärään suuntaan.

Tästä aiheesta kannattaa lukea myös ensimmäisen kontaktin ratkaisuaste ja tekoäly.

Eskaloinnit paljastavat laadun nopeasti

Eskalointi ei ole epäonnistuminen. Huono eskalointi on. AI-puheluiden laadussa kannattaa seurata, milloin puhelu siirtyy ihmiselle ja mitä tietoa siirron mukana tulee.

Seuraa ainakin:

• siirtoaste aiheittain
• siirron syy
• menikö puhelu oikealle tiimille
• oliko asiakkaan tunnistaminen tehty ennen siirtoa
• saiko ihminen tiivistelmän ja tarvittavat tiedot
• joutuiko asiakas toistamaan saman asian

Jos siirtoaste on korkea, syitä voi olla kaksi. AI on rajattu liian tiukasti, tai asiakkaiden asiat ovat oikeasti monimutkaisia. Molemmat voivat olla hyväksyttäviä. Huono merkki on se, jos puhelut siirtyvät ihmiselle ilman kontekstia tai väärään paikkaan.

Hyvä mittaus näyttää myös niin sanotut melkein onnistuneet puhelut. AI keräsi tiedot, mutta unohti yhden kriittisen kentän. AI vastasi oikein, mutta liian pitkästi. AI ohjasi oikealle tiimille, mutta ei kertonut asiakkaalle mitä seuraavaksi tapahtuu. Nämä ovat korjattavia asioita, eivät syitä hylätä koko järjestelmää.

Puheluanalytiikka kertoo miksi arvosana syntyi

CSAT ja NPS ovat numeroita. Puheluanalytiikka kertoo, mistä numerot tulevat. AI-puheluista voidaan analysoida esimerkiksi aihe, asiakkaan tunnetila, toistopyynnöt, hiljaiset kohdat, keskeytykset ja sanojen kuten “en ymmärrä” tai “haluan ihmisen” esiintyminen.

Hyödyllisiä laadullisia signaaleja ovat esimerkiksi:

• asiakas keskeyttää AI:n usein
• AI pyytää toistamaan saman asian monta kertaa
• asiakas pyytää ihmistä heti alussa
• puhelu pitenee tietyssä aiheessa selvästi muita enemmän
• AI antaa vastauksen mutta asiakas kysyy saman asian uudelleen
• puhelu päättyy ilman selvää lopputulosta

Tällainen analyysi auttaa parantamaan keskustelupolkua. Jos asiakkaat keskeyttävät aina pitkän ehtoselityksen aikana, vastaus pitää lyhentää. Jos asiakkaat kysyvät saman jatkokysymyksen joka puhelussa, tieto kannattaa lisätä AI:n ensimmäiseen vastaukseen. Tylsää optimointia, mutta se toimii.

Sentimenttianalyysi voi auttaa, mutta siihen ei kannata suhtautua oraakkelina. Suomen kieli, ironia ja rauhallinen pettymys eivät aina näy mallille oikein. Käytä sitä signaalina, älä yksittäisen asiakkaan kohtalon päättäjänä. Lisää aiheesta: sentimenttianalyysi puheluissa.

Rakenna dashboard, joka johtaa tekoihin

Hyvä mittaristo ei ole koriste. Sen pitää kertoa, mitä parannetaan seuraavaksi.

Käytännöllinen AI-puheluiden dashboard näyttää esimerkiksi:

• puhelumäärät aiheittain
• automaation ratkaisuaste
• ihmiseskalointien määrä ja syyt
• CSAT aiheittain
• FCR aiheittain
• keskimääräinen puhelun pituus
• toistopyynnöt ja epäselvät vastaukset
• top 10 kysymystä, joihin AI ei osannut vastata
• laadun auditointinäytteet

Tärkeintä on seurata mittareita aiheittain, ei vain kokonaisuutena. Kokonaiskeskiarvo peittää ongelmat. Ajanvaraus voi toimia loistavasti, laskutus kohtalaisesti ja reklamaatiot huonosti. Jos kaikki lasketaan yhteen, kukaan ei tiedä mitä korjata.

Kuinka usein AI-puheluita pitää auditoida?

Alussa puheluita kannattaa auditoida tiheästi. Ensimmäisten viikkojen aikana voidaan kuunnella tai lukea läpi esimerkiksi 20–50 puhelua viikossa aiheittain. Tarkoitus ei ole metsästää yksittäisiä noloja virheitä, vaan löytää toistuvat kaavat.

Auditoinnissa kannattaa käyttää yksinkertaista lomaketta. Oliko asiakkaan tarkoitus tunnistettu oikein? Oliko vastaus faktisesti oikein? Kysyikö AI turhia kysymyksiä? Menikö eskalointi oikeaan paikkaan? Jäikö asiakkaalle selvä seuraava askel? Jokaisesta puhelusta ei tarvitse kirjoittaa esseetä. Viisi kyllä/ei-arviota ja lyhyt kommentti riittävät pitkälle.

Kun käyttö vakiintuu, auditointia voi harventaa, mutta sitä ei pidä lopettaa. Hyvä rytmi on esimerkiksi viikoittainen otanta isoimmista aiheista ja erillinen katsaus aina, kun CSAT putoaa, siirtoaste muuttuu tai uusi palvelupolku julkaistaan.

Vertaa AI:ta ihmisten nykyiseen tasoon

AI-puheluita mitataan joskus epärealistisesti. Siltä odotetaan täydellisyyttä, vaikka nykyinen ihmisten hoitama prosessi olisi hidas, vaihteleva ja huonosti dokumentoitu. Tämä ei tarkoita, että AI:lle pitäisi antaa vapaat kädet. Se tarkoittaa, että vertailutason pitää olla rehellinen.

Ennen käyttöönottoa kannattaa mitata nykytila: jonotusaika, vastaamatta jääneet puhelut, FCR, CSAT, käsittelyaika ja yleisimmät syyt uudelle yhteydenotolle. Vasta sitten nähdään, parantaako AI oikeasti tilannetta.

Hyvä tavoite voi olla esimerkiksi, että AI hoitaa 40 % toistuvista puheluista vähintään samalla CSAT-tasolla kuin nykyinen palvelu, lyhentää jonotusaikaa 60 % ja antaa ihmisille paremmat tiivistelmät eskaloiduista tapauksista. Tämä on paljon hyödyllisempi tavoite kuin “otetaan tekoäly käyttöön”. Jälkimmäinen kuulostaa strategiakalvolta. Ensimmäistä voi johtaa.

Varo mittarien pelaamista

Kun mittareista tulee tavoitteita, niitä aletaan helposti pelata. AI voidaan optimoida lyhentämään puheluita, vaikka osa asiakkaista tarvitsisi pidemmän keskustelun. Se voidaan optimoida välttämään eskalointeja, vaikka joissakin tilanteissa ihmiselle siirto on laadukasta palvelua. Se voidaan optimoida pyytämään palautetta vain tyytyväisiltä vaikuttavilta asiakkailta. Se on kätevää, jos haluaa kauniin raportin ja huonon todellisuuden.

Siksi mittarien pitää olla tasapainossa. Lyhyt käsittelyaika ei ole hyvä, jos FCR laskee. Matala siirtoaste ei ole hyvä, jos CSAT laskee. Korkea automaatioaste ei ole hyvä, jos reklamaatiot palaavat myöhemmin vaikeampina.

Hyvä johtamismalli käyttää vastinpareja. Jokaiselle tehokkuusmittarille on laatumittari. Puhelun pituuden rinnalla seurataan ratkaisua. Automaation määrän rinnalla seurataan asiakaspalautetta. Eskalointien määrän rinnalla seurataan, menivätkö siirrot oikein.

Mitä raportoida johdolle?

Johto ei tarvitse sataa puhelumetriikkaa. Se tarvitsee kuvan siitä, parantaako AI palvelua ja kannattavuutta. Hyvä kuukausiraportti mahtuu yhdelle sivulle.

Raportissa voi olla:

• puhelumäärä ja AI:n käsittelemä osuus
• automaattisesti ratkaistut asiat aiheittain
• jonotusajan muutos
• CSAT ja FCR verrattuna lähtötasoon
• ihmiseskalointien syyt
• kolme tärkeintä parannuskohdetta
• arvio säästyneestä työajasta

Lisäksi kannattaa nostaa yksi tai kaksi oikeaa esimerkkipuhelua. Pelkkä numero ei aina kerro, miksi muutos on tärkeä. Kun johto kuulee, että AI keräsi reklamaatiosta kaikki tiedot ennen ihmisen käsittelyä tai pelasti myyntipuhelun ilta-aikaan, mittarit muuttuvat konkreettisiksi.

Usein kysytyt kysymykset

Riittääkö pelkkä puhelun lopun arvosana?

Ei. Se on hyvä signaali, mutta yksin liian ohut. Arvosana pitää yhdistää aiheeseen, lopputulokseen, eskalointiin ja siihen, soittiko asiakas uudelleen samasta asiasta.

Pitääkö jokainen AI-puhelu kuunnella?

Ei jatkuvasti. Alussa otantaa kannattaa tehdä paljon, myöhemmin riittää järkevä näyte ja poikkeamien tarkistus. Jos mittarit muuttuvat äkisti, palataan suurempaan otantaan.

Onko korkea automaatioaste aina hyvä?

Ei. Jos AI pitää puhelut itsellään liian pitkään ja asiakkaat turhautuvat, korkea automaatioaste on huono mittari. Parempi tavoite on oikea ratkaisu oikeassa kanavassa.

Milloin mittaristo pitää rakentaa?

Ennen tuotantokäyttöä. Jos mittarit rakennetaan vasta jälkikäteen, lähtötaso puuttuu ja ensimmäiset parannukset jäävät arvailuksi. Ainakin jonotusaika, ratkaisuaste, siirtoaste ja asiakaspalaute kannattaa mitata jo ennen AI:n avaamista.

Silloin keskustelu ei jää mielipiteisiin. Nähdään, paraniko palvelu oikeasti vai siirtyikö ongelma vain uuteen kanavaan.

Yhteenveto

AI-puheluiden asiakastyytyväisyyttä ei voi mitata yhdellä luvulla. CSAT kertoo välittömän kokemuksen, NPS laajemman asiakassuhteen, FCR ratkaisukyvyn ja eskalointimittarit prosessin laadun. Puheluanalytiikka selittää, miksi luvut liikkuvat.

Hyvä mittaus ei ole AI:n kehumista varten. Se on korjauslista. Kun näet missä aiheessa asiakkaat turhautuvat, missä AI puhuu liikaa ja missä siirto ihmiselle epäonnistuu, parannustyö muuttuu konkreettiseksi.

Jos haluat rakentaa AI-puheluiden mittariston alusta asti, aloita asiakaspalvelun KPI-oppaasta tai kysy Aisterilta käytännön mallia: ota yhteyttä.