AI-puhelinpalvelun auditointi — miten varmistaa compliance?

AI-puhelinpalvelun auditointi kuulostaa asialta, joka tehdään kerran ennen tuotantoa ja unohdetaan sen jälkeen kansioon. Näin sen voi tehdä. Huonosti, mutta voi.

Oikeasti auditointi on tapa tarkistaa, että AI-puhelinpalvelu tekee sitä mitä sen väitetään tekevän. Se ei käsittele ylimääräistä dataa, ei lupaa liikoja, ei ohita ihmistä väärässä kohdassa ja jättää jäljen, josta tapahtumat voidaan tarkistaa. Tämä on tärkeää ennen käyttöönottoa ja vielä tärkeämpää sen jälkeen, kun palvelu on alkanut muuttua arjessa.

Tässä oppaassa käydään läpi käytännön malli AI-puhelinpalvelun auditointiin. Ei sertifikaattiteatteria. Tarkistuslista, jolla ostaja, tietosuojavastaava, IT ja liiketoiminta voivat katsoa samaa järjestelmää ilman että kukaan piiloutuu sanan "tekoäly" taakse.

Mitä auditoinnissa pitää varmistaa?

Hyvä auditointi vastaa kuuteen kysymykseen:

1. Mitä AI saa tehdä? 2. Mitä dataa se käsittelee? 3. Mihin data tallentuu ja kenellä on pääsy? 4. Milloin ihminen ottaa vastuun? 5. Miten tapahtumat voidaan todentaa jälkikäteen? 6. Kuka valvoo muutoksia?

Jos näihin ei saada selkeitä vastauksia, palvelu ei ole vielä valmis laajempaan käyttöön. Se voi olla hyvä demo. Demo on eri asia kuin tuotantokelpoinen järjestelmä. Demosali antaa anteeksi asioita, asiakkaat ja viranomaiset vähemmän.

Auditointi kannattaa tehdä käyttötapauskohtaisesti. Sama tekninen alusta voi olla turvallinen ajanvarauksessa ja sopimaton automaattisessa päätöksenteossa. Siksi yleinen lause "järjestelmä on auditoitu" ei riitä, jos kukaan ei tiedä mihin käyttötapaukseen se viittaa.

Tarkista käyttötapaus ja kielletyt tehtävät

Aloita perusasiasta: mikä on AI-puhelinpalvelun tehtävä? Kirjaa se yhdellä kappaleella. Jos se ei onnistu, järjestelmä on todennäköisesti liian epämääräinen.

Hyvä käyttötapauskuvaus sisältää:

• kohderyhmän
• puhelutyypit
• sallitut vastaukset ja toimenpiteet
• kielletyt aiheet
• ihmiseen siirtymisen ehdot
• integraatiot ja niiden rajat
• onnistumisen mittarit

Kiellettyjen tehtävien lista on yhtä tärkeä kuin sallittujen. AI ei saa antaa juridista neuvontaa, jos se on tarkoitettu ajanvaraukseen. Se ei saa tehdä hyvityspäätöksiä, jos sen tehtävä on kirjata reklamaatio. Se ei saa diagnosoida oireita, jos sen tehtävä on ohjata potilas oikeaan kanavaan.

Rajat kannattaa testata oikeilla esimerkeillä. Pyydä AI:lta asia, jota se ei saa tehdä. Jos se tekee sen kohteliaasti ja itsevarmasti, auditointi löysi jotain hyödyllistä.

Datan ja järjestelmien läpikäynti

Seuraavaksi tarkistetaan datavirta. Tämä ei ole arkkitehtuurikuvan koristelua varten. Ilman datavirtaa et voi arvioida tietosuojaa, tietoturvaa tai toimittajavastuuta.

Käy läpi:

• mistä puhelu tulee
• käytetäänkö puheentunnistusta ja missä
• lähetetäänkö sisältö kielimallille
• mitä tietoa haetaan CRM:stä, ajanvarauksesta tai tikettijärjestelmästä
• tallennetaanko ääni, transkriptio tai yhteenveto
• mitä teknisiin lokeihin menee
• mihin analytiikka tallentuu
• ketkä ovat alikäsittelijöitä

Tarkista samalla tarpeellisuus. Jokaisella datatyypillä pitää olla tarkoitus. Jos tarkoitus on "varmuuden vuoksi", se ei ole tarkoitus. Se on tunne.

Tietoturvan vähimmäistaso

AI-puhelinpalvelun auditoinnissa tietoturvasta pitää katsoa muutakin kuin onko salaus käytössä. Se on minimirivi, ei lopputulos.

Tarkista ainakin:

• data on salattu siirrossa ja levossa
• tuotanto ja testi on erotettu
• salaisuudet ovat salaisuuksien hallinnassa, eivät koodissa
• admin-käyttö vaatii MFA:n
• käyttöoikeudet ovat roolipohjaisia
• pääsy tallenteisiin ja transkriptioihin kirjautuu audit-lokiin
• lokit eivät sisällä tarpeetonta henkilötietoa
• integraatioiden oikeudet on rajattu
• varmuuskopioiden ja poistojen käytäntö on kuvattu

Tietoturva pitää myös todistaa. Kuvakaappaus asetuksesta ei aina riitä, mutta sekin on parempi kuin vakuutus. Paras todiste on yhdistelmä arkkitehtuuria, konfiguraatiota, lokinäytteitä ja testituloksia.

Läpinäkyvyys asiakkaalle

Puhe-AI:ssa yksi helpoimmin unohtuva asia on asiakkaalle annettava informointi. Ihmisen pitää ymmärtää, että hän puhuu AI:n kanssa, mitä puhelussa voidaan tehdä ja miten hän pääsee ihmiselle.

Auditoinnissa kuunnellaan tai luetaan puhelun aloitus:

• kerrotaanko yritys ja palvelun tarkoitus
• kerrotaanko AI:n käyttö selkeästi
• kerrotaanko tallennuksesta tai tekstityksestä, jos niitä tehdään
• kerrotaanko ihmiseen siirtymisen mahdollisuus
• onko kieli ymmärrettävää

Hyvä aloitus ei ole pitkä lakiteksti. Se on lyhyt, rehellinen ja toimiva. Asiakkaan ei pidä joutua arvaamaan, puhuuko hän ihmiselle, AI:lle vai vanhalle IVR-järjestelmälle, joka on saanut uuden paidan.

Ihmisen valvonta ja eskalointi

Auditoinnissa pitää testata, siirtyykö puhelu ihmiselle silloin kun pitää. Dokumentti voi sanoa mitä tahansa. Testipuhelu kertoo enemmän.

Testaa ainakin:

• asiakas pyytää ihmistä
• AI ei ymmärrä kysymystä
• asiakas antaa ristiriitaista tietoa
• kysymys liittyy kiellettyyn aiheeseen
• integraatio ei vastaa
• asiakas on vihainen tai uhkaa reklamaatiolla
• tilanne vaikuttaa kiireelliseltä tai riskiseltä

Katso myös, mitä ihmiselle siirtyy. Saako asiakaspalvelija puhelun aiheen, asiakkaan antamat tiedot ja AI:n tekemät toimet? Vai alkaako ihminen nollasta ja asiakas joutuu toistamaan kaiken? Jälkimmäinen ei ole automaatiota. Se on viivästetty ärsytys.

Audit trail ja muutosten hallinta

AI-puhelinpalvelun pitää jättää tarkistettava jälki. Audit trail ei tarkoita, että kaikki tallennetaan ikuisesti. Se tarkoittaa, että olennaiset tapahtumat ovat todennettavissa.

Kirjaa ainakin:

• puhelun tunniste ja ajankohta
• käytetty AI-ohjeistuksen versio
• haetut tietolähteet
• tehdyt integraatiotoimet
• eskaloinnin syy
• käyttäjät, jotka katsoivat tai muokkasivat tietoja
• poistot ja korjaukset

Muutosten hallinta on yhtä tärkeää. Jos promptia, tietopohjaa tai integraatiota muutetaan, muutoksella pitää olla hyväksyntä, versio ja tarvittaessa testit. Muuten eilinen auditoitu järjestelmä ei ole sama kuin tämän päivän tuotanto.

Toimittajan auditointi

B2B-ostajan pitää tarkistaa myös toimittaja. Varsinkin, jos toimittaja käsittelee puheludataa, ylläpitää integraatioita tai käyttää alikäsittelijöitä.

Kysy toimittajalta:

• alikäsittelijälista ja datan sijainti
• tietoturvakäytännöt ja pääsynhallinta
• lokitus ja tukiprosessi
• häiriö- ja tietoturvapoikkeamien ilmoitusmalli
• varmuuskopiointi ja palautus
• mallien ja promptien muutosten hyväksyntä
• käytetäänkö asiakasdataa palvelun kehittämiseen
• miten sopimuksen päättyessä data poistetaan

Jos toimittaja osaa vastata konkreettisesti, hyvä. Jos vastaukset ovat pelkkää "enterprise-grade"-sumua, pyydä dokumentit. Sana enterprise on usein kallis tapa sanoa, että PowerPointissa on sininen väri.

Jatkuva valvonta

Auditointi ei lopu käyttöönottoon. AI-puhelinpalvelu muuttuu, asiakkaat löytävät uusia kysymyksiä, integraatiot päivittyvät ja liiketoiminta haluaa lisää automaatiota. Jokainen muutos voi muuttaa riskiprofiilia.

Jatkuvassa valvonnassa kannattaa seurata:

• puheluiden onnistumisaste
• ihmiseen siirtymisen syyt
• väärien vastausten määrä
• asiakaspalaute
• tietopyynnöt ja poistot
• käyttöoikeuksien muutokset
• prompti- ja tietopohjamuutokset
• poikkeamat ja häiriöt

Sovi myös auditointirytmi. Esimerkiksi kevyt kuukausitarkistus ja laajempi puolivuosittainen katsaus. Kun valvonta on kalenterissa, se ei jää siihen myyttiseen myöhemmin-tehtävien listaan.

Yhteenveto

AI-puhelinpalvelun auditointi varmistaa, että automaatio on rajattu, dokumentoitu ja valvottu. Tarkista käyttötapaus, data, tietoturva, läpinäkyvyys, eskalointi, audit trail, toimittajat ja muutosten hallinta. Tämä ei hidasta hyvää käyttöönottoa. Se estää huonon.

Aisteri voi auttaa tekemään auditointimallin ennen pilotointia tai tarkistamaan jo käytössä olevan AI-puhelinpalvelun. Jos haluat käydä läpi oman palvelun compliance-valmiuden, ota yhteyttä: visa.valkonen@aisteri.fi.