- Een model voor de telefoon, niet een chatbot met een stem.
- Gemeten op zeven vaste Nederlandse testgesprekken, inclusief de gesprekken die misgaan.
- Rekenen, tijden en ‘gelukt’ liggen bij de server, niet bij het taalmodel.
- Nieuw: kennis zonder zoekstap, kennisgaten voor de eigenaar en slimme onderbrekingen.
Gemeten op Nederlandse gesprekken
Algemene benchmarks meten of een model slim is. Wij meten of een gesprek goed afloopt. Elk model krijgt hetzelfde menu, dezelfde regels en dezelfde zeven gesprekken. We wisselen telkens één onderdeel, en een test die faalt of niet draait, telt nooit als geslaagd.
Reactietijd meten we van het einde van de zin van de beller tot het eerste geluid van Kallix. Dus inclusief het wachten op het einde van de beurt, de spraakherkenning, het taalmodel, de stem en het netwerk. We rapporteren de mediaan en de 95e percentiel, en de kosten per goed afgerond gesprek.
Nederlands eerst
Nederlanders bellen snel en kort, vaak met lawaai op de achtergrond. ‘Doe maar een grote’ betekent niets zonder te vragen: een grote wat? TIMBRE vraagt door in plaats van te gokken, en productnamen uit jouw menu krijgen voorrang bij de spraakherkenning.
Een stem die bij je zaak past
Over de telefoon klinken cijfers snel onduidelijk. Daarom praat TIMBRE iets rustiger dan normaal, op 0,93 keer het standaardtempo. Prijzen, tijden en productnamen komen zo in één keer goed over. Toon, aanspreekvorm en begroeting stel je per zaak in.
Regels in plaats van hoop
Een taalmodel voorspelt woorden. Het is geen rekenmachine. Daarom berekent de server elk totaal in hele centen en elke ophaaltijd in Nederlandse tijd. Het model bevestigt alleen wat de server heeft gecontroleerd.
De finishlijn
Kallix zegt pas ‘je bestelling staat erin’ als de kassa dat heeft bevestigd. Gaat er iets mis, dan zegt Kallix dat ook. Na drie mislukte pogingen om iets te begrijpen, gaat het gesprek naar een mens.
Elk onderdeel los te meten
TIMBRE is opgebouwd uit onderdelen: ruisfilter, beurtdetectie, spraakherkenning, taalmodel, regels en stem. Elk onderdeel is apart te meten en te vervangen. Komt er een beter model, dan wisselen we, zonder dat jouw instellingen veranderen.
Nieuw in TIMBRE-1
Kennis zonder zoekstap
Menu, prijzen en openingstijden staan al in het gesprek. Een vraag over de kaart kost geen extra wachttijd.
Kennisgaten
Weet Kallix iets niet, dan zegt het dat eerlijk. De vraag komt op een lijst, gesorteerd op hoe vaak hij gesteld wordt. Eén klik en het antwoord staat erin.
Slimme onderbrekingen
Een ‘hm-hm’ onderbreekt Kallix niet, een echte correctie wel. Valt Kallix onterecht stil, dan gaat het na twee seconden verder.
Overbrugging
Duurt een actie in de kassa even, dan vertelt Kallix wat het doet. Geen stilte aan de lijn.
Zo ziet doelgericht bouwen eruit
Een algemeen model kan veel. Een model voor de telefoon moet één ding heel goed: een gesprek tot een goed einde brengen. Daarna volgt Parley-GLYPH-1, met dezelfde regels in WhatsApp, sms en chat.