Nubank pokazuje, jak mierzyć agenta obsługi zanim popsuje doświadczenie klienta
Najłatwiej policzyć, ile spraw agent AI zamknął. Trudniej sprawdzić, czy klient po tej rozmowie naprawdę dostał pomoc. Właśnie ten problem opisuje paper Nubanku opublikowany 7 czerwca 2026 roku na arXiv. Autorzy pokazują pięć produkcyjnych wdrożeń agentów AI w obsłudze klienta i dowodzą, że sama efektywność operacyjna nie wystarczy do oceny takiego systemu.
Jeśli odpowiadasz za marketing, CX albo obsługę, praktyczny wniosek jest prosty: przed skalowaniem agenta trzeba mierzyć jednocześnie jakość rozmowy, poziom samoobsługi i moment, w którym system oddaje sprawę człowiekowi.
Dlaczego sama efektywność nie wystarcza
Metryki operacyjne nie wystarczą, bo pokazują tempo procesu, a nie to, czy klient rozwiązał problem.
Average handling time, liczba zamkniętych zgłoszeń czy first contact resolution są przydatne, ale łatwo je przecenić. Agent może szybko kończyć rozmowy, a jednocześnie podawać niepełną odpowiedź, źle rozpoznawać intencję albo za późno przekazywać sprawę konsultantowi. Z perspektywy dashboardu wszystko wygląda dobrze. Z perspektywy klienta problem wraca w kolejnym kontakcie.
W środowisku takim jak bankowość koszt takiego błędu jest wysoki. Nie chodzi tylko o niższą satysfakcję, ale też o zaufanie do kanału obsługi.
Co dokładnie pokazał paper Nubanku
Paper opisuje pięć produkcyjnych wdrożeń agentów AI do obsługi klienta w Nubanku i łączy wyniki offline evaluation z pomiarem online.
Najmocniejszy przykład dotyczy obszaru card delivery. Autorzy piszą o dużym teście A/B, w którym nowy wariant agenta poprawił AI transactional NPS o 37 punktów procentowych i self-service rate o 29 punktów procentowych względem wcześniejszych wariantów. Transactional NPS to w tym kontekście ocena konkretnej rozmowy po kontakcie z agentem. Self-service rate pokazuje, jaki udział spraw klient załatwił bez pomocy konsultanta.
To ważne zestawienie, bo łączy jakość i automatyzację. Paper podaje też, że w końcowej wersji dla card delivery wynik AI transactional NPS był tylko o 10 punktów procentowych niższy od wyniku ekspertów z zespołu ludzkiej obsługi. W większości pozostałych wdrożeń satysfakcja z AI była już tylko kilka punktów poniżej poziomu najlepszych agentów.
Co z tego wynika dla marketera i lidera CX
Najważniejszy wniosek jest prosty: agenta trzeba mierzyć w dwóch osiach naraz, jakości obsługi i poziomie automatyzacji.
Nubank nie opisuje wdrożenia opartego na haśle "uruchommy bota i zobaczmy, co będzie". Autorzy budują cały framework wokół ewaluacji, iteracji promptów, oceny przez ludzi i pomiaru wyniku na żywym ruchu. Wprost piszą też, że jakość pipeline’u ewaluacyjnego decyduje o tym, jak szybko da się poprawiać agenta.
Dla marketera albo lidera CX to oznacza jedną rzecz. Jeśli dostajesz obietnicę, że agent "odciąży zespół", pytaj od razu, jak będzie mierzona jakość rozmowy i jak wyniki z testów mają się przełożyć na realny ruch klientów.
Gdzie najłatwiej popsuć doświadczenie klienta
Największe ryzyko pojawia się wtedy, gdy agent odpowiada pewnie tam, gdzie powinien przekazać sprawę człowiekowi.
W opisie architektury autorzy zakładają fallback do ludzkich agentów przy niskiej pewności. To dobry kierunek, bo w obsłudze klienta nie wystarczy "spróbować pomóc". Jeśli system nie ma wystarczającej pewności albo wychodzi poza zakres procesu, powinien oddać rozmowę dalej wraz z kontekstem. Inaczej firma optymalizuje nie jakość, tylko pozór skuteczności.
Dlatego obok satysfakcji i samoobsługi warto śledzić też jakość handoffu: ile spraw agent przekazuje, jak szybko to robi i czy klient po eskalacji nadal ocenia kontakt jako sprawny.
Jak przetestować agenta przed pełnym wdrożeniem
Najrozsądniejszy test to ograniczony ruch i porównanie z wcześniejszym wariantem albo z pracą konsultantów, nie wewnętrzne demo.
Przed skalowaniem warto odpowiedzieć na cztery pytania:
- Czy agent podnosi ocenę rozmowy, a nie tylko skraca czas obsługi?
- Czy self-service rate rośnie bez wzrostu liczby ponownych kontaktów?
- Czy agent umie oddać sprawę człowiekowi wtedy, gdy nie powinien zgadywać?
- Czy wyniki z offline evaluation faktycznie przewidują to, co dzieje się później na żywym ruchu?
To właśnie odróżnia sensowny pilot od wdrożenia, które dobrze wygląda tylko w prezentacji.
Szerzej o tym, jak firmy układają rolę człowieka obok automatyzacji, pisaliśmy też w materiale Agenci AI w marketingu.
Co z tego zabrać do własnego wdrożenia
Nubank pokazuje, że agent AI może jednocześnie poprawić satysfakcję klienta i zwiększyć samoobsługę. Nie dzieje się to jednak dlatego, że model jest "wystarczająco mądry". Dzieje się wtedy, gdy firma najpierw buduje ewaluację, potem iteruje, a dopiero na końcu skaluje ruch.
Jeśli dziś oceniasz agenta obsługi, zacznij nie od liczby zamkniętych spraw, tylko od pytania, czy klient po rozmowie faktycznie ma problem z głowy.
