Najłatwiej policzyć, ile spraw agent AI zamknął. Trudniej sprawdzić, czy klient po tej rozmowie naprawdę dostał pomoc. Właśnie ten problem opisuje paper Nubanku opublikowany 7 czerwca 2026 roku na arXiv. Autorzy pokazują pięć produkcyjnych wdrożeń agentów AI w obsłudze klienta i dowodzą, że sama efektywność operacyjna nie wystarczy do oceny takiego systemu.
Jeśli odpowiadasz za marketing, CX albo obsługę, praktyczny wniosek jest prosty: przed skalowaniem agenta trzeba mierzyć jednocześnie jakość rozmowy, poziom samoobsługi i moment, w którym system oddaje sprawę człowiekowi.
Dlaczego sama efektywność nie wystarcza
Metryki operacyjne nie wystarczą, bo pokazują tempo procesu, a nie to, czy klient rozwiązał problem.
Average handling time, liczba zamkniętych zgłoszeń czy first contact resolution są przydatne, ale łatwo je przecenić. Agent może szybko kończyć rozmowy, a jednocześnie podawać niepełną odpowiedź, źle rozpoznawać intencję albo za późno przekazywać sprawę konsultantowi. Z perspektywy dashboardu wszystko wygląda dobrze. Z perspektywy klienta problem wraca w kolejnym kontakcie.
W środowisku takim jak bankowość koszt takiego błędu jest wysoki. Nie chodzi tylko o niższą satysfakcję, ale też o zaufanie do kanału obsługi.
Co dokładnie pokazał paper Nubanku
Paper opisuje pięć produkcyjnych wdrożeń agentów AI do obsługi klienta w Nubanku i łączy wyniki offline evaluation z pomiarem online.
Najmocniejszy przykład dotyczy obszaru card delivery. Autorzy piszą o dużym teście A/B, w którym nowy wariant agenta poprawił AI transactional NPS o 37 punktów procentowych i self-service rate o 29 punktów procentowych względem wcześniejszych wariantów. Transactional NPS to w tym kontekście ocena konkretnej rozmowy po kontakcie z agentem. Self-service rate pokazuje, jaki udział spraw klient załatwił bez pomocy konsultanta.
To ważne zestawienie, bo łączy jakość i automatyzację. Paper podaje też, że w końcowej wersji dla card delivery wynik AI transactional NPS był tylko o 10 punktów procentowych niższy od wyniku ekspertów z zespołu ludzkiej obsługi. W większości pozostałych wdrożeń satysfakcja z AI była już tylko kilka punktów poniżej poziomu najlepszych agentów.
Co z tego wynika dla marketera i lidera CX
Najważniejszy wniosek jest prosty: agenta trzeba mierzyć w dwóch osiach naraz, jakości obsługi i poziomie automatyzacji.
Nubank nie opisuje wdrożenia opartego na haśle "uruchommy bota i zobaczmy, co będzie". Autorzy budują cały framework wokół ewaluacji, iteracji promptów, oceny przez ludzi i pomiaru wyniku na żywym ruchu. Wprost piszą też, że jakość pipeline’u ewaluacyjnego decyduje o tym, jak szybko da się poprawiać agenta.
Dla marketera albo lidera CX to oznacza jedną rzecz. Jeśli dostajesz obietnicę, że agent "odciąży zespół", pytaj od razu, jak będzie mierzona jakość rozmowy i jak wyniki z testów mają się przełożyć na realny ruch klientów.
Gdzie najłatwiej popsuć doświadczenie klienta
Największe ryzyko pojawia się wtedy, gdy agent odpowiada pewnie tam, gdzie powinien przekazać sprawę człowiekowi.
W opisie architektury autorzy zakładają fallback do ludzkich agentów przy niskiej pewności. To dobry kierunek, bo w obsłudze klienta nie wystarczy "spróbować pomóc". Jeśli system nie ma wystarczającej pewności albo wychodzi poza zakres procesu, powinien oddać rozmowę dalej wraz z kontekstem. Inaczej firma optymalizuje nie jakość, tylko pozór skuteczności.
Dlatego obok satysfakcji i samoobsługi warto śledzić też jakość handoffu: ile spraw agent przekazuje, jak szybko to robi i czy klient po eskalacji nadal ocenia kontakt jako sprawny.
Jak przetestować agenta przed pełnym wdrożeniem
Najrozsądniejszy test to ograniczony ruch i porównanie z wcześniejszym wariantem albo z pracą konsultantów, nie wewnętrzne demo.
Przed skalowaniem warto odpowiedzieć na cztery pytania:
- Czy agent podnosi ocenę rozmowy, a nie tylko skraca czas obsługi?
- Czy self-service rate rośnie bez wzrostu liczby ponownych kontaktów?
- Czy agent umie oddać sprawę człowiekowi wtedy, gdy nie powinien zgadywać?
- Czy wyniki z offline evaluation faktycznie przewidują to, co dzieje się później na żywym ruchu?
To właśnie odróżnia sensowny pilot od wdrożenia, które dobrze wygląda tylko w prezentacji.
Szerzej o tym, jak firmy układają rolę człowieka obok automatyzacji, pisaliśmy też w materiale Agenci AI w marketingu.
Co z tego zabrać do własnego wdrożenia
Nubank pokazuje, że agent AI może jednocześnie poprawić satysfakcję klienta i zwiększyć samoobsługę. Nie dzieje się to jednak dlatego, że model jest "wystarczająco mądry". Dzieje się wtedy, gdy firma najpierw buduje ewaluację, potem iteruje, a dopiero na końcu skaluje ruch.
Jeśli dziś oceniasz agenta obsługi, zacznij nie od liczby zamkniętych spraw, tylko od pytania, czy klient po rozmowie faktycznie ma problem z głowy.
