Halucynacja (lub konfabulacja) w sztucznej inteligencji to zjawisko, w którym model językowy (LLM) lub wizualny generuje odpowiedź posiadającą logiczną, bezbłędną składnię, jednak wysoce niezgodną z faktami, prawami fizyki lub z zestawem wiedzy wgranej do instrukcji wejściowej.
Co to znaczy
Modele językowe z założenia nie posiadają wbudowanej instancji klasycznej „wiedzy” (jak np. zapytanie do bazy SQL). Działają w architekturze probabilistycznej, skupiając się na płynnym, statystycznym dopasowaniu następujących po sobie sekwencji wektorowych wyrazów. W sytuacjach deficytu danych w zbiorze uczącym (np. specjalistyczna nomenklatura B2B) algorytm dąży do sfinalizowania odpowiedzi z dostępnych mu, powiązanych słów. Skutkuje to formowaniem w pełni fikcyjnych twierdzeń, cytatów z fałszywych podręczników czy konstruowaniem nieistniejących linków do źródeł (tzw. ślepe adresy URL).
Dlaczego to ważne
Zrozumienie zjawiska halucynacji nakłada na marketerów rygor proceduralny podczas weryfikacji surowych wyjść z modeli (Fact-checking). Ignorowanie zjawiska i dystrybucja treści np. medycznych lub finansowych z surowego okna generatora wystawia organizację na wysokie ryzyka reputacyjne i ewentualne spory prawne z konsumentami.
Specjalista ds. analiz rynkowych zleca w oknie czatu zestawienie wykazów sprzedaży dla określonej wąskiej gałęzi europejskiego e-commerce w minionym kwartale. Model przygotowuje szczegółowy raport z dokładnymi ułamkami procentowymi wzrostu, powołując się na analizę znanego z rynku instytutu badawczego z przypisem z maja. Po weryfikacji ręcznej (Human-in-the-loop) okazuje się, że instytut nigdy nie wydał raportu obejmującego ten kwartał, a cyfry zostały zsyntetyzowane z ogólnych trendów gospodarczych lat ubiegłych.
Czym to nie jest
- Wynikiem przestarzałego stanu zasilania bazy o wiedzy o świecie — aktualizacja (podłączenie asystenta na żywo pod sieć) redukuje problem, ale nie eliminuje; błąd tkwi w samym matematycznym rdzeniu próbującym zgadywać ciągłość znaków za wszelką cenę.
- Świadomym kłamstwem narzędzia — system nie dysponuje zdolnościami poznawczymi w celu intencjonalnego manipulowania odbiorcą.
Jak rozpoznać
Zjawiska określane m.in z pojęciami w literaturze inżynieryjnej: „Konfabulacje modeli (Model confabulation)”, „Optymalizacje metod RAG celem minimalizacji (Grounding in Truth)”, „Wskaźniki precyzji odpowiedzi (Accuracy metrics)”.