Chunking to podział dokumentu na mniejsze fragmenty, które można indeksować i wyszukiwać osobno w systemie AI.
Co to znaczy
Podział pozwala pobrać tylko fragmenty związane z pytaniem, zamiast przesyłać modelowi cały dokument. Granice mają znaczenie: urwany akapit lub oddzielony nagłówek może pozbawić wynik kontekstu. Nie istnieje jeden rozmiar fragmentu dobry dla każdej bazy wiedzy.
Powiązane pojęcia: RAG (Retrieval-Augmented Generation), Wektorowa baza danych (Vector Database).
Źródło definicji: OpenAI Developers, Retrieval: Chunking.
Dlaczego to ważne
W marketingu i obsłudze klienta asystent często korzysta z regulaminów, opisów produktów i notatek. Dobrze oznaczone sekcje ułatwiają znalezienie właściwej odpowiedzi i jej sprawdzenie.
Firma dzieli instrukcję zwrotów według etapów: termin, warunki, formularz i status. Pytanie o termin trafia do właściwej sekcji, a nie do przypadkowego kawałka całego PDF-u.
Czym to nie jest
Chunking nie naprawi nieaktualnej treści ani błędnego wyszukiwania. Po zmianie dokumentu trzeba sprawdzić, czy indeks zawiera nową wersję.
Jak rozpoznać
W konfiguracji bazy wiedzy występują rozmiar fragmentu i ewentualne nakładanie sąsiednich fragmentów.