Okno kontekstowe (Context Window) to graniczna pojemność określana zazwyczaj w tysiącach (lub milionach) tokenów, decydująca o tym, jaką maksymalną długość wejściowego i wyjściowego komunikatu model AI jest w stanie analizować i utrzymywać w spójności jednocześnie.
Co to znaczy
System nie posiada nieograniczonej pamięci operacyjnej podczas dyskusji na czacie. Każde nowe zapytanie, załączony plik i odpowiedź wygenerowana przez algorytm sumują się do puli użytego kontekstu. Jeśli dysponujesz narzędziem z limitem np. 32 tysięcy tokenów i wgrasz do niego zbiór bardzo długich logów wsparcia IT, nowsze zadawane pytania mogą na bieżąco wypychać pierwsze instrukcje w oknie. Objawia się to zazwyczaj tym, że zaawansowana aplikacja wydaje się „zapominać” główny cel polecenia zgłoszonego na początku sesji.
Dlaczego to ważne
Monitorowanie rozmiaru okien u różnych dostawców pozwala efektywnie dobrać model do stopnia złożoności operacji korporacyjnej. Niektóre modele z rodziny Gemini oferują bardzo długie okna kontekstowe przekraczające milion tokenów, co bywa przydatne przy analityce kodów programistycznych.
Rozbudowujesz materiał na szkolenie z wykorzystaniem asystenta na przestrzeni kilkunastu długich zapytań (promptów). W siódmym kroku model niespodziewanie porzuca styl komunikacji i używa branżowego żargonu, którego kategorycznie zabroniłeś mu używać na samym wstępie konwersacji. Wynika to z faktu przelania limitu zdefiniowanego okna.
Czym to nie jest
- Rozmiarem stałej bazy danych serwera modelu językowego (z której korzysta jako uogólniona wiedza).
- Pamięcią odnawialną przez lata w oddzielnych zakładkach asystenta (długofalowe nawyki wymagają innych rozwiązań niż proste okno w pojedynczej karcie sesji).
Jak rozpoznać
Wskaźniki wyrażone w materiałach dokumentacji technicznej narzędzi z końcówkami np. „128k context limits”, „2M token limit window”.