Kontextové okno (Context window)
Maximální množství textu (v tokenech), které LLM model vidí a zpracuje najednou v jednom požadavku.
Co je kontextové okno?
Kontextové okno (anglicky context window) je maximální množství textu, které LLM model může přijmout a zpracovat najednou. Lze si ho představit jako pracovní plochu modelu - vše, co se na ni vejde, model vidí; co se nevejde, model neví.
Velikosti kontextových oken
- GPT-4o: 128 000 tokenů (přibližně 96 000 slov)
- Claude 3.5 Sonnet: 200 000 tokenů
- Gemini 1.5 Pro: 1 000 000 tokenů
Proč je kontextové okno důležité pro RAG
Pokud je dokument příliš velký, nevejde se celý do kontextového okna. Proto se dokumenty při RAG dělí na menší části (chunky) a do modelu se pošlou jen relevantní úseky - ne celý dokument.