Что такое контекстное окно нейросети
Контекстное окно (context window) — максимальное количество токенов, которое языковая модель может обработать в одном запросе. Включает и входной промпт, и сгенерированный ответ.
Размер контекстного окна определяет, сколько информации модель может «помнить» в рамках одного диалога. GPT-4 Turbo имеет окно 128 000 токенов, Claude 3.5 — 200 000, Gemini 1.5 Pro — до 2 000 000 токенов. Увеличение контекста позволяет загружать целые книги, кодовые базы или длинные документы. Однако модели могут хуже работать с информацией в середине длинного контекста — это называется «проблема потерянной середины» (lost-in-the-middle). Стоимость запросов растёт пропорционально размеру контекста.
Примеры использования
- •Загрузка всей кодовой базы проекта для анализа (Claude 200K)
- •Обработка книги целиком для суммаризации (Gemini 2M)
- •Длинный многоходовый диалог с сохранением контекста
Попробуйте Контекстное окно в Stone AI
Открыть AI-чат →