Что такое top-p (nucleus sampling) в AI
Top-p (nucleus sampling) — параметр генерации, ограничивающий выбор следующего токена определённой долей наиболее вероятных вариантов. При top-p = 0.9 модель рассматривает только токены, суммарная вероятность которых составляет 90%.
Top-p работает как динамический фильтр: если один токен имеет вероятность 95%, модель выберет только его (при top-p = 0.9). Если же вероятности распределены равномерно, модель рассмотрит много вариантов. Это отличает top-p от top-k, который всегда ограничивает фиксированным количеством вариантов. Обычно рекомендуют менять либо temperature, либо top-p, но не оба одновременно. Значение по умолчанию — 1.0 (без ограничений). Для более предсказуемых ответов используют 0.1–0.5.
Примеры использования
- •Top-p 0.1: модель выбирает из самых вероятных токенов — строгие ответы
- •Top-p 0.9: модель рассматривает 90% вероятностного пространства — разнообразные ответы
- •Top-p 1.0: без ограничений — все токены рассматриваются (управление только через temperature)
Связанные термины
Попробуйте Top-p в Stone AI
Открыть AI-чат →