Выборка Min-P
Выборка Min-P (Min P sampling, также minimum probability) — продвинутый параметр генерации текста в LLM. Он определяет минимальный порог вероятности относительно наиболее вероятного токена. Параметр используется для фильтрации маловероятных токенов при генерации текста, в которых с высокой вероятностью может находиться какой-то бред.
Описание[править]
При генерации каждого следующего токена языковая модель вычисляет распределение вероятностей по всему словарю. Для того, чтобы сформировать более качественное пространство выборки, модель определяет токен с максимальной вероятностью P_max, затем устанавливается порог P_threshold = Min P × P_max, и все токены с вероятностью ниже P_threshold исключаются из рассмотрения. Оставшиеся токены перенормализуются, и из них производится выбор.
Для каждой генерации Min P задаётся в определённых рамках:
- 0.0 — отключает фильтрацию, все токены остаются доступными
- 0.05 — делается мягкая фильтрация, большинство токенов остаются доступными
- 0.1 — проводится умеренная фильтрация, сохраняется баланс, при котором текст остаётся оригинальным
- 0.2-0.5 — внедряется строгая фильтрация, нейросеть всегда предпочитает самые вероятные варианты
- > 0.5 — проводится очень консервативный отбор, большинство токенов сливаются в унитаз.
Температура применяется до осуществления выборки Min P. Низкая температура делает распределение острее, Min P отсеивает больше токенов, в то время как высокая температура делает распределение более плоским, Min P ограничивает меньшее количество токенов. Посредством тщательной балансировки параметров определяется качество текста.
Это подход весьма вычислительно эффективен, он требует одного прохода для определения максимума и одного для фильтрации.
Min P особенно полезен для авторегрессивных трансформеров, где каждый токен генерируется последовательно. Параметр помогает контролировать дрейф генерации от контекста.
