ИИ 22 октября 2026, 16:31 МСК

Perplexity и NVIDIA представили метод JOLT, сокращающий расход токенов при дообучении

Perplexity Research совместно с NVIDIA представила метод JOLT для пост-обучения языковых моделей, который, по данным авторов, требует в 6–14 раз меньше токенов, чем GRPO.

В JOLT одна модель играет две роли: учитель видит привилегированную информацию, например проверенное решение, ученик — нет, и обе роли обучаются совместно. Метод призван решить проблему самодистилляции, где учитель, знающий ответ, даёт подсказки, непосильные ученику. Вариант JOLT+ добавляет центрированную итоговую награду ученика.

Проверка прошла на пяти наборах и пяти моделях от Qwen3-0.6B до Qwen3-30B-A3B. По данным авторов, JOLT+ обходит GRPO на GSM8K на 1,5 п. п., на MATH на 4,2, на LiveCodeBench v6 на 3,0 и на AppWorld на 9,9 п. п. На MATH для точности 63,4% GRPO потребовалось 8,4 млн токенов, JOLT — 1,3 млн (по аппроксимированной кривой), то есть примерно в 6,5 раза меньше; по сгенерированным токенам разрыв до 13 раз. Чистый JOLT уступает GRPO на AppWorld и Terminal-Bench, лучший результат даёт комбинация.

Эксперименты проведены на сравнительно небольших моделях, независимых воспроизведений пока нет, а выигрыш на разных бенчмарках заметно отличается. Планы NVIDIA по включению метода в свои инструменты компании не заявляли.

• В 6,5 раза меньше токенов на MATH, до 13 раз по сгенерированным
• JOLT+ превосходит GRPO на AppWorld на 9,9 п. п.
• Независимых воспроизведений пока нет