Наука 10 октября 2026, 16:29 МСК

Исследование: LLM не смогли заново открыть 9 из 20 базовых алгоритмов без подсказок

В работе «Can Large Language Models Reinvent Foundational Algorithms?» три модели с открытыми весами при подавленных знаниях не восстановили ни одним способом 9 из 20 фундаментальных алгоритмов.

Авторы использовали «машинное забывание», подавляющее воспроизведение определённых знаний без переобучения. Затем моделям давали программные задачи, где нужен нужный алгоритм (например, Дейкстры или Евклида), и позволяли писать, запускать и исправлять код на Python. Если при генерации подавляли токены с названием алгоритма, успешность падала на 19–39%.

Подсказки заметно помогали: общее указание на подход и пошаговое объяснение позволяли восстановить больше алгоритмов, а подробные инструкции иногда давали результат лучше исходного. Без обратной связи модели могли сокращать рассуждения — это назвали «схлопыванием рассуждений». Проверяющий модуль поддерживал поиск и повышал успешность, но не расширил набор восстановленных алгоритмов.

Авторы оговаривают, что моделей и алгоритмов было немного, а «забывание» не гарантирует полного удаления знаний, поэтому результат — приблизительная верхняя граница. Работа не доказывает, что LLM вообще неспособны к фундаментальным открытиям.

• 3 модели с открытыми весами, 20 алгоритмов
• Подавление названия алгоритма снижало успех на 19–39%