ИИ 28 октября 2026, 01:06 МСК

Исследователи: запросы к ИИ на редких языках могут требовать до 17 раз больше токенов

Коалиция CLEAR описала «налог токенизатора»: один и тот же по смыслу текст на разных языках разбивается на сильно отличающееся число токенов.

Поскольку многие коммерческие ИИ-сервисы берут плату за токены, пользователи неанглийских языков могут платить больше. Исследователи сравнили языки на корпусе FLORES-200: среди 20 самых распространённых языков разница составила от 1,5 до 5 раз в зависимости от модели, а при расширении выборки до 200 языков для отдельных моделей достигла 17 раз. Например, фраза на английском занимает 13 токенов, на малаялам — 26.

Помимо цены, больше токенов означает меньше места в контекстном окне для документов и истории диалога, а также возможный рост нагрузки и задержки ответа. Особенно заметно это для письменностей, слабо представленных в обучающих данных токенизаторов, в том числе бирманской, тибетской, кхмерской и лаосской. Редкость языка не определяет результат: астурийский выигрывает за счёт латиницы и сходства с романскими языками. Строгого соотношения стоимости нет, оно зависит от текста и контекста.

Специалисты предлагают добавлять в обучающие выборки больше качественных многоязычных данных и разрабатывать токенизаторы под разные письменности, подчёркивая, что одних данных недостаточно.

• 20 популярных языков: разница от 1,5 до 5 раз
• 200 языков: до 17 раз для отдельных моделей
• Малаялам: 26 токенов против 13 у английского