ТехноСводка

ИИ

Asana снизила стоимость браузерного ИИ-агента в 29 раз, изменив кэширование истории

Команда Asana сообщила, что оптимизация кэша истории в браузерном агенте платформы StackAI сократила оценочную стоимость задачи на исходной модели в 29 раз.

Как рассказали в компании 8 октября, агент кэшировал системные инструкции и описания инструментов, но на каждом шаге менял накопленную историю страниц и скриншотов. Из-за изменения начала запроса поставщик модели не мог повторно использовать значительную часть обработанных токенов, и история оплачивалась как новый ввод.

Инженеры стали кэшировать и историю, увеличили лимит сохраняемого текста со 120 до 480 тысяч символов и заменили поштучное удаление скриншотов пакетным: в одной из политик агент копил до 20 снимков, затем оставлял последний. На исходной анонимизированной модели B оценка стоимости упала как минимум с 36,21 до 1,24 доллара.

Заявленные 76-кратная экономия и пятикратное ускорение получены при сравнении оптимизированного варианта на GPT-6.1 Sol ($0,47, около четырёх минут) с исходной конфигурацией на модели B, то есть не на одной и той же модели. Только для Sol изменение политики кэша и скриншотов при большем бюджете сократило расходы в четыре раза.

Тест включал 144 основных и 12 дополнительных запусков на четырёх моделях, а задача была одна: собрать шесть полей о 32 книгах из демонстрационного каталога. Это не независимый бенчмарк, и результат не гарантирует такой экономии для любого агента. Практический вывод: перед сменой модели стоит измерить долю попаданий в кэш и стоимость завершённой задачи.

  • Модель B: с $36,21 до $1,24 (в 29 раз)
  • 76 раз — сравнение разных моделей
  • 144 основных запуска, одна задача

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.