🔥 Я отходил на час, а токены горели
Модель держит недавний разговор в быстрой памяти, в кэше. Пока вы рядом, она перечитывает его дёшево. Пауза дольше часа, и кэш стирается: на следующем сообщении весь разговор записывается заново.
Всего мои агенты читают около 0,94 млрд токенов в день, и 96% из них это повторное чтение кэша. А за 7 дней они записали в кэш 229 млн токенов. Агент сначала решил, что виноваты правки моих файлов памяти. Данные это не подтвердили. Со второго захода нашлась настоящая причина: 65% записи, 149 млн, шли после пауз дольше часа. Таких пауз за неделю было 388.
📍 Вывод
Самые дорогие минуты в системе мои: обед, созвон, сон. И первая гипотеза ИИ звучала убедительно, но была неверной. Решение я выбираю сам: сбрасывать длинную сессию после простоя или ограничить её размер.
Вы проверяли, на что на самом деле уходят ваши ИИ-лимиты? Пишите в комментариях.
Работаем дальше.
