Кэш: как платить за повторяющийся текст в разы меньше
Если в каждом запросе повторяются одни и те же инструкции или база знаний, большую часть входа можно оплачивать со скидкой.
Во многих задачах начало запроса одинаковое: длинная инструкция для модели, правила компании, справочник товаров. Меняется только последний кусочек — вопрос клиента. Платить каждый раз полную цену за одно и то же необязательно.
Как это работает
Многие провайдеры запоминают недавно отправленный текст. Если следующий запрос начинается с того же самого куска, этот кусок считается «попаданием в кэш» и стоит заметно дешевле обычного входа — часто в несколько раз, а иногда и на порядок.
Когда кэш даёт большую экономию
- Чат-боты с длинной инструкцией и базой знаний в начале каждого запроса.
- Анализ одного и того же большого документа разными вопросами.
- Массовая обработка однотипных данных по одному шаблону.
Как помочь кэшу сработать
- Ставьте неизменную часть (инструкции, справочники) в самое начало запроса, а меняющуюся — в конец.
- Не вставляйте в начало дату, время или случайные данные: любое изменение в начале «ломает» совпадение.
- Уточните у провайдера условия: минимальный размер кэшируемого куска, срок хранения и то, нужно ли включать кэш вручную. Иногда за запись в кэш берут отдельную плату.
Как учесть в расчёте
В нашем калькуляторе откройте «Тонкую настройку» и укажите, какая доля входа повторяется. Если цена кэша у модели неизвестна, скидку мы не применяем — лучше недооценить экономию, чем пообещать лишнее.