Нейросети
Как оценить цену обработки тысячи запросов к модели

Описание
Измерьте типичный объём входа и выхода на нескольких настоящих задачах. Умножьте каждую часть на соответствующую ставку модели и приведите её к указанной единице, например к миллиону токенов. Для изображений и дополнительных инструментов могут действовать отдельные единицы.
Умножьте стоимость задачи на ожидаемое число запросов, добавив долю повторов. Посчитайте обычный день и день пиковой нагрузки. Сравните оценку с отчётом после пробной партии и обновите расчёт для фактических размеров ответов.
Обсуждение