Небольшой тест моделей API на своих рабочих примерах

Возьмите набор обезличенных запросов разной сложности и заранее определите, что считается правильным ответом. Для извлечения данных это могут быть точные поля JSON, для поддержки — верный шаг решения и отсутствие выдуманных условий.
Запускайте модели на одинаковых входах и сохраняйте версию модели, настройки, время ответа и объём использования. Проверяйте спорные ответы вручную. Повторите несколько примеров: единичный удачный ответ не показывает устойчивость всей интеграции.
Обсуждение