Лимиты

Лимиты ставятся на ключ, а не на аккаунт: цикл, сорвавшийся на стенде, не должен останавливать продакшен.

Пять ограничений

Что	Единица	Что происходит при исчерпании
RPM	запросов в минуту	429, окно скользящее — слот освобождается через минуту после своего запроса
RPD	запросов в сутки	429, окно тоже скользящее — сутки от самого запроса
Параллельные запросы	одновременных запросов по ключу	429, пока не завершится один из начатых
Потолок расхода в сутки	деньги за день UTC	402 до полуночи UTC или до поднятия потолка
Потолок расхода в месяц	деньги за календарный месяц	402 до первого числа или до поднятия потолка

Отдельно от лимитов ключу можно задать список моделей — точные идентификаторы или маску вида openai/*. Модель вне списка отвечает 403 model_not_allowed, а GET /v1/models таким ключом показывает уже урезанный каталог: выбирать из списка модель, на которую тот же ключ ответит отказом, незачем.

Все три необязательны: ключ без лимитов работает, пока хватает баланса аккаунта. Ставятся и меняются они в кабинете и действуют со следующего запроса.

Заголовки остатка

Приходят в каждом ответе, включая ошибочные.

text

X-RateLimit-Limit-Minute:        600
X-RateLimit-Remaining-Minute:    517
X-RateLimit-Reset-Minute:        41        # секунд до освобождения слота
X-RateLimit-Limit-Day:           120000
X-RateLimit-Remaining-Day:       98314
X-RateLimit-Reset-Day:           38102
Retry-After:                     41        # только при 429

Читать их дешевле, чем ловить 429: при остатке ниже десяти процентов имеет смысл притормозить самому, а не упираться в стену.

Как выбирать значения

RPM — по пиковой нагрузке плюс запас. Слишком низкий лимит превращается в очередь на вашей стороне и растит время ответа.
RPD — по здравому смыслу за сутки. Это защита от цикла, который сорвался ночью: он упрётся в потолок за час, а не потратит месячный бюджет.
Потолок расхода — по цене ошибки. Ставьте его даже там, где он кажется лишним: он ограничивает не удобство, а размер неприятности.

Что не ограничивается

Длина контекста и максимум ответа — свойства модели, а не лимиты аккаунта: поднять их нельзя, они видны в характеристиках модели.

Свои лимиты по API

GET /v1/key отдаёт лимиты ключа, израсходованное за сутки и за месяц, число запросов в работе прямо сейчас и остаток счёта. Запрос не тратит слот лимита: спрашивать свой потолок нельзя было бы, если бы сам вопрос его и расходовал.

bash

curl https://api.zerno.one/v1/key -H "Authorization: Bearer $ZERNO_API_KEY"

Уведомления

Порог баланса задаётся в кабинете: когда остаток опускается ниже него, на почту счёта уходит письмо, а на указанный https-адрес — POST с событием gateway.low_balance. Повторно не чаще раза в сутки, пополнение выше порога сбрасывает отметку.