Подсчёт токенов API: вход запроса без списания
Число входных токенов запроса до его отправки. Деньги с баланса не списываются.
Обзор метода
POST https:// принимает то же тело, что /, и возвращает число входных токенов. Запрос не списывает деньги и не откладывает резерв на балансе.
Нужен ключ в заголовке x-api-key или Authorization: Bearer. Ошибки приходят в формате Anthropic.
Шлюз читает только поле model, остальное тело передаётся модели.
Метод делит с другими служебными методами окно в 120 запросов в минуту на ключ. Когда окно исчерпано, вместо ответа 429 приходит оценка шлюза. Пока на балансе долг, метод отвечает 402 insufficient_balance.
Пример запроса
Запрос на трёх языках. Адрес API уже подставлен.
cURL
curl https://relay-llm.ru/v1/messages/count_tokens \
-H "x-api-key: $RELAY_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "MODEL_ID",
"messages": [
{
"role": "user",
"content": "Say hello in one sentence."
}
]
}'Python
import os
from anthropic import Anthropic
client = Anthropic(base_url="https://relay-llm.ru", api_key=os.environ["RELAY_API_KEY"])
count = client.messages.count_tokens(
model="MODEL_ID",
messages=[{"role": "user", "content": "Say hello in one sentence."}],
)
print(count.input_tokens)JavaScript
const response = await fetch('https://relay-llm.ru/v1/messages/count_tokens', {
method: 'POST',
headers: {
'x-api-key': process.env.RELAY_API_KEY,
'anthropic-version': '2023-06-01',
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: 'MODEL_ID',
messages: [{ role: 'user', content: 'Say hello in one sentence.' }],
}),
})
if (!response.ok) throw new Error(`HTTP ${response.status}: ${await response.text()}`)
const data = await response.json()
console.log(data.input_tokens)Вместо MODEL_ID подставьте идентификатор модели из каталога. Примеры читают ключ из переменной окружения RELAY_API_KEY, адрес API уже подставлен.
Ответ
{
"input_tokens": 14
}Ответ содержит одно поле: input_tokens, число токенов входа.
Оценка шлюза
Шлюз передаёт тело модели для точного подсчёта. Если тело слишком большое для этого, окно служебных методов исчерпано, модель не умеет считать токены, не ответила за 10 с или сбойнула (ответ 429 или 5xx, обрыв соединения), шлюз отвечает собственной оценкой и добавляет заголовок x-token-count-estimated: true. Если модель отклонила сам запрос кодом 400, 413 или 422, эта ошибка возвращается клиенту в формате Anthropic.
Оценка считает весь JSON запроса, поэтому обычно завышена. Стоимость запроса считайте по usage в его ответе, а не по подсчёту.