К содержимому

Подсчёт токенов API: вход запроса без списания

Число входных токенов запроса до его отправки. Деньги с баланса не списываются.

Обзор метода

POST https://relay-llm.ru/v1/messages/count_tokens принимает то же тело, что /v1/messages, и возвращает число входных токенов. Запрос не списывает деньги и не откладывает резерв на балансе.

Нужен ключ в заголовке x-api-key или Authorization: Bearer. Ошибки приходят в формате Anthropic.

Шлюз читает только поле model, остальное тело передаётся модели.

Метод делит с другими служебными методами окно в 120 запросов в минуту на ключ. Когда окно исчерпано, вместо ответа 429 приходит оценка шлюза. Пока на балансе долг, метод отвечает 402 insufficient_balance.

Пример запроса

Запрос на трёх языках. Адрес API уже подставлен.

cURL

bash
curl https://relay-llm.ru/v1/messages/count_tokens \
  -H "x-api-key: $RELAY_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": "Say hello in one sentence."
      }
    ]
  }'

Python

python
import os
from anthropic import Anthropic

client = Anthropic(base_url="https://relay-llm.ru", api_key=os.environ["RELAY_API_KEY"])

count = client.messages.count_tokens(
    model="MODEL_ID",
    messages=[{"role": "user", "content": "Say hello in one sentence."}],
)
print(count.input_tokens)

JavaScript

ts
const response = await fetch('https://relay-llm.ru/v1/messages/count_tokens', {
  method: 'POST',
  headers: {
    'x-api-key': process.env.RELAY_API_KEY,
    'anthropic-version': '2023-06-01',
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    model: 'MODEL_ID',
    messages: [{ role: 'user', content: 'Say hello in one sentence.' }],
  }),
})
if (!response.ok) throw new Error(`HTTP ${response.status}: ${await response.text()}`)
const data = await response.json()
console.log(data.input_tokens)

Вместо MODEL_ID подставьте идентификатор модели из каталога. Примеры читают ключ из переменной окружения RELAY_API_KEY, адрес API уже подставлен.

Ответ

json
{
  "input_tokens": 14
}

Ответ содержит одно поле: input_tokens, число токенов входа.

Оценка шлюза

Шлюз передаёт тело модели для точного подсчёта. Если тело слишком большое для этого, окно служебных методов исчерпано, модель не умеет считать токены, не ответила за 10 с или сбойнула (ответ 429 или 5xx, обрыв соединения), шлюз отвечает собственной оценкой и добавляет заголовок x-token-count-estimated: true. Если модель отклонила сам запрос кодом 400, 413 или 422, эта ошибка возвращается клиенту в формате Anthropic.

Оценка считает весь JSON запроса, поэтому обычно завышена. Стоимость запроса считайте по usage в его ответе, а не по подсчёту.

Все коды ошибок

Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key