К содержимому
Блог

Что такое токены в нейросети: как считать вход и ответ

Что такое токены в нейросети: как считать вход и ответ

Что такое токены в нейросети простыми словами? Это единицы, на которые модель разбивает текст: слово, часть слова, знак или другой фрагмент. Ими измеряют размер входа и ответа. Токен не равен одному слову, поэтому число слов не даёт точную стоимость API-запроса. В Relay счётчики приходят в usage, а фактическое списание видно в истории запросов.

Коротко

  • Вход включает переданные инструкции, сообщения и другие данные запроса.

  • Выход расходуется на ответ; у моделей с рассуждениями он может включать и токены рассуждений.

  • Подсчёт перед вызовом оценивает вход, но не предсказывает длину будущего ответа.

Что такое токены в нейросети на примере запроса

Возьмём фразу «Объясни HTTP простыми словами». До обработки модель получает её в виде токенов по правилам своего токенизатора. Не стоит вручную делить фразу по пробелам: аббревиатура, кириллица и пунктуация могут разбиться иначе. У разных моделей один текст может занимать разное число токенов.

Токены в контексте нейросетей также не следует путать с API-ключом. Ключ разрешает обращение к сервису. Токены текста измеряют объём обработки. Покупка доступа не означает получение фиксированного количества слов: расход зависит от входа, ответа и модели.

Когда вы передаёте системное сообщение и длинный документ, оплачиваемый вход не ограничивается последней строкой вопроса. В него входит отправленное содержимое. Для изображений и других типов входа действуют особенности модели, поэтому текстовый пример нельзя переносить на мультимодальный запрос без проверки.

Почему продолжение диалога увеличивает расход

В обычном Chat Completions приложение заново передаёт нужные сообщения. Первый вызов может содержать инструкцию и один вопрос. Второй уже включает прежний вопрос, ответ модели и новое сообщение пользователя. История растёт, хотя новый вопрос остаётся коротким.

Если приложение каждый раз отправляет весь разговор, старые фрагменты снова попадают во вход. Сократите историю осознанно: оставьте недавние сообщения и факты, без которых следующий ответ потеряет смысл. Резюме старой части тоже проверьте, особенно имена, числа и принятые решения.

Не объединяйте в один диалог независимые задачи. Для обработки карточки нового товара история предыдущего товара обычно не нужна. Она увеличивает вход и создаёт риск перенести его характеристики в новый ответ.

Как узнать число токенов перед отправкой

В Relay есть метод Count Tokens. Он принимает тело в формате Anthropic Messages и возвращает input_tokens. Пример использует claude-opus-4-6; это существующая модель с поддержкой Messages. Сохраните тело запроса, чтобы сравнивать подсчёт именно с ним.

bash
curl -i "https://relay-llm.ru/v1/messages/count_tokens" \
  -H "x-api-key: $RELAY_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-4-6",
    "max_tokens": 300,
    "messages": [{"role": "user", "content": "Объясни HTTP простыми словами."}]
  }'

Для реального вызова нужен свой ключ Relay. Учебный ключ не работает. Сам метод не списывает деньги и не создаёт резерв; при долге на балансе он может вернуть 402.

Посмотрите заголовки. Если ответ содержит x-token-count-estimated: true, шлюз вернул собственную оценку вместо точного подсчёта модели. Это возможно при неподдерживаемом подсчёте, сбое или исчерпанном окне служебных методов. Оценка учитывает весь JSON и обычно завышена. Не выдавайте её за точную цену будущего ответа.

Каталог моделей

Как прочитать usage и рассчитать цену

В Chat Completions ищите prompt_tokens и completion_tokens, в Anthropic Messages input_tokens и output_tokens. Формат зависит от протокола. В Messages также могут прийти счётчики чтения и записи кэша; повтор одинакового текста сам по себе не гарантирует кэширование.

Для простого текстового запроса без кэша базовый расчёт такой: умножьте вход на ставку входа, выход на ставку выхода, сложите результаты и разделите на миллион, если ставки указаны за миллион токенов. Используйте цены выбранной модели со страницы цен. Не подставляйте ставку другой модели или прямой платформы.

Рассуждения могут входить в выходные токены, даже если пользователь не видит их как обычный текст. В Relay они оплачиваются по ставке выхода. Не прибавляйте вложенный счётчик рассуждений второй раз к уже включающему его общему выходу.

Для окончательной суммы откройте детали запроса в кабинете. Там видны компоненты и возможная строка округления. Счётчики usage помогают проверить объём, а правила резерва и списания описаны в документации оплаты запросов.

Как уменьшить вход и не оборвать ответ

Сначала уберите повторы инструкции и нерелевантные документы. Затем задайте нужный формат ответа. Просьба «верни три пункта» помогает управлять объёмом, но не служит жёстким токенным пределом. Параметры максимального вывода зависят от протокола и модели.

Не задавайте слишком маленький предел для JSON или кода. Обрезанный ответ может не разбираться, и повтор увеличит общий расход. В Chat Completions проверяйте finish_reason, в Messages stop_reason. При остановке по пределу не записывайте частичный результат как завершённый документ.

Что такое токены в нейросети и зачем их считать?

Они измеряют объём входа и выхода. Подсчёт помогает проверить размер запроса и объяснить расход API.

Сколько слов в одном токене?

Постоянного коэффициента нет. Он зависит от токенизатора, языка и текста; для кода и обычной прозы разбиение тоже различается.

Почему короткий вопрос стоит дорого?

Вместе с ним приложение могло отправить историю, документ или длинную инструкцию. Проверьте весь запрос и его usage.

Подсчёт токенов гарантирует, что хватит баланса?

Нет. Метод считает вход, а резерв и итог зависят также от выхода и правил оплаты запроса.

Создать аккаунт

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.