Что такое токены в нейросети: как считать вход и ответ
Что такое токены в нейросети простыми словами? Это единицы, на которые модель разбивает текст: слово, часть слова, знак или другой фрагмент. Ими измеряют размер входа и ответа. Токен не равен одному слову, поэтому число слов не даёт точную стоимость API-запроса. В Relay счётчики приходят в usage, а фактическое списание видно в истории запросов.
Коротко
Вход включает переданные инструкции, сообщения и другие данные запроса.
Выход расходуется на ответ; у моделей с рассуждениями он может включать и токены рассуждений.
Подсчёт перед вызовом оценивает вход, но не предсказывает длину будущего ответа.
Что такое токены в нейросети на примере запроса
Возьмём фразу «Объясни HTTP простыми словами». До обработки модель получает её в виде токенов по правилам своего токенизатора. Не стоит вручную делить фразу по пробелам: аббревиатура, кириллица и пунктуация могут разбиться иначе. У разных моделей один текст может занимать разное число токенов.
Токены в контексте нейросетей также не следует путать с API-ключом. Ключ разрешает обращение к сервису. Токены текста измеряют объём обработки. Покупка доступа не означает получение фиксированного количества слов: расход зависит от входа, ответа и модели.
Когда вы передаёте системное сообщение и длинный документ, оплачиваемый вход не ограничивается последней строкой вопроса. В него входит отправленное содержимое. Для изображений и других типов входа действуют особенности модели, поэтому текстовый пример нельзя переносить на мультимодальный запрос без проверки.
Почему продолжение диалога увеличивает расход
В обычном Chat Completions приложение заново передаёт нужные сообщения. Первый вызов может содержать инструкцию и один вопрос. Второй уже включает прежний вопрос, ответ модели и новое сообщение пользователя. История растёт, хотя новый вопрос остаётся коротким.
Если приложение каждый раз отправляет весь разговор, старые фрагменты снова попадают во вход. Сократите историю осознанно: оставьте недавние сообщения и факты, без которых следующий ответ потеряет смысл. Резюме старой части тоже проверьте, особенно имена, числа и принятые решения.
Не объединяйте в один диалог независимые задачи. Для обработки карточки нового товара история предыдущего товара обычно не нужна. Она увеличивает вход и создаёт риск перенести его характеристики в новый ответ.
Как узнать число токенов перед отправкой
В Relay есть метод Count Tokens. Он принимает тело в формате Anthropic Messages и возвращает input_tokens. Пример использует claude-opus-4-6; это существующая модель с поддержкой Messages. Сохраните тело запроса, чтобы сравнивать подсчёт именно с ним.
curl -i "https://relay-llm.ru/v1/messages/count_tokens" \
-H "x-api-key: $RELAY_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-opus-4-6",
"max_tokens": 300,
"messages": [{"role": "user", "content": "Объясни HTTP простыми словами."}]
}'Для реального вызова нужен свой ключ Relay. Учебный ключ не работает. Сам метод не списывает деньги и не создаёт резерв; при долге на балансе он может вернуть 402.
Посмотрите заголовки. Если ответ содержит x-token-count-estimated: true, шлюз вернул собственную оценку вместо точного подсчёта модели. Это возможно при неподдерживаемом подсчёте, сбое или исчерпанном окне служебных методов. Оценка учитывает весь JSON и обычно завышена. Не выдавайте её за точную цену будущего ответа.
Как прочитать usage и рассчитать цену
В Chat Completions ищите prompt_tokens и completion_tokens, в Anthropic Messages input_tokens и output_tokens. Формат зависит от протокола. В Messages также могут прийти счётчики чтения и записи кэша; повтор одинакового текста сам по себе не гарантирует кэширование.
Для простого текстового запроса без кэша базовый расчёт такой: умножьте вход на ставку входа, выход на ставку выхода, сложите результаты и разделите на миллион, если ставки указаны за миллион токенов. Используйте цены выбранной модели со страницы цен. Не подставляйте ставку другой модели или прямой платформы.
Рассуждения могут входить в выходные токены, даже если пользователь не видит их как обычный текст. В Relay они оплачиваются по ставке выхода. Не прибавляйте вложенный счётчик рассуждений второй раз к уже включающему его общему выходу.
Для окончательной суммы откройте детали запроса в кабинете. Там видны компоненты и возможная строка округления. Счётчики usage помогают проверить объём, а правила резерва и списания описаны в документации оплаты запросов.
Как уменьшить вход и не оборвать ответ
Сначала уберите повторы инструкции и нерелевантные документы. Затем задайте нужный формат ответа. Просьба «верни три пункта» помогает управлять объёмом, но не служит жёстким токенным пределом. Параметры максимального вывода зависят от протокола и модели.
Не задавайте слишком маленький предел для JSON или кода. Обрезанный ответ может не разбираться, и повтор увеличит общий расход. В Chat Completions проверяйте finish_reason, в Messages stop_reason. При остановке по пределу не записывайте частичный результат как завершённый документ.
Что такое токены в нейросети и зачем их считать?
Они измеряют объём входа и выхода. Подсчёт помогает проверить размер запроса и объяснить расход API.
Сколько слов в одном токене?
Постоянного коэффициента нет. Он зависит от токенизатора, языка и текста; для кода и обычной прозы разбиение тоже различается.
Почему короткий вопрос стоит дорого?
Вместе с ним приложение могло отправить историю, документ или длинную инструкцию. Проверьте весь запрос и его usage.
Подсчёт токенов гарантирует, что хватит баланса?
Нет. Метод считает вход, а резерв и итог зависят также от выхода и правил оплаты запроса.