К содержимому

Рубрика

Подключение API

109 статей

Доступ к LLM API из России: варианты и риски

Как выбрать доступ к LLM API из России без ложных обещаний: подписка или API, правила региона, владелец аккаунта, защита ключа, данные и план на случай отказа.

Альтернативы OpenRouter: как выбрать шлюз

Сравниваем не витрину обещаний, а критерии выбора LLM-шлюза: каталог, правила маршрута, наблюдаемость, ключи и условия пилота.

Свой LiteLLM или готовый LLM-шлюз для команды

Как посчитать стоимость владения шлюзом без выдуманных тарифов: инфраструктура, дежурства, доступ, журнал и границы контроля данных.

Helicone, Portkey и журнал LLM-запросов

Как разделить наблюдаемость, маршрутизацию и доступ к моделям, а затем проверить журнал LLM-вызовов на реальном инциденте.

Claude через AWS Bedrock и Google Vertex

Как выбрать облачный путь к Claude: контроль доступа, сеть, закупки, региональные требования и стоимость интеграции без ложных обещаний.

Что такое LLM-шлюз и когда он нужен

Разбираем, где LLM-шлюз стоит в запросе, чем отличается от прямого API и какие проверки провести до переноса рабочего трафика.

Изображения в LLM API: OCR, скриншоты и документы

Как подготовить изображение для LLM API, получить проверяемый результат из OCR или скриншота и не превратить ответ модели в неподтверждённый факт.

Безопасность LLM API: ПДн, логи и секреты

Как определить допустимые данные для LLM API, защитить ключи и логи, разделить автоматическую обработку и ручную проверку без обещаний юридического соответствия.

Function calling и tool use: как устроить цикл агента

Разбираем function calling: схема инструмента, цикл вызова, результаты и ошибки. Показываем, чем отличаются форматы Messages и Chat Completions.

Когда fine-tuning не нужен: что проверить до обучения модели

Четыре альтернативы fine-tuning: примеры во входе, структурированный вывод, RAG и выбор модели. Решение принимается по тестовому набору.

Структурированный JSON-ответ через tool use и проверку схемы

Как получать JSON-объекты от LLM через tool use: ограничить схему, проверить бизнес-правила и повторить запрос без бесконечного цикла.

RAG на LLM API: как собрать поиск, цитаты и проверку ответа

Пошаговая схема RAG: подготовка документов, поиск, ранжирование, контекст, цитаты и раздельная оценка retrieval и генерации.

Длинный контекст или RAG: как выбрать подход для данных

Выбираем между длинным контекстом и RAG по размеру корпуса, обновляемости, цене ошибки и повторяемости запросов. Даём план короткого эксперимента.

Переход с GPT на Claude по API: что менять в коде и промптах

Миграция с OpenAI на Claude через один ключ Relay: что меняется в запросе, какие параметры дают 400, как посчитать токены и держать запасной вариант.

Задержка LLM API: как измерить TTFT и сократить ожидание

Из чего складывается задержка LLM API, как измерить TTFT и скорость генерации на своём ключе и что сокращает ожидание: стриминг, кэш, короткий вывод.

Стриминг ответов Claude через SSE: код на TypeScript и Python

Как читать потоковый ответ Claude по SSE через Relay: формат событий Chat Completions и Messages, разбор на TypeScript и Python, ошибки в потоке.

Как получить API-ключ Claude: консоль Anthropic или Relay

Два пути к ключу для Claude: консоль Anthropic и кабинет Relay. Шаги создания, лимиты, проверка запросом и таблица: в какую переменную и какой клиент вставлять ключ.

Как подключить Codex CLI к API Relay

Настройка Codex CLI через Relay: model_providers в config.toml, base_url с /v1, API-ключ из переменной окружения и ограничения Responses API.

Как подключить Cursor к custom API Relay

Настройка Cursor через custom OpenAI API Relay: Override OpenAI Base URL, ключ, идентификатор модели, проверка чата и ограничения Agent mode.

Как подключить Open WebUI к API Relay

Настройка Open WebUI через Relay: OpenAI API Base URL, ключ, Docker, подключение в админке, список моделей и ограничения RAG без embeddings API.