Рубрика
Подключение API
109 статей
Доступ к LLM API из России: варианты и риски
Как выбрать доступ к LLM API из России без ложных обещаний: подписка или API, правила региона, владелец аккаунта, защита ключа, данные и план на случай отказа.
Альтернативы OpenRouter: как выбрать шлюз
Сравниваем не витрину обещаний, а критерии выбора LLM-шлюза: каталог, правила маршрута, наблюдаемость, ключи и условия пилота.
Свой LiteLLM или готовый LLM-шлюз для команды
Как посчитать стоимость владения шлюзом без выдуманных тарифов: инфраструктура, дежурства, доступ, журнал и границы контроля данных.
Helicone, Portkey и журнал LLM-запросов
Как разделить наблюдаемость, маршрутизацию и доступ к моделям, а затем проверить журнал LLM-вызовов на реальном инциденте.
Claude через AWS Bedrock и Google Vertex
Как выбрать облачный путь к Claude: контроль доступа, сеть, закупки, региональные требования и стоимость интеграции без ложных обещаний.
Что такое LLM-шлюз и когда он нужен
Разбираем, где LLM-шлюз стоит в запросе, чем отличается от прямого API и какие проверки провести до переноса рабочего трафика.
Изображения в LLM API: OCR, скриншоты и документы
Как подготовить изображение для LLM API, получить проверяемый результат из OCR или скриншота и не превратить ответ модели в неподтверждённый факт.
Безопасность LLM API: ПДн, логи и секреты
Как определить допустимые данные для LLM API, защитить ключи и логи, разделить автоматическую обработку и ручную проверку без обещаний юридического соответствия.
Function calling и tool use: как устроить цикл агента
Разбираем function calling: схема инструмента, цикл вызова, результаты и ошибки. Показываем, чем отличаются форматы Messages и Chat Completions.
Когда fine-tuning не нужен: что проверить до обучения модели
Четыре альтернативы fine-tuning: примеры во входе, структурированный вывод, RAG и выбор модели. Решение принимается по тестовому набору.
Структурированный JSON-ответ через tool use и проверку схемы
Как получать JSON-объекты от LLM через tool use: ограничить схему, проверить бизнес-правила и повторить запрос без бесконечного цикла.
RAG на LLM API: как собрать поиск, цитаты и проверку ответа
Пошаговая схема RAG: подготовка документов, поиск, ранжирование, контекст, цитаты и раздельная оценка retrieval и генерации.
Длинный контекст или RAG: как выбрать подход для данных
Выбираем между длинным контекстом и RAG по размеру корпуса, обновляемости, цене ошибки и повторяемости запросов. Даём план короткого эксперимента.
Переход с GPT на Claude по API: что менять в коде и промптах
Миграция с OpenAI на Claude через один ключ Relay: что меняется в запросе, какие параметры дают 400, как посчитать токены и держать запасной вариант.
Задержка LLM API: как измерить TTFT и сократить ожидание
Из чего складывается задержка LLM API, как измерить TTFT и скорость генерации на своём ключе и что сокращает ожидание: стриминг, кэш, короткий вывод.
Стриминг ответов Claude через SSE: код на TypeScript и Python
Как читать потоковый ответ Claude по SSE через Relay: формат событий Chat Completions и Messages, разбор на TypeScript и Python, ошибки в потоке.
Как получить API-ключ Claude: консоль Anthropic или Relay
Два пути к ключу для Claude: консоль Anthropic и кабинет Relay. Шаги создания, лимиты, проверка запросом и таблица: в какую переменную и какой клиент вставлять ключ.
Как подключить Codex CLI к API Relay
Настройка Codex CLI через Relay: model_providers в config.toml, base_url с /v1, API-ключ из переменной окружения и ограничения Responses API.
Как подключить Cursor к custom API Relay
Настройка Cursor через custom OpenAI API Relay: Override OpenAI Base URL, ключ, идентификатор модели, проверка чата и ограничения Agent mode.
Как подключить Open WebUI к API Relay
Настройка Open WebUI через Relay: OpenAI API Base URL, ключ, Docker, подключение в админке, список моделей и ограничения RAG без embeddings API.