Helicone, Portkey и журнал LLM-запросов
Helicone и Portkey часто появляются в одном списке с LLM-шлюзами, хотя команде полезнее сравнивать не названия, а слой, который она хочет получить. Наблюдаемость отвечает на вопрос «что произошло». Маршрутизация, «куда отправить вызов». Контур доступа, «кто и с каким пределом может это сделать». Один продукт может покрывать несколько слоёв, но они не становятся одной задачей.
Коротко
Сначала определите, нужна ли вам история вызовов, правила маршрута или оба слоя.
Журнал ценен, если связывает ошибку приложения с конкретным запросом и не хранит лишнее.
Сравнивайте актуальные возможности внешних продуктов по их документации в день решения, а не по старой матрице функций.
Что должен ответить журнал
У поддержки обычно нет времени перечитывать весь лог приложения. Ей нужно найти один вызов, увидеть его время, модель, ключ, статус, расход и код ошибки. Поэтому минимальная единица наблюдаемости, это связующий идентификатор. Без него история превращается в набор похожих строк.
В Relay эту роль выполняет request_id. Он присутствует в деталях запроса и сообщениях об ошибках, а журнал показывает токены, стоимость и статус. Для выгрузки доступен CSV с теми же фильтрами, но не более 100 000 строк за один период. Сначала это кажется бытовой деталью. На деле предел заставляет заранее определить нужный срез, а не собирать бесконечный архив «на всякий случай».
Тексты запросов и ответов не входят в этот набор. Это важная граница: содержимое ответа удобно для отладки качества, но опасно собирать автоматически. До подключения любого дополнительного слоя спросите, кто видит полезную нагрузку, сколько она хранится и как её удаляют.
Наблюдаемость, роутер и шлюз
Логирующий слой помогает искать причину ошибки, строить метрики и анализировать использование. Роутер выбирает путь вызова по заданному правилу. Шлюз может дополнительно выпускать ключи, применять предел расходов и показывать журнал. В архитектуре они могут стоять рядом. Вопрос в том, нужен ли каждый слой отдельно.
Если приложение уже получает доступ к нескольким моделям и проблема в непрозрачном расходе, начните с наблюдаемости. Если главная боль, непредсказуемый выбор модели, сначала сформулируйте правила маршрута и тесты качества. Установка тяжёлого прокси ради графика не исправит маршрут. Равно как один переключатель модели не заменит разбор инцидента.
Рассматривая Helicone и Portkey, соберите одну проверочную таблицу: какие события записываются, как искать вызов, где задаётся доступ, какой путь проходит содержимое запроса, как устроена выгрузка и кто отвечает при сбое. Ответы меняются вместе с продуктами, поэтому фиксируйте ссылку на первичную страницу и дату проверки.
Что Relay даёт для первого контура
Relay ведёт журнал запросов с токенами, стоимостью и статусом. Можно отфильтровать запись по ключу, модели и статусу, открыть детали и передать request_id в поддержку вместо ключа либо текста запроса. Разбор того, что сохранять рядом с этим идентификатором, есть в статье о логах для поддержки. Поля и фильтры описаны на странице контроля использования.
Разделяйте ключи по приложению и окружению. Тогда журнал сразу отвечает, какой сервис сделал вызов, а пределы на ключе останавливают неожиданную нагрузку. Лимит можно настроить, а ключ отключить или заменить. Ошибка key_limit_exceeded означает, что запрос вышел за предел и средства не списались.
Для сценариев, где нужнее доступность, предусмотрены правила резервного маршрута. Сейчас они не включены, у опубликованной модели один путь. После настройки другой путь может изменить фактическую цену, а результат от другой модели не следует считать эквивалентным без проверки. Границы маршрутизации и контроля вызова разобраны в статье об LLM-шлюзе.
Один инцидент как экзамен системы
Сначала выберите один тестовый запрос, который должен дойти до исполнения, и зафиксируйте время, ключ, модель и ожидаемый статус. В приложении сохраните HTTP-ответ и request_id, затем найдите этот вызов в журнале. Отдельно вызовите безопасную раннюю ошибку, например отдельным ключом с маленьким пределом. Для неё сверяйте ответ клиента и request_id: запись использования может не появиться.
После этого ответьте письменно на три вопроса. Кто получает уведомление? Какие данные нужны для расследования? Как остановить повторяющуюся задачу? Если на любой вопрос нужен ручной поиск по нескольким системам, наблюдаемость пока не стала инструментом эксплуатации.
Я бы не начинал с попытки собрать максимальное число полей. Сначала нужен короткий, надёжный путь от жалобы к вызову. Остальные графики имеют смысл после этого.
Какие поля нужны первыми
Минимальный журнал начинается со времени, идентификатора вызова, ключа или сервиса, модели, статуса, числа токенов и стоимости. Этого достаточно, чтобы ответить на большую часть вопросов о расходе и сбое. Если добавить тысячи полей без сценария использования, поиск станет медленнее, а риск захватить чувствительные данные вырастет.
Дальше поля добавляют под конкретный разбор. Для скорости может потребоваться время первого байта и длительность потока. Для качества, версия промпта и результат автоматической проверки. Для маршрута, причина перехода и фактическая модель. Каждое новое поле должно иметь владельца и срок хранения.
Не смешивайте журнал эксплуатации с хранилищем содержимого. Запрос или ответ иногда нужен для отладки, но это отдельное решение с правами, сроком удаления и риском. Запись «пользователь сообщил о плохом ответе» не даёт разрешения сохранять все ответы всех пользователей.
Как построить алерт без шума
Алерт должен приводить к действию. Процент ошибок без разреза по модели, ключу и коду часто лишь будит дежурного. Начните с нескольких сигналов: резкий рост отказов, рост вызовов одним ключом и накопление неподтверждённых попыток. key_limit_exceeded возникает на ранней проверке, поэтому такие отказы считайте по ответам и метрикам приложения, а не по журналу. Для каждого сигнала заранее запишите первый шаг.
В Relay журнал даёт материал для такого разбора, но порог и канал уведомления зависят от приложения. Не стоит копировать чужие значения. Возьмите историю нормальной недели, выделите рабочее окно и установите правило, которое отлавливает реальное отклонение, а не ежедневный пик.
Что не следует писать в журнал
Не помещайте туда ключи, полные тексты запросов по умолчанию, данные карт или персональные сведения, если без них можно расследовать событие. Даже технический идентификатор должен иметь назначение. Чем больше содержимого хранится в журнале, тем шире круг доступа и выше цена ошибки.
Вместо этого сохраните request_id, время, сервис, статус и агрегированные данные использования. Если для отдельного случая нужно содержание, оформите это отдельным процессом с ограниченным доступом и сроком удаления. Такой подход чуть менее удобен на старте, зато не превращает наблюдаемость в неконтролируемый архив.
Где заканчивается техническое сравнение
После пилота остаются вопросы договора, доступа сотрудников и обработки данных. На них не отвечает график с числом вызовов. Если продукт работает с чувствительными сведениями, подключите владельца требований до того, как начнёте отправлять реальный трафик через новый слой. Техническая совместимость не даёт разрешения на обработку данных.
Нужен ли отдельный инструмент наблюдаемости, если уже есть журнал запросов?
Зависит от вопроса, который не закрывает журнал. Для поиска вызова, расхода и статуса базового набора может хватить. Если нужны специальные трассы, оценка качества или объединение событий с другими системами, отдельный слой может оказаться оправданным. Сначала подтвердите этот пробел на реальном сценарии.
Почему нельзя отправлять ключ в поддержку вместе с логом?
Ключ даёт доступ к API и не нужен для поиска вызова. Гораздо безопаснее передать request_id, время и код ошибки. По ним можно найти запись журнала, не раскрывая секрет. Такое правило стоит закрепить и в шаблоне обращения, и в инструкции дежурного.
Что проверять при подключении резервного маршрута?
Проверьте, допускает ли задача другой результат, какой ключ может использовать переход, как меняется фактическая цена и как это отражается в журнале. Резервный путь полезен, когда правило явно задано. Без него он превращает ошибку в тихое изменение поведения продукта.