К содержимому

Go LLM API: SDK, запрос и обработка ошибок

Go-клиенты OpenAI и Anthropic.

Установка

Установите клиент в проекте и передайте ключ через переменную RELAY_API_KEY среды.

OpenAI SDK

bash
go get github.com/openai/openai-go/v3@v3.70.0

Anthropic SDK

bash
go get github.com/anthropics/anthropic-sdk-go@v1.78.0

Первый запрос

Задайте адрес, ключ и идентификатор модели, затем прочитайте текст ответа.

OpenAI SDK

ts
package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://relay-llm.ru/v1"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
	)
	reply, err := client.Chat.Completions.New(context.Background(), openai.ChatCompletionNewParams{
		Model: "gpt-5.6-luna",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.UserMessage("Say hello in one sentence."),
		},
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(reply.Choices[0].Message.Content)
}

Anthropic SDK

ts
package main

import (
	"context"
	"fmt"
	"os"

	"github.com/anthropics/anthropic-sdk-go"
	"github.com/anthropics/anthropic-sdk-go/option"
)

func main() {
	client := anthropic.NewClient(
		option.WithBaseURL("https://relay-llm.ru"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
	)
	reply, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
		Model:     "claude-haiku-5-5",
		MaxTokens: 256,
		Messages: []anthropic.MessageParam{
			anthropic.NewUserMessage(anthropic.NewTextBlock("Say hello in one sentence.")),
		},
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(reply.Content[0].Text)
}

Потоковый ответ

Поток показывает текст по мере генерации и сохраняет usage, если протокол его отдаёт.

OpenAI SDK

ts
package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://relay-llm.ru/v1"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
	)
	params := openai.ChatCompletionNewParams{
		Model: "gpt-5.6-luna",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.UserMessage("Say hello in one sentence."),
		},
		StreamOptions: openai.ChatCompletionStreamOptionsParam{IncludeUsage: openai.Bool(true)},
	}
	stream := client.Chat.Completions.NewStreaming(context.Background(), params)
	defer stream.Close()
	for stream.Next() {
		chunk := stream.Current()
		if len(chunk.Choices) > 0 {
			fmt.Print(chunk.Choices[0].Delta.Content)
		}
		if chunk.Usage.TotalTokens > 0 {
			fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
		}
	}
	if err := stream.Err(); err != nil {
		panic(err)
	}
}

Anthropic SDK

ts
package main

import (
	"context"
	"fmt"
	"os"

	"github.com/anthropics/anthropic-sdk-go"
	"github.com/anthropics/anthropic-sdk-go/option"
)

func main() {
	client := anthropic.NewClient(
		option.WithBaseURL("https://relay-llm.ru"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
	)
	params := anthropic.MessageNewParams{
		Model:     "claude-haiku-5-5",
		MaxTokens: 256,
		Messages: []anthropic.MessageParam{
			anthropic.NewUserMessage(anthropic.NewTextBlock("Say hello in one sentence.")),
		},
	}
	stream := client.Messages.NewStreaming(context.Background(), params)
	message := anthropic.Message{}
	for stream.Next() {
		event := stream.Current()
		if err := message.Accumulate(event); err != nil {
			panic(err)
		}
		if delta, ok := event.AsAny().(anthropic.ContentBlockDeltaEvent); ok {
			if text, ok := delta.Delta.AsAny().(anthropic.TextDelta); ok {
				fmt.Print(text.Text)
			}
		}
	}
	if err := stream.Err(); err != nil {
		panic(err)
	}
	fmt.Printf("\n%d output tokens\n", message.Usage.OutputTokens)
}

Ошибки и повторы

Клиент использует ограниченное число повторов и выводит идентификатор запроса при ошибке.

OpenAI SDK

ts
package main

import (
	"context"
	"errors"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://relay-llm.ru/v1"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
		option.WithMaxRetries(3),
	)
	reply, err := client.Chat.Completions.New(context.Background(), openai.ChatCompletionNewParams{
		Model: "gpt-5.6-luna",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.UserMessage("Say hello in one sentence."),
		},
	})
	var apiErr *openai.Error
	if errors.As(err, &apiErr) {
		fmt.Println(apiErr.StatusCode, apiErr.Code, apiErr.Response.Header.Get("X-Request-Id"))
		os.Exit(1)
	}
	if err != nil {
		panic(err)
	}
	fmt.Println(reply.Choices[0].Message.Content)
}

Anthropic SDK

ts
package main

import (
	"context"
	"errors"
	"fmt"
	"os"

	"github.com/anthropics/anthropic-sdk-go"
	"github.com/anthropics/anthropic-sdk-go/option"
)

func main() {
	client := anthropic.NewClient(
		option.WithBaseURL("https://relay-llm.ru"),
		option.WithAPIKey(os.Getenv("RELAY_API_KEY")),
		option.WithMaxRetries(3),
	)
	reply, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
		Model:     "claude-haiku-5-5",
		MaxTokens: 256,
		Messages: []anthropic.MessageParam{
			anthropic.NewUserMessage(anthropic.NewTextBlock("Say hello in one sentence.")),
		},
	})
	var apiErr *anthropic.Error
	if errors.As(err, &apiErr) {
		fmt.Println(apiErr.StatusCode, apiErr.Response.Header.Get("X-Request-Id"))
		os.Exit(1)
	}
	if err != nil {
		panic(err)
	}
	fmt.Println(reply.Content[0].Text)
}
Исполняемые варианты: 6 из 8.
Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key