К содержимому

Java LLM API: SDK, запрос и обработка ошибок

OpenAI SDK для Java.

Установка

Установите клиент в проекте и передайте ключ через переменную RELAY_API_KEY среды.

text
implementation("com.openai:openai-java:4.75.1")

Первый запрос

Задайте адрес, ключ и идентификатор модели, затем прочитайте текст ответа.

ts
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class Main {
    public static void main(String[] args) {
        OpenAIClient client = OpenAIOkHttpClient.builder()
                .baseUrl("https://relay-llm.ru/v1")
                .apiKey(System.getenv("RELAY_API_KEY"))
                .build();
        ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
                .model("gpt-5.6-luna")
                .addUserMessage("Say hello in one sentence.")
                .build();
        ChatCompletion reply = client.chat().completions().create(params);
        System.out.println(reply.choices().get(0).message().content().orElse(""));
    }
}

Потоковый ответ

Поток показывает текст по мере генерации и сохраняет usage, если протокол его отдаёт.

ts
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.core.http.StreamResponse;
import com.openai.models.chat.completions.ChatCompletionChunk;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class Main {
    public static void main(String[] args) {
        OpenAIClient client = OpenAIOkHttpClient.builder()
                .baseUrl("https://relay-llm.ru/v1")
                .apiKey(System.getenv("RELAY_API_KEY"))
                .build();
        ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
                .model("gpt-5.6-luna")
                .addUserMessage("Say hello in one sentence.")
                .build();
        try (StreamResponse<ChatCompletionChunk> stream =
                client.chat().completions().createStreaming(params)) {
            stream.stream()
                    .flatMap(chunk -> chunk.choices().stream())
                    .flatMap(choice -> choice.delta().content().stream())
                    .forEach(System.out::print);
        }
        System.out.println();
    }
}

Ошибки и повторы

Клиент использует ограниченное число повторов и выводит идентификатор запроса при ошибке.

ts
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.errors.OpenAIServiceException;
import com.openai.errors.RateLimitException;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class Main {
    public static void main(String[] args) {
        OpenAIClient client = OpenAIOkHttpClient.builder()
                .baseUrl("https://relay-llm.ru/v1")
                .apiKey(System.getenv("RELAY_API_KEY"))
                .maxRetries(3)
                .build();
        ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
                .model("gpt-5.6-luna")
                .addUserMessage("Say hello in one sentence.")
                .build();
        try {
            ChatCompletion reply = client.chat().completions().create(params);
            System.out.println(reply.choices().get(0).message().content().orElse(""));
        } catch (RateLimitException error) {
            System.err.println("429 after retries: " + error.headers().values("x-request-id"));
            throw error;
        } catch (OpenAIServiceException error) {
            System.err.println(error.statusCode() + " " + error.code().orElse(""));
            throw error;
        }
    }
}
Исполняемые варианты: 0 из 4.
Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key