Java LLM API: SDK, запрос и обработка ошибок
OpenAI SDK для Java.
Установка
Установите клиент в проекте и передайте ключ через переменную RELAY_API_KEY среды.
implementation("com.openai:openai-java:4.75.1")Первый запрос
Задайте адрес, ключ и идентификатор модели, затем прочитайте текст ответа.
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;
public class Main {
public static void main(String[] args) {
OpenAIClient client = OpenAIOkHttpClient.builder()
.baseUrl("https://relay-llm.ru/v1")
.apiKey(System.getenv("RELAY_API_KEY"))
.build();
ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
.model("gpt-5.6-luna")
.addUserMessage("Say hello in one sentence.")
.build();
ChatCompletion reply = client.chat().completions().create(params);
System.out.println(reply.choices().get(0).message().content().orElse(""));
}
}Потоковый ответ
Поток показывает текст по мере генерации и сохраняет usage, если протокол его отдаёт.
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.core.http.StreamResponse;
import com.openai.models.chat.completions.ChatCompletionChunk;
import com.openai.models.chat.completions.ChatCompletionCreateParams;
public class Main {
public static void main(String[] args) {
OpenAIClient client = OpenAIOkHttpClient.builder()
.baseUrl("https://relay-llm.ru/v1")
.apiKey(System.getenv("RELAY_API_KEY"))
.build();
ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
.model("gpt-5.6-luna")
.addUserMessage("Say hello in one sentence.")
.build();
try (StreamResponse<ChatCompletionChunk> stream =
client.chat().completions().createStreaming(params)) {
stream.stream()
.flatMap(chunk -> chunk.choices().stream())
.flatMap(choice -> choice.delta().content().stream())
.forEach(System.out::print);
}
System.out.println();
}
}Ошибки и повторы
Клиент использует ограниченное число повторов и выводит идентификатор запроса при ошибке.
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.errors.OpenAIServiceException;
import com.openai.errors.RateLimitException;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;
public class Main {
public static void main(String[] args) {
OpenAIClient client = OpenAIOkHttpClient.builder()
.baseUrl("https://relay-llm.ru/v1")
.apiKey(System.getenv("RELAY_API_KEY"))
.maxRetries(3)
.build();
ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
.model("gpt-5.6-luna")
.addUserMessage("Say hello in one sentence.")
.build();
try {
ChatCompletion reply = client.chat().completions().create(params);
System.out.println(reply.choices().get(0).message().content().orElse(""));
} catch (RateLimitException error) {
System.err.println("429 after retries: " + error.headers().values("x-request-id"));
throw error;
} catch (OpenAIServiceException error) {
System.err.println(error.statusCode() + " " + error.code().orElse(""));
throw error;
}
}
}Исполняемые варианты: 0 из 4.