К содержимому

Kotlin LLM API: SDK, запрос и обработка ошибок

OpenAI SDK для Kotlin.

Установка

Установите клиент в проекте и передайте ключ через переменную RELAY_API_KEY среды.

text
implementation("com.openai:openai-java:4.75.1")

Первый запрос

Задайте адрес, ключ и идентификатор модели, затем прочитайте текст ответа.

ts
import com.openai.client.okhttp.OpenAIOkHttpClient
import com.openai.models.chat.completions.ChatCompletionCreateParams

fun main() {
    val client = OpenAIOkHttpClient.builder()
        .baseUrl("https://relay-llm.ru/v1")
        .apiKey(System.getenv("RELAY_API_KEY"))
        .build()
    val params = ChatCompletionCreateParams.builder()
        .model("gpt-5.6-luna")
        .addUserMessage("Say hello in one sentence.")
        .build()
    val reply = client.chat().completions().create(params)
    println(reply.choices().first().message().content().orElse(""))
}

Потоковый ответ

Поток показывает текст по мере генерации и сохраняет usage, если протокол его отдаёт.

ts
import com.openai.client.okhttp.OpenAIOkHttpClient
import com.openai.models.chat.completions.ChatCompletionCreateParams

fun main() {
    val client = OpenAIOkHttpClient.builder()
        .baseUrl("https://relay-llm.ru/v1")
        .apiKey(System.getenv("RELAY_API_KEY"))
        .build()
    val params = ChatCompletionCreateParams.builder()
        .model("gpt-5.6-luna")
        .addUserMessage("Say hello in one sentence.")
        .build()
    client.chat().completions().createStreaming(params).use { stream ->
        stream.stream()
            .flatMap { chunk -> chunk.choices().stream() }
            .flatMap { choice -> choice.delta().content().stream() }
            .forEach { text -> print(text) }
    }
    println()
}

Ошибки и повторы

Клиент использует ограниченное число повторов и выводит идентификатор запроса при ошибке.

ts
import com.openai.client.okhttp.OpenAIOkHttpClient
import com.openai.errors.OpenAIServiceException
import com.openai.errors.RateLimitException
import com.openai.models.chat.completions.ChatCompletionCreateParams

fun main() {
    val client = OpenAIOkHttpClient.builder()
        .baseUrl("https://relay-llm.ru/v1")
        .apiKey(System.getenv("RELAY_API_KEY"))
        .maxRetries(3)
        .build()
    val params = ChatCompletionCreateParams.builder()
        .model("gpt-5.6-luna")
        .addUserMessage("Say hello in one sentence.")
        .build()
    try {
        val reply = client.chat().completions().create(params)
        println(reply.choices().first().message().content().orElse(""))
    } catch (error: RateLimitException) {
        System.err.println("429 after retries: ${error.headers().values("x-request-id")}")
        throw error
    } catch (error: OpenAIServiceException) {
        System.err.println("${error.statusCode()} ${error.code().orElse("")}")
        throw error
    }
}
Исполняемые варианты: 0 из 4.
Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key