Потоковый ответ приходит кусками, пока модель пишет. Пользователь видит текст сразу, а не после долгой паузы. Платой за удобство становится код: поток нужно разобрать по событиям, не потерять расход токенов и правильно закрыть при обрыве или отмене.
В формате OpenAI поток завершает строка data: [DONE], в Anthropic Messages событие message_stop. Без этих признаков ответ считается неполным. Ошибка до начала потока приходит обычным JSON с кодом, а сбой посреди потока приходит событием error или виден как обрыв соединения. События описаны в документации по стримингу. Рядом лежат рабочий код на TypeScript и Python и приёмы, которые сокращают время до первого токена.