Создание завершения чата (Потоковый режим)

Ссылка на официальную документацию: OpenAI Chat Create

Описание интерфейса

При получении промпта (Prompt) модель возвращает один или несколько предсказанных вариантов завершения диалога. Этот интерфейс поддерживает как стандартные, так и потоковые (SSE) ответы, а также может возвращать вероятности альтернативных токенов для каждой позиции.

Описание запроса

• Метод запроса: POST
• URL запроса: https://api.codingplanx.ai/v1/chat/completions

Заголовки запроса (Headers)

Тело запроса (Request Body)

Пример запроса

{
  "model": "gpt-5-mini",
  "max_tokens": 1000,
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "Привет"
    }
  ],
  "temperature": 1.0,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}

---

Описание ответа

• Content-Type: application/json (непотоковый) или text/event-stream (при потоковом stream: true)

Параметры ответа (Непотоковая структура)

Пример ответа (Непотоковый / Агрегированный потоковый результат)

{
    "id": "chatcmpl-123",
    "object": "chat.completion",
    "created": 1677652288,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\r
\r
Hello there, how may I assist you today?"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 12,
        "total_tokens": 21
    }
}

(Примечание: если в запросе указано stream: true, тело ответа будет представлять собой поток событий SSE, разделенных переносом строки. Каждая строка начинается с data: {...} и завершается data: [DONE].)

---

ЧАВО (Часто задаваемые вопросы)

Q1: Как парсить потоковый ответ при включенном stream: true? A: При включении stream: true API возвращает данные по протоколу Server-Sent Events (SSE). Клиенту необходимо построчно считывать поток ответа, находить строки, начинающиеся с префикса data: , и парсить их как JSON. Обратите внимание, что последнее сообщение потока всегда data: [DONE], что означает конец потока. При парсинге этот маркер завершения необходимо отфильтровать.

Q2: Почему после установки response_format в JSON мой запрос зависает или возвращает бесконечный пустой поток? A: Если вы используете { "type": "json_object" } для включения режима JSON, вы обязаны в передаваемых messages (обычно в системном промпте — system prompt) явно указать модели «пожалуйста, выведи в формате JSON». Без соответствующей текстовой инструкции модель может застрять, генерируя бесконечные пустые символы до достижения лимита max_tokens.

Q3: Можно ли одновременно изменять параметры temperature и top_p? A: Официальная документация настоятельно не рекомендует изменять оба параметра одновременно. Оба они являются механизмами управления случайностью вывода модели. Если вы хотите сделать ответы более стабильными и предсказуемыми, уменьшите temperature ИЛИ уменьшите top_p. Если хотите больше креативности, увеличьте один из них. Одновременное изменение обоих приведет к непредсказуемым результатам.

Q4: Какова функция параметра extra_body.enable_thinking? A: Это специальный расширенный параметр данного интерфейса. При передаче {"enable_thinking": true}, если используемая бэкенд-модель поддерживает «режим рассуждения (Thinking Mode/Chain of Thought)» (например, некоторые LLM с расширенной логикой), модель запустит процесс глубокого обдумывания. Если модель это не поддерживает, данный параметр обычно игнорируется.

Q5: Почему finish_reason в ответе равен length, а не stop? A: Значение length в finish_reason означает, что модель не успела сгенерировать полный ответ и была принудительно прервана. Обычно это происходит потому, что задано слишком малое значение параметра max_tokens, либо общее количество входных и сгенерированных токенов превысило максимально допустимое контекстное окно текущей модели. Попробуйте увеличить значение max_tokens.