Créer une complétion de chat (Streaming)

Référence de la documentation officielle : OpenAI Chat Create

Description de l'API

Étant donné une invite (Prompt), le modèle renverra une ou plusieurs prédictions de complétion de chat. Cette API prend en charge à la fois les réponses standard et les réponses en continu / streaming (SSE), et peut également renvoyer les probabilités des jetons (tokens) alternatifs à chaque position.

Instructions de requête

• Méthode de requête : POST
• URL de requête : https://api.codingplanx.ai/v1/chat/completions

En-têtes de requête (Headers)

Corps de la requête (Request Body)

Exemple de requête

{
  "model": "gpt-5-mini",
  "max_tokens": 1000,
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "你好"
    }
  ],
  "temperature": 1.0,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}

---

Instructions de réponse

• Content-Type: application/json (Non-streaming) ou text/event-stream (Streaming lorsque stream: true)

Paramètres de réponse (Structure non-streaming)

Exemple de réponse (Non-streaming / Résultat de streaming agrégé)

{
    "id": "chatcmpl-123",
    "object": "chat.completion",
    "created": 1677652288,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\r
\r
Hello there, how may I assist you today?"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 12,
        "total_tokens": 21
    }
}

(Remarque : Si stream: true est spécifié dans la requête, le corps de la réponse sera un flux d'événements SSE séparés par des sauts de ligne, chaque ligne commençant par data: {...}, et se terminant par data: [DONE].)

---

FAQs (Foire Aux Questions)

Q1 : Comment analyser (parser) une réponse en streaming avec stream: true activé ? R : Lorsque stream: true est activé, l'API renvoie les données via le protocole Server-Sent Events (SSE). Le client doit lire le flux de réponse ligne par ligne, trouver les chaînes commençant par le préfixe data: et les analyser au format JSON. Veuillez noter que le dernier message du flux de données est toujours data: [DONE], indiquant la fin du flux. Vous devez filtrer ce marqueur de fin lors de l'analyse de la réponse.

Q2 : Pourquoi ma requête se bloque-t-elle ou renvoie-t-elle un flux de caractères blancs infini après avoir défini response_format sur JSON ? R : Lorsque vous activez le mode JSON à l'aide de { "type": "json_object" }, vous devez ordonner explicitement au modèle de "générer un format JSON" dans les messages transmis (généralement dans l'invite système / system prompt). Sans invite textuelle pertinente, le modèle peut rester bloqué et générer une infinité de caractères blancs jusqu'à ce que la limite de max_tokens soit atteinte.

Q3 : Les paramètres temperature et top_p peuvent-ils être ajustés simultanément ? R : Il est fortement déconseillé de modifier ces deux paramètres en même temps. Les deux sont des mécanismes utilisés pour contrôler le caractère aléatoire de la sortie du modèle. Si vous souhaitez rendre la sortie plus stable et prévisible, diminuez temperature OU réduisez top_p ; si vous voulez des réponses plus créatives, augmentez l'un d'entre eux. Modifier les deux à la fois rendra les résultats difficiles à prédire.

Q4 : Quel est le rôle du paramètre extra_body.enable_thinking ? R : Il s'agit d'un paramètre d'extension spécifique à cette API. Lors de la transmission de {"enable_thinking": true}, si le modèle actuellement utilisé par le backend prend en charge le "Mode de réflexion (Thinking Mode/CoT)" (comme certains grands modèles améliorés pour le raisonnement), le modèle initiera un processus de réflexion approfondie. Si le modèle ne le prend pas en charge, ce paramètre est généralement ignoré.

Q5 : Pourquoi le finish_reason de la réponse est-il length au lieu de stop ? R : Le fait que finish_reason renvoie length indique que le modèle a été tronqué de force avant de générer une réponse complète. Cela est généralement dû au fait que votre paramètre max_tokens est défini de manière trop faible, ou que le nombre total de jetons (entrée + générés) dépasse la limite maximale de la fenêtre de contexte autorisée par le modèle actuel. Veuillez essayer d'augmenter la valeur de max_tokens.