Chat-Vervollständigung erstellen (Streaming)

Offizielle Dokumentation als Referenz: OpenAI Chat Create

Schnittstellenbeschreibung

Bei Vorgabe eines Prompts gibt das Modell eine oder mehrere vorhergesagte Vervollständigungen der Konversation zurück. Diese Schnittstelle unterstützt sowohl Standard-Antworten als auch Streaming-Antworten (SSE) und kann die Wahrscheinlichkeiten alternativer Tokens an jeder Position zurückgeben.

Anfrage-Spezifikationen

• Anfragemethode: POST
• Anfrage-URL: https://api.codingplanx.ai/v1/chat/completions

Anfrage-Header (Headers)

Anfrage-Body (Request Body)

Anfrage-Beispiel

{
  "model": "gpt-5-mini",
  "max_tokens": 1000,
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "你好"
    }
  ],
  "temperature": 1.0,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}

---

Antwort-Spezifikationen

• Content-Type: application/json (Nicht-Streaming) oder text/event-stream (bei Streaming mit stream: true)

Antwort-Parameter (Nicht-Streaming-Struktur)

Antwort-Beispiel (Nicht-Streaming / Aggregierte Streaming-Ergebnisse)

{
    "id": "chatcmpl-123",
    "object": "chat.completion",
    "created": 1677652288,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\r
\r
Hello there, how may I assist you today?"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 12,
        "total_tokens": 21
    }
}

(Hinweis: Wenn stream: true in der Anfrage angegeben wurde, ist der Antwort-Body ein durch Zeilenumbrüche getrennter SSE-Event-Stream, bei dem jede Zeile mit data: {...} beginnt und der Stream mit data: [DONE] endet.)

---

FAQs (Häufig gestellte Fragen)

Q1: Wie parse ich eine Streaming-Antwort, bei der stream: true aktiviert ist? A: Wenn stream: true aktiviert ist, gibt die API Daten über das Protokoll Server-Sent Events (SSE) zurück. Der Client muss den Antwort-Stream zeilenweise lesen, nach Strings suchen, die mit dem Präfix data: beginnen, und diese als JSON parsen. Bitte beachten Sie, dass die letzte Nachricht des Datenstroms immer data: [DONE] ist, was das Ende des Streams markiert. Diese Abschlussmarkierung muss beim Parsen herausgefiltert werden.

Q2: Warum bleibt meine Anfrage hängen oder gibt einen endlosen Leerzeichen-Stream zurück, nachdem ich response_format auf JSON gesetzt habe? A: Wenn Sie den JSON-Modus mit { "type": "json_object" } aktivieren, müssen Sie das Modell in den übergebenen messages (meistens im System-Prompt) ausdrücklich anweisen: „Bitte generiere JSON“. Fehlt ein entsprechender Text-Prompt, kann das Modell stecken bleiben und endlos Leerzeichen generieren, bis das Limit von max_tokens erreicht ist.

Q3: Können die Parameter temperature und top_p gleichzeitig angepasst werden? A: Offiziell wird dringend davon abgeraten, beide Parameter gleichzeitig anzupassen. Beide Mechanismen dienen dazu, die Zufälligkeit der Modellausgabe zu steuern. Wenn Sie eine stabilere und vorhersehbarere Ausgabe wünschen, verringern Sie die temperature ODER senken Sie top_p. Wenn Sie kreativere Antworten möchten, erhöhen Sie einen von beiden. Das gleichzeitige Ändern beider Parameter führt zu unvorhersehbaren Ergebnissen.

Q4: Welche Funktion hat der Parameter extra_body.enable_thinking? A: Dies ist ein spezieller Erweiterungsparameter dieser Schnittstelle. Wenn Sie {"enable_thinking": true} übergeben und das vom Backend verwendete Modell den „Denkmodus (Thinking Mode / Chain of Thought)“ (wie einige LLMs mit verbesserter Logik) unterstützt, startet das Modell einen tiefgehenden Denkprozess. Wenn das Modell dies nicht unterstützt, wird dieser Parameter in der Regel einfach ignoriert.

Q5: Warum ist der finish_reason in der Antwort length und nicht stop? A: Ein finish_reason mit dem Wert length zeigt an, dass die Modellantwort zwangsweise abgeschnitten wurde, bevor sie vollständig generiert werden konnte. Dies liegt meist daran, dass Ihr max_tokens-Parameter zu klein eingestellt ist oder die Gesamtzahl der Eingabe- und Ausgabe-Tokens das maximal zulässige Kontextfenster-Limit des aktuellen Modells überschreitet. Bitte versuchen Sie, den Wert für max_tokens zu erhöhen.