Chat-Bilderkennung generieren (Non-Streaming)

Dieser API-Endpunkt wird verwendet, um Prompts mit Text und Bildern an das Modell zu senden und eine einmalig generierte Chat-Vervollständigung zu erhalten. Das Modell liefert basierend auf dem eingegebenen Kontext und dem Bildinhalt eine detaillierte Beschreibung oder Antwort.

API-Endpunkt: https://api.codingplanx.ai/v1/chat/completions
HTTP-Methode: POST
Status: Veröffentlicht (Released)

Anfrage-Header (Headers)

Parameter	Erforderlich	Typ	Beispielwert	Beschreibung
Content-Type	Ja	String	`application/json`	Format des Anfrage-Bodys
Accept	Ja	String	`application/json`	Format des Antwort-Bodys
Authorization	Nein	String	`Bearer {{YOUR_API_KEY}}`	API-Schlüssel zur Authentifizierung

Anfrage-Body (Request Body)

Parameter	Erforderlich	Typ	Standardwert	Beschreibung
model	Ja	String	-	Die ID des zu verwendenden Modells (z. B. `gpt-4o`).
messages	Ja	Array	-	Liste der Dialog-Nachrichten. Bei der Bilderkennung muss für `content` ein Array von Objekten übergeben werden.
temperature	Nein	Number	1	Sampling-Temperatur (0-2). Höhere Werte bedeuten mehr Zufälligkeit, niedrigere Werte mehr Determinismus.
top_p	Nein	Number	1	Nucleus-Sampling-Wahrscheinlichkeit. Es wird empfohlen, entweder diesen Wert oder `temperature` anzupassen, nicht beide.
max_tokens	Nein	Integer	inf	Die maximale Anzahl der zu generierenden Tokens.
n	Nein	Integer	1	Anzahl der zu generierenden Antwort-Alternativen pro Eingabe.
stream	Nein	Boolean	false	Ob die Ausgabe gestreamt werden soll. Für diesen Endpunkt fix auf `false`.
stop	Nein	String/Array	null	Stop-Sequenzen für die Generierung. Unterstützt maximal 4 Sequenzen.
presence_penalty	Nein	Number	0	Presence Penalty (-2.0 bis 2.0). Erhöht die Wahrscheinlichkeit, dass über neue Themen gesprochen wird.
frequency_penalty	Nein	Number	0	Frequency Penalty (-2.0 bis 2.0). Verringert die Wahrscheinlichkeit, dass dieselben Phrasen wiederholt werden.
response_format	Nein	Object	-	Spezifiziert das Ausgabeformat. Z. B. aktiviert `{ "type": "json_object" }` den JSON-Modus.
user	Nein	String	-	Eindeutige Kennung des Endnutzers.
tools	Nein	Array	-	Liste der Tools, die das Modell aufrufen kann (aktuell nur function unterstützt).
tool_choice	Nein	Object	-	Steuert das Verhalten des Modells beim Aufrufen von Tools (none/auto/spezifische Funktion).

Struktur des Bilderkennungsobjekts in messages (Content Array)

Bei einer Anfrage zur Bilderkennung sollte messages.content folgende Struktur aufweisen:

type: "text" oder "image_url"
text: Wenn type auf text gesetzt ist, geben Sie hier die Textfrage ein.
image_url: Wenn type auf image_url gesetzt ist, übergeben Sie das Objekt { "url": "Bild-URL" }.

Anfrage-Beispiel (Example)

{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
            "role": "user",
            "content": [
                {
                    "type": "text", 
                    "text": "Was ist auf diesem Bild zu sehen? Bitte beschreibe es im Detail."
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://lsky.zhongzhuan.chat/i/2024/10/17/6711068a14527.png"
                    }
                }
            ]
        }
    ]
}

Antwort-Parameter (Response Body)

Parameter	Typ	Beschreibung
id	String	Eindeutige Kennung für diese Anfrage.
object	String	Objekttyp, fixiert auf `chat.completion`.
created	Integer	Unix-Zeitstempel (in Sekunden).
choices	Array	Enthält die generierten Antwort-Optionen.
└ index	Integer	Index der Option.
└ message	Object	Vom Modell zurückgegebenes Nachrichtenobjekt (enthält role und content).
└ finish_reason	String	Grund für den Stopp der Generierung (z. B. `stop`, `length`).
usage	Object	Statistiken zur Token-Nutzung.
└ prompt_tokens	Integer	Anzahl der für den Prompt verbrauchten Tokens.
└ completion_tokens	Integer	Anzahl der für die Vervollständigung (Ergebnis) verbrauchten Tokens.
└ total_tokens	Integer	Gesamtanzahl der verbrauchten Tokens.

Antwort-Beispiel (Response)

{
    "id": "chatcmpl-123",
    "object": "chat.completion",
    "created": 1677652288,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Dieses Bild zeigt einen aufgeräumten Schreibtisch mit einem Laptop, einer Tasse Kaffee und einer Sukkulente."
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 120,
        "completion_tokens": 45,
        "total_tokens": 165
    }
}

Häufig gestellte Fragen (FAQs)

Q: Welche Modelle unterstützen die Bilderkennungsfunktion? A: Aktuell werden hauptsächlich multimodale Modelle wie gpt-4o, gpt-4-turbo und gpt-4-vision-preview unterstützt. Stellen Sie sicher, dass Sie die korrekte ID im Feld model übergeben.

Q: Welche Bildformate werden unterstützt? A: Es werden gängige Bildformate wie PNG, JPEG, WEBP sowie nicht-animierte GIFs unterstützt.

Q: Gibt es Berechtigungseinschränkungen für Bildlinks? A: Die angegebene Bild-URL muss öffentlich zugänglich sein. Wenn sich das Bild in einem privaten Cloud-Speicher befindet, generieren Sie bitte zunächst einen temporären Zugriffslink mit Signatur oder konvertieren Sie das Bild in eine Base64-Codierung, bevor Sie es übergeben (Hinweis: Base64 muss dem Format data:image/jpeg;base64,... folgen).

Q: Wie wird die Bilderkennung abgerechnet? A: Bilder werden basierend auf ihrer Auflösung und Detailgenauigkeit in Tokens umgewandelt und abgerechnet. Bilder mit niedriger Auflösung verbrauchen in der Regel eine feste, geringe Anzahl an Tokens. Bei hochauflösenden Bildern werden die Tokens anhand der Anzahl der 512x512 Kacheln berechnet.

Q: Was soll ich tun, wenn ich eine Streaming-Ausgabe (Schreibmaschinen-Effekt) wünsche? A: Bitte setzen Sie den Anfrageparameter stream auf true. Beachten Sie jedoch, dass sich diese Dokumentation auf Nicht-Streaming-Antworten bezieht. Das Datenformat für Streaming-Antworten ändert sich zu Server-Sent Events (SSE).

Q: Warum wird "finish_reason": "length" zurückgegeben? A: Dies bedeutet, dass die generierte Antwort das von Ihnen festgelegte max_tokens-Limit erreicht hat oder das Kontextfenster-Limit des Modells überschritten wurde, was dazu führt, dass der Inhalt abgeschnitten wird.