Создание чата с распознаванием изображений (Потоковый вывод) Base64

Описание интерфейса: Принимая подсказку (промпт), модель возвращает одно или несколько предсказанных завершений, а также может возвращать вероятности альтернативных токенов для каждой позиции. Этот интерфейс в основном используется для создания диалоговых завершений, включающих распознавание изображений (на основе Base64) и текстовые подсказки.

Официальная документация: Документация OpenAI API

---

Детали интерфейса

• Метод запроса: POST
• URL запроса: https://api.codingplanx.ai/v1/chat/completions
• Формат данных: application/json

---

Заголовки запроса (Request Headers)

---

Параметры запроса (Request Body)

---

Пример запроса

{
  "model": "gpt-4o-mini",
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Что изображено на этой картинке? Пожалуйста, опишите подробно."
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAiEAAAIhCAYAAACYF2qHAAAACXBIWXMAAA7EAAAOxAGVKw4bAAAgAElEQVR4nOy9ebxtWVXf+x1zrrX2Pud2VRQUjUVf0glIYvOJLdJ8iCagIor... (здесь пропущена длинная строка base64)"
          }
        }
      ]
    }
  ]
}

---

Параметры ответа (Response Body)

---

Пример ответа (Успешно 200 OK)

{
    "id": "chatcmpl-123",
    "object": "chat.completion",
    "created": 1677652288,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\r
\r
Hello there, how may I assist you today?"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 12,
        "total_tokens": 21
    }
}

---

Часто задаваемые вопросы (FAQ)

Q1: Как включить потоковый вывод (Streaming)? A: В теле запроса установите параметр stream на true. После включения интерфейс больше не будет ждать полной генерации ответа перед возвратом. Вместо этого он будет возвращать блоки данных в формате data: {...} пословно/пофразово через события, отправляемые сервером (Server-Sent Events, SSE), пока не получит маркер data: [DONE], сигнализирующий об окончании генерации.

Q2: Каковы требования к кодировке Base64 для распознавания изображений? A: Строка Base64 изображения должна содержать правильный префикс MIME-типа, например, data:image/png;base64, или data:image/jpeg;base64,. Рекомендуется сжать размер изображения перед его преобразованием в Base64, чтобы уменьшить задержку передачи по сети и снизить потребление prompt_tokens (слишком большие изображения потребляют много токенов и могут даже превысить лимит контекста).

Q3: Почему ответ модели был обрезан? A: Пожалуйста, проверьте значение choices[0].finish_reason в теле ответа. Если это length, это означает, что сгенерированный текст достиг установленного вами лимита max_tokens, или весь диалог превысил ограничение максимального контекстного окна для этой модели. Вы можете решить эту проблему, увеличив max_tokens.

Q4: Как заставить модель выводить данные в формате JSON? A: Во-первых, вам нужно установить "response_format": { "type": "json_object" } в теле запроса. Важное примечание: Помимо установки этого параметра, вы также должны явно потребовать от модели вывод JSON на естественном языке в системном промпте (system prompt) или пользовательском промпте в messages (например: "Пожалуйста, выведите результат в формате JSON"). Если этого не сделать, модель может застрять в бесконечной генерации пробелов, пока не исчерпает все токены.

Q5: Что делать, если возникает ошибка 401 Unauthorized? A: Пожалуйста, убедитесь, что параметр Authorization в заголовках запроса правильно содержит API-ключ, и формат строго соответствует Bearer ВАШ_API_КЛЮЧ (обратите внимание на пробел между словом Bearer и самим ключом).