Error 502: apa yang harus dilakukan saat gpt-5-nano gagal

Kode 502 berarti gateway menerima respons tidak valid dari layanan model hulu: permintaan sampai ke gateway, tetapi lompatan ke hulu gagal.

502 Bad Gateway berarti gateway menerima respons tidak valid dari layanan model upstream. Permintaan sudah sampai gateway; kegagalan terjadi pada lompatan dari gateway ke upstream, biasanya karena node upstream restart atau koneksi terputus.

gpt-5-nano disediakan oleh OpenAI. Semua di halaman ini — penyebab, solusi, dan data terukur — disusun dari perilaku runtime nyata model ini di lapisan gateway.

Di gateway ini, pemicu yang paling umum adalah: Layanan model hulu tidak tersedia atau mengembalikan respons cacat. Tindakan pertama yang disarankan: Coba sekali lagi — 502 biasanya sementara.

Penyebab umum

  • Layanan model hulu tidak tersedia atau mengembalikan respons cacat
  • Node hulu sedang restart
  • Koneksi gateway ke hulu terputus
  • Model sementara dihentikan

Cara mengatasi

  • Coba sekali lagi — 502 biasanya sementara
  • Beralih ke model setara dari vendor lain
  • Jika hanya satu model yang terus 502, hulunya bermasalah
  • Coba lagi nanti atau hubungi kami

Contoh percobaan ulang dengan exponential backoff

Kode di bawah mencoba ulang ketika gpt-5-nano mengembalikan 502, maksimal 5 kali, dengan waktu tunggu yang meningkat plus jitter acak agar permintaan paralel tidak mengulang bersamaan. Baca base URL dan API key dari environment variable, jangan hardcode.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gpt-5-nano'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Data penting model ini

TPS12503.86
Latensi rata-rata27982 ms
Tingkat sukses100%
Endpoint APIhttps://api.airai.cc/v1
Kompatibel OpenAIOpenAI-compatible
VendorOpenAI
Konteks400K
KemampuanReasoning, Tools, Files, Vision
Format APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Rumus penagihanp * 0.05 + cr * 0.005 + c * 0.4

FAQ

Apakah 502 lebih sering terjadi di percakapan multi-giliran dengan gpt-5-nano?

Parameter permintaan harus diubah, mencoba ulang saja tidak membantu. Ini masalah konfigurasi sisi klien, sisi server tidak perlu diubah. Tag kemampuan adalah Reasoning, Tools, Files, Vision, dan batas parameter mengikuti set kemampuan tersebut. Jendela konteks 400K menentukan input maksimum per permintaan; yang melebihinya langsung ditolak. Untuk error parameter, gagalkan langsung daripada menghabiskan percobaan ulang. Potong atau ringkas input yang panjang — ini menurunkan 502 secara nyata.

Bagaimana mencegah 502 di gpt-5-nano sejak awal?

Siapkan juga satu model cadangan. Fallback di tingkat arsitektur lebih andal daripada menambal setiap error satu per satu. Model dari OpenAI ini punya beberapa node upstream yang bisa diganti gateway. Siapkan model cadangan yang lebih ringan agar alur utama tidak terputus. Taruh nama model di konfigurasi, sehingga ganti upstream tidak perlu mengubah kode.

Apakah saya ditagih saat gpt-5-nano mengembalikan 502?

Tidak ada tagihan, hanya output yang benar-benar dihasilkan yang dihitung. Hanya output yang sudah dihasilkan yang ditagihkan; bagian yang gagal tidak. Dengan penagihan p * 0.05 + cr * 0.005 + c * 0.4, permintaan yang gagal tidak dihitung dalam penggunaan. Periksa saldo dan batas laju di konsol dulu, baru periksa kodenya. Saat memperkirakan biaya dari p * 0.05 + cr * 0.005 + c * 0.4, sertakan juga anggaran percobaan ulang.

Permintaan konkuren sebaiknya diantrekan atau dibatasi langsung?

Variabel sebenarnya di sini adalah konkurensi dan timeout, bukan modelnya. Turunkan konkurensi terlebih dahulu — sebagian besar masalah throughput akan hilang. Throughput terukur 12503.86, patokan berguna untuk batas konkurensi. Konteks 400K berarti input panjang menambah latensi token pertama secara nyata. Mulai dari konkurensi rendah, amati beberapa menit, lalu tingkatkan. Ratakan lonjakan dengan batch atau antrean — lebih stabil daripada menaikkan konkurensi mendadak.

Error lain pada model ini

Model lain dengan error yang sama

Kembali ke halaman model

Data diperbarui: 2026-10-10 12:10

Dukungan teknisDukungan langsung
Kembali ke atas