Error 502: apa yang harus dilakukan saat gemini-3.5-flash gagal

Kode 502 berarti gateway menerima respons tidak valid dari layanan model hulu: permintaan sampai ke gateway, tetapi lompatan ke hulu gagal.

502 Bad Gateway berarti gateway menerima respons tidak valid dari layanan model upstream. Permintaan sudah sampai gateway; kegagalan terjadi pada lompatan dari gateway ke upstream, biasanya karena node upstream restart atau koneksi terputus.

gemini-3.5-flash disediakan oleh Google. Semua di halaman ini — penyebab, solusi, dan data terukur — disusun dari perilaku runtime nyata model ini di lapisan gateway.

Di gateway ini, pemicu yang paling umum adalah: Layanan model hulu tidak tersedia atau mengembalikan respons cacat. Tindakan pertama yang disarankan: Coba sekali lagi — 502 biasanya sementara.

Penyebab umum

  • Layanan model hulu tidak tersedia atau mengembalikan respons cacat
  • Node hulu sedang restart
  • Koneksi gateway ke hulu terputus
  • Model sementara dihentikan

Cara mengatasi

  • Coba sekali lagi — 502 biasanya sementara
  • Beralih ke model setara dari vendor lain
  • Jika hanya satu model yang terus 502, hulunya bermasalah
  • Coba lagi nanti atau hubungi kami

Contoh percobaan ulang dengan exponential backoff

Kode di bawah mencoba ulang ketika gemini-3.5-flash mengembalikan 502, maksimal 5 kali, dengan waktu tunggu yang meningkat plus jitter acak agar permintaan paralel tidak mengulang bersamaan. Baca base URL dan API key dari environment variable, jangan hardcode.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-3.5-flash'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Data penting model ini

TPS1669.89
Latensi rata-rata3330 ms
Tingkat sukses100%
Endpoint APIhttps://api.airai.cc/v1
Kompatibel OpenAIOpenAI-compatible
VendorGoogle
Konteks1M
KemampuanReasoning, Tools, Files, Vision, Audio
Format APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Rumus penagihanp * 1.5 + cr * 0.15 + ai * 1.5 + c * 9

FAQ

Apakah menyimpan cache hasil mengurangi 502?

Variabel sebenarnya di sini adalah konkurensi dan timeout, bukan modelnya. Turunkan konkurensi terlebih dahulu — sebagian besar masalah throughput akan hilang. Model ini memiliki context window 1M dan berasal dari Google. Throughput terukur 1669.89, patokan berguna untuk batas konkurensi. Untuk keluaran panjang, naikkan timeout ke 60 detik atau lebih. Ratakan lonjakan dengan batch atau antrean — lebih stabil daripada menaikkan konkurensi mendadak.

Apakah perlu mengubah parameter saat gemini-3.5-flash mengembalikan 502?

Ini masalah konfigurasi sisi klien, sisi server tidak perlu diubah. Tag kemampuan adalah Reasoning, Tools, Files, Vision, Audio, dan batas parameter mengikuti set kemampuan tersebut. Untuk error parameter, gagalkan langsung daripada menghabiskan percobaan ulang. Potong atau ringkas input yang panjang — ini menurunkan 502 secara nyata.

Apakah ganti ke model lebih kecil mengurangi 502?

Fallback di tingkat arsitektur lebih andal daripada menambal setiap error satu per satu. Model dari Google ini punya beberapa node upstream yang bisa diganti gateway. Siapkan model cadangan yang lebih ringan agar alur utama tidak terputus. Taruh nama model di konfigurasi, sehingga ganti upstream tidak perlu mengubah kode.

Apakah berbagi satu key di beberapa layanan membuat 502 lebih mungkin?

Ini terutama soal kuota, bukan kerusakan model. Penagihan mengikuti p * 1.5 + cr * 0.15 + ai * 1.5 + c * 9, tanpa output berarti tanpa tagihan. Dengan penagihan p * 1.5 + cr * 0.15 + ai * 1.5 + c * 9, permintaan yang gagal tidak dihitung dalam penggunaan. Periksa saldo dan batas laju di konsol dulu, baru periksa kodenya.

Error lain pada model ini

Model lain dengan error yang sama

Kembali ke halaman model

Data diperbarui: 2026-10-10 18:35

Dukungan teknisDukungan langsung
Kembali ke atas