Error 504: apa yang harus dilakukan saat hy3 gagal

Kode 504 berarti gateway kehabisan waktu menunggu model hulu: permintaan sudah dikirim, tetapi hulu tidak merespons dalam batas waktu gateway.

504 Gateway Timeout berarti gateway berhenti menunggu respons upstream. Permintaan sudah diteruskan, tetapi tidak ada hasil yang kembali dalam batas gateway. Memperpendek output, mengaktifkan streaming, atau menurunkan max_tokens biasanya menyelesaikannya.

hy3 disediakan oleh Tencent. Semua di halaman ini — penyebab, solusi, dan data terukur — disusun dari perilaku runtime nyata model ini di lapisan gateway.

Di gateway ini, pemicu yang paling umum adalah: Hulu memerlukan waktu lebih lama dari batas gateway. Tindakan pertama yang disarankan: Beralih ke keluaran streaming.

Penyebab umum

  • Hulu memerlukan waktu lebih lama dari batas gateway
  • Konteks panjang menambah waktu inferensi
  • Node hulu macet
  • Permintaan non-streaming dengan keluaran sangat panjang

Cara mengatasi

  • Beralih ke keluaran streaming
  • Perpendek konteks dan turunkan max_tokens
  • Coba lagi setelah menunggu sebentar
  • Gunakan model dengan inferensi lebih cepat

Contoh percobaan ulang dengan exponential backoff

Kode di bawah mencoba ulang ketika hy3 mengembalikan 504, maksimal 5 kali, dengan waktu tunggu yang meningkat plus jitter acak agar permintaan paralel tidak mengulang bersamaan. Baca base URL dan API key dari environment variable, jangan hardcode.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'hy3'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Data penting model ini

Endpoint APIhttps://api.airai.cc/v1
Kompatibel OpenAIOpenAI-compatible
VendorTencent
Konteks256K
KemampuanReasoning, Tools, Open Weights
Format APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Rumus penagihanp * 0 + cr * 0 + cc * 0 + c * 0

FAQ

Apakah 504 memengaruhi model lain di akun yang sama?

Biasanya bersifat sementara dan pulih sendiri. Tag kapabilitas model ini adalah Reasoning, Tools, Open Weights. Jika berlangsung beberapa menit, hubungi dukungan platform untuk memastikan status upstream. Tentukan dulu apakah ini level akun atau level model; penanganannya benar-benar berbeda.

Bagaimana mencegah 504 di hy3 sejak awal?

Siapkan juga satu model cadangan. Fallback di tingkat arsitektur lebih andal daripada menambal setiap error satu per satu. Model dari Tencent ini punya beberapa node upstream yang bisa diganti gateway. Siapkan model cadangan yang lebih ringan agar alur utama tidak terputus. Taruh nama model di konfigurasi, sehingga ganti upstream tidak perlu mengubah kode.

Apakah berbagi satu key di beberapa layanan membuat 504 lebih mungkin?

Ini terutama soal kuota, bukan kerusakan model. Dengan penagihan p * 0 + cr * 0 + cc * 0 + c * 0, biaya output panjang sebagian besar dari token output. Dengan penagihan p * 0 + cr * 0 + cc * 0 + c * 0, permintaan yang gagal tidak dihitung dalam penggunaan. Periksa saldo dan batas laju di konsol dulu, baru periksa kodenya.

Memakai exponential backoff atau interval tetap?

Biasanya kode bisnis tidak perlu diubah, cukup atur ritme pemanggilan. Dengan penagihan p * 0 + cr * 0 + cc * 0 + c * 0, permintaan yang gagal tidak dihitung dalam penggunaan. Tetapkan batas percobaan ulang ke 3–5 kali dan tambahkan jitter. Gunakan exponential backoff untuk error yang bisa diulang, dan kembalikan error segera untuk sisanya.

Error lain pada model ini

Model lain dengan error yang sama

Kembali ke halaman model

Data diperbarui: 2026-10-10 12:10

Dukungan teknisDukungan langsung
Kembali ke atas