Error 504: apa yang harus dilakukan saat kimi-k3 gagal

Kode 504 berarti gateway kehabisan waktu menunggu model hulu: permintaan sudah dikirim, tetapi hulu tidak merespons dalam batas waktu gateway.

504 Gateway Timeout berarti gateway berhenti menunggu respons upstream. Permintaan sudah diteruskan, tetapi tidak ada hasil yang kembali dalam batas gateway. Memperpendek output, mengaktifkan streaming, atau menurunkan max_tokens biasanya menyelesaikannya.

kimi-k3 disediakan oleh Moonshot AI. Semua di halaman ini — penyebab, solusi, dan data terukur — disusun dari perilaku runtime nyata model ini di lapisan gateway.

Di gateway ini, pemicu yang paling umum adalah: Hulu memerlukan waktu lebih lama dari batas gateway. Tindakan pertama yang disarankan: Beralih ke keluaran streaming.

Penyebab umum

  • Hulu memerlukan waktu lebih lama dari batas gateway
  • Konteks panjang menambah waktu inferensi
  • Node hulu macet
  • Permintaan non-streaming dengan keluaran sangat panjang

Cara mengatasi

  • Beralih ke keluaran streaming
  • Perpendek konteks dan turunkan max_tokens
  • Coba lagi setelah menunggu sebentar
  • Gunakan model dengan inferensi lebih cepat

Contoh percobaan ulang dengan exponential backoff

Kode di bawah mencoba ulang ketika kimi-k3 mengembalikan 504, maksimal 5 kali, dengan waktu tunggu yang meningkat plus jitter acak agar permintaan paralel tidak mengulang bersamaan. Baca base URL dan API key dari environment variable, jangan hardcode.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'kimi-k3'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Data penting model ini

Endpoint APIhttps://api.airai.cc/v1
Kompatibel OpenAIOpenAI-compatible
VendorMoonshot AI
Konteks1M
KemampuanReasoning, Tools, Files, Open Weights, Vision
Format APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Rumus penagihanp * 3 + cr * 0.3 + c * 15

FAQ

Apakah output kimi-k3 yang terpotong sama dengan 504?

Simpan request ID dan isi respons mentahnya, kalau tidak tidak ada yang bisa dilacak. Model ini dilayani oleh Moonshot AI, sehingga status upstream mengikuti pengumuman penyedia. Catat request ID pada setiap kegagalan — lebih berguna daripada kode status. Reproduksi dulu di lingkungan pengujian dengan request body yang sama.

Apakah max_tokens yang terlalu tinggi bisa memicu 504?

Parameter permintaan harus diubah, mencoba ulang saja tidak membantu. Ini masalah konfigurasi sisi klien, sisi server tidak perlu diubah. Tag kemampuan adalah Reasoning, Tools, Files, Open Weights, Vision, dan batas parameter mengikuti set kemampuan tersebut. Untuk error parameter, gagalkan langsung daripada menghabiskan percobaan ulang. Potong atau ringkas input yang panjang — ini menurunkan 504 secara nyata.

Apakah ganti model bisa menghindari 504 di kimi-k3?

Siapkan juga satu model cadangan. Model dari Moonshot AI ini punya beberapa node upstream yang bisa diganti gateway. Taruh nama model di konfigurasi, sehingga ganti upstream tidak perlu mengubah kode.

Apakah pemrosesan async atau batch bisa menghindari 504?

Variabel sebenarnya di sini adalah konkurensi dan timeout, bukan modelnya. Model ini memiliki context window 1M dan berasal dari Moonshot AI. Untuk keluaran panjang, naikkan timeout ke 60 detik atau lebih. Mulai dari konkurensi rendah, amati beberapa menit, lalu tingkatkan.

Error lain pada model ini

Model lain dengan error yang sama

Kembali ke halaman model

Data diperbarui: 2026-10-10 08:15

Dukungan teknisDukungan langsung
Kembali ke atas