錯誤 502：llama-3.3-70b-instruct 呼叫失敗怎麼辦

回應 502 表示閘道從上游模型服務收到了無效回應：請求已到達閘道，但轉發到上游的那一跳失敗了。

502 Bad Gateway 表示閘道從上游模型服務收到無效回應。請求已抵達閘道，失敗發生在閘道轉發到上游的那一跳，通常由上游節點重啟或連線中斷導致。

llama-3.3-70b-instruct 由 Meta 提供，本頁的觸發分析、處理建議與實測數據均基於該模型在閘道層的真實運行情況整理。

在本閘道，此類報錯最常見的誘因是：上游模型服務不可用或回傳了非法回應。建議優先處理：先重試一次，502 多為瞬時。

常見原因

  • 上游模型服務不可用或回傳了非法回應
  • 上游節點正在重啟
  • 閘道到上游的連線被中斷
  • 該模型被暫時下架

解決辦法

  • 先重試一次，502 多為瞬時
  • 換用其他廠商的同類模型
  • 若只有某個模型持續 502，表示該模型上游異常
  • 稍後再試或聯繫我們

帶指數退避的重試範例

下面這段在呼叫 llama-3.3-70b-instruct 遇到 502 時會自動退避重試，最多 5 次，每次等待時間遞增並疊加隨機抖動，避免大量請求同時重試。base URL 與 API Key 請從環境變數讀取，不要寫死在程式碼裡。

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'llama-3.3-70b-instruct'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

該模型的關鍵資料

API 端點https://api.airai.cc/v1
OpenAI 相容OpenAI-compatible
廠商Meta
上下文128K
能力Tools, Files, Open Weights
API 格式openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
計費方式p * 0 + c * 0

常見問題

失敗的請求會算進限流配額嗎？

已經產出的部分會計費，失敗的部分不會。按 p * 0 + c * 0 計費時，失敗的請求不會計入用量。先在控制台確認餘額與速率限制，再排查程式碼。

多輪對話中 llama-3.3-70b-instruct 更容易回報 502 嗎？

屬於用戶端設定問題，伺服端不需要調整。上下文 128K 決定了單次請求的最大輸入，超出會被直接拒絕。長輸入先截斷或做摘要，能明顯降低 502 的機率。

需要升級方案才能解決 llama-3.3-70b-instruct 的 502 嗎？

主要與配額有關，而不是模型本身故障。提高方案上限或降低呼叫頻率都能緩解。計費方式為 p * 0 + c * 0，未產出內容就不計費。按 p * 0 + c * 0 計費時，長輸出的成本主要來自輸出 token。先在控制台確認餘額與速率限制，再排查程式碼。按 p * 0 + c * 0 估算成本時，把重試預算也算進去。

502 會不會導致資料遺失？

這個錯誤與模型能力無關，屬於閘道層問題。多數情況是瞬時問題，可以自行恢復。該模型的能力標籤為 Tools, Files, Open Weights。如果連續好幾分鐘持續報錯，直接聯繫平台客服確認上游狀態。先看是帳號層還是模型層，兩邊的處理方式完全不同。

該模型的其他錯誤

遇到同樣錯誤的其他模型

返回模型首頁

資料更新於: 2026-10-10 15:45

技術支持在線客服
返回頂部