错误 504:deepseek-v4-pro 调用失败怎么办

返回 504 说明网关等待上游模型响应超时:请求已发出,但上游在网关允许的时间内没有返回结果。

504 Gateway Timeout 表示网关等待上游响应超时。请求已被转发,但上游在网关限制的时间内没有返回结果。缩短输出、改用流式、或降低 max_tokens 通常能解决。

deepseek-v4-pro 由 DeepSeek 提供,本页的触发分析、处理建议与实测数据均基于该模型在网关层的真实运行情况整理。

在本网关,此类报错最常见的诱因是:上游响应时间超过网关超时阈值。建议优先处理:改用流式输出。

常见原因

  • 上游响应时间超过网关超时阈值
  • 上下文过长导致推理时间过长
  • 上游节点卡住
  • 使用非流式请求且输出很长

解决办法

  • 改用流式输出
  • 缩短上下文并调小 max_tokens
  • 稍后重试
  • 换用推理更快的模型

带指数退避的重试示例

下面这段在调用 deepseek-v4-pro 遇到 504 时会自动退避重试,最多 5 次,每次等待时间递增并叠加随机抖动,避免大量请求同时重试。base URL 与 API Key 请从环境变量读取,不要写死在代码里。

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'deepseek-v4-pro'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

该模型的关键数据

TPS0
平均延迟3683 毫秒
成功率0%
API 端点https://api.airai.cc/v1
OpenAI 兼容OpenAI-compatible
厂商DeepSeek
上下文1M
能力Reasoning, Tools
API 格式openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
计费方式p * 1.32 + cr * 0.044 + c * 3.96) : tier("off_peak", p * 0.66 + cr * 0.022 + c * 1.98

常见问题

网关有多个上游节点时,504 会自动切换吗?

多数情况下是瞬时问题,可以自行恢复。在 0% 的成功率下,偶发的 504 属于正常波动。如果连续多分钟持续报错,直接联系平台客服确认上游状态。先看是账号层还是模型层,两边的处理方式完全不同。

deepseek-v4-pro 报 504 时,需要改请求参数吗?

需要改请求参数,单纯重试不会有帮助。上下文 1M 决定了单次请求的最大输入,超出会被直接拒绝。对参数类报错直接快速失败,不要浪费重试次数。

用异步或批处理方式能规避 504 吗?

并发与超时才是这里的真正变量,不是模型本身。先把并发降下来再判断,多数吞吐问题会随之消失。实测吞吐 0,可作为并发上限的参考。上下文 1M 意味着长输入会明显拉长首字延迟。并发从低值起步,观察几分钟后再逐步加大。结果加一层缓存,重复请求不必每次都打到模型。

同一个 Key 在多个服务里共用会更容易触发 504 吗?

主要与配额有关,而不是模型本身故障。按 p * 1.32 + cr * 0.044 + c * 3.96) : tier("off_peak", p * 0.66 + cr * 0.022 + c * 1.98 计费时,失败的请求不会计入用量。按 p * 1.32 + cr * 0.044 + c * 3.96) : tier("off_peak", p * 0.66 + cr * 0.022 + c * 1.98 估算成本时,把重试预算也算进去。

该模型的其他报错

遇到同样报错的其他模型

数据更新于: 2026-10-10 15:40

技术支持在线客服
返回顶部