错误 timeout：hy3 调用失败怎么办

请求超时指客户端在等待响应时超过了自身设定的时限。流式输出的大模型请求最容易触发，因为首个 token 之前模型要思考，而思考阶段不产生任何字节。

timeout 不是标准 HTTP 状态码，而是客户端等待响应的时间上限。请求通常已到达网关并被转发到上游，但模型在你设定的时间内没有产出结果。长上下文、长输出、非流式调用是最常见的三类诱因。

hy3 由 Tencent 提供，本页的触发分析、处理建议与实测数据均基于该模型在网关层的真实运行情况整理。

在本网关，此类报错最常见的诱因是：客户端超时设置过短。建议优先处理：把客户端超时提高到 300 秒以上。

常见原因

  • 客户端超时设置过短
  • 提示词或上下文过长，首 token 延迟高
  • 模型正在处理长推理任务
  • 网络链路抖动

解决办法

  • 把客户端超时提高到 300 秒以上
  • 开启流式输出，避免整段等待
  • 缩短上下文或改用推理更快的模型
  • 调小 max_tokens

带指数退避的重试示例

下面这段在调用 hy3 遇到 timeout 时会自动退避重试，最多 5 次，每次等待时间递增并叠加随机抖动，避免大量请求同时重试。base URL 与 API Key 请从环境变量读取，不要写死在代码里。

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'hy3'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

该模型的关键数据

API 端点https://api.airai.cc/v1
OpenAI 兼容OpenAI-compatible
厂商Tencent
上下文256K
能力Reasoning, Tools, Open Weights
API 格式openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
计费方式p * 0 + cr * 0 + cc * 0 + c * 0

常见问题

结果缓存能减少 timeout 吗？

并发与超时才是这里的真正变量，不是模型本身。先把并发降下来再判断，多数吞吐问题会随之消失。该模型上下文窗口 256K，厂商为 Tencent。上下文 256K 意味着长输入会明显拉长首字延迟。结果加一层缓存，重复请求不必每次都打到模型。用批处理或队列削峰，比临时加大并发更稳。

网关有多个上游节点时，timeout 会自动切换吗？

这个报错与模型能力无关，属于网关层问题。该模型的能力标签为 Reasoning, Tools, Open Weights。如果连续多分钟持续报错，直接联系平台客服确认上游状态。先看是账号层还是模型层，两边的处理方式完全不同。

hy3 的 timeout 和账号额度有关吗？

提高套餐上限或降低调用频率都能缓解。计费方式为 p * 0 + cr * 0 + cc * 0 + c * 0，未产出内容就不计费。按 p * 0 + cr * 0 + cc * 0 + c * 0 计费时，长输出的成本主要来自输出 token。先在控制台确认余额与速率限制，再排查代码。按 p * 0 + cr * 0 + cc * 0 + c * 0 估算成本时，把重试预算也算进去。

换一家厂商的同类模型能解决 timeout 吗？

建议同时准备一个备用模型。在架构上做兜底，比逐个报错修补更稳。厂商 Tencent 的该模型在网关上有多个上游节点可切换。准备一个更轻的备用模型，主流程就不会中断。

该模型的其他报错

遇到同样报错的其他模型

返回模型主页

数据更新于: 2026-10-10 15:55

技术支持在线客服
返回顶部