ข้อผิดพลาด 503: ทำอย่างไรเมื่อเรียก llama-3.3-70b-instruct ไม่สำเร็จ

503 หมายความว่าบริการใช้งานไม่ได้ชั่วคราว มักเกี่ยวกับการบำรุงรักษาหรือโหลดเกิน ต่างจาก 429 ตรงที่ไม่ใช่เรื่องโควตาของคุณ แต่เป็นเรื่องความจุฝั่งเซิร์ฟเวอร์

503 Service Unavailable หมายความว่าบริการไม่สามารถจัดการคำขอได้ในตอนนี้ มักเกิดจากโหลดสูงหรือการซ่อมบำรุง การแยกแยะจาก 429 สำคัญมาก 429 คือโควต้าของคุณหมดแล้ว ส่วน 503 คือความจุเซิร์ฟเวอร์ไม่พอ ควรเพิ่มช่วง backoff แทนที่จะเปลี่ยน key

llama-3.3-70b-instruct ให้บริการโดย Meta ทุกอย่างในหน้านี้ — สาเหตุ วิธีแก้ และข้อมูลที่วัดจริง — รวบรวมจากพฤติกรรมการทำงานจริงของโมเดลนี้บนชั้น gateway

ที่เกตเวย์นี้ สาเหตุที่พบบ่อยที่สุดคือ โมเดลต้นทางโหลดเกิน ขั้นตอนแรกที่แนะนำคือ ลองใหม่ภายหลังโดยเพิ่มระยะหน่วง

สาเหตุที่พบบ่อย

  • โมเดลต้นทางโหลดเกิน
  • บริการอยู่ระหว่างบำรุงรักษาหรือปล่อยเวอร์ชัน
  • โหนดในภูมิภาคของคุณใช้งานไม่ได้
  • ทราฟฟิกพุ่งขึ้นกะทันหัน

วิธีแก้ไข

  • ลองใหม่ภายหลังโดยเพิ่มระยะหน่วง
  • เปลี่ยนไปใช้โมเดลเทียบเท่าที่โหลดต่ำกว่า
  • หลีกเลี่ยงงานแบบกลุ่มในช่วงพีค
  • ติดตามประกาศของเรา

ตัวอย่างการลองใหม่แบบ Exponential Backoff

โค้ดด้านล่างจะลองใหม่เมื่อ llama-3.3-70b-instruct ตอบกลับ 503 สูงสุด 5 ครั้ง โดยเพิ่มเวลารอและใส่ jitter แบบสุ่ม เพื่อไม่ให้คำขอจำนวนมาก retry พร้อมกัน อ่าน base URL และ API key จาก environment variables อย่าเขียนลงในโค้ดตรงๆ

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'llama-3.3-70b-instruct'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

ข้อมูลสำคัญของโมเดลนี้

ปลายทาง APIhttps://api.airai.cc/v1
เข้ากันได้กับ OpenAIOpenAI-compatible
ผู้ให้บริการMeta
บริบท128K
ความสามารถTools, Files, Open Weights
รูปแบบ APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
สูตรคิดเงินp * 0 + c * 0

คำถามที่พบบ่อย

เมื่อ llama-3.3-70b-instruct ตอบ 503 ต้องแก้พารามิเตอร์หรือไม่?

ต้องแก้พารามิเตอร์ของคำขอ การลองใหม่อย่างเดียวไม่ช่วยเป็นปัญหาการตั้งค่าฝั่งไคลเอนต์ ฝั่งเซิร์ฟเวอร์ไม่ต้องแก้แท็กความสามารถคือ Tools, Files, Open Weights และขีดจำกัดพารามิเตอร์ก็มาจากชุดความสามารถนั้นสำหรับข้อผิดพลาดด้านพารามิเตอร์ ให้ล้มเหลวทันทีแทนที่จะเสียการลองใหม่ไปตัดหรือสรุปอินพุตยาวก่อน จะลดโอกาสเกิด 503 ได้อย่างชัดเจน

คำขอที่ล้มเหลวถูกนับเข้าโควต้า rate limit หรือไม่?

คิดค่าบริการเฉพาะส่วนที่สร้างเสร็จแล้ว ส่วนที่ล้มเหลวไม่คิดการคิดเงินเป็นแบบ p * 0 + c * 0 ไม่มีผลลัพธ์ก็ไม่คิดเงินเมื่อคิดค่าบริการแบบ p * 0 + c * 0 คำขอที่ล้มเหลวจะไม่ถูกนำไปรวมในปริมาณการใช้งานตรวจสอบยอดคงเหลือและขีดจำกัดอัตราในคอนโซลก่อน แล้วค่อยดูโค้ดเมื่อประเมินต้นทุนจาก p * 0 + c * 0 ให้นับงบการลองใหม่เข้าไปด้วย

ระดับ concurrent แบบใดปลอดภัย?

ตัวแปรที่แท้จริงที่นี่คือการทำงานพร้อมกันและเวลาหมดอายุ ไม่ใช่ตัวโมเดลโมเดลนี้มี context window 128K และมาจาก Metacontext 128K หมายความว่าอินพุตยาวจะเพิ่มความหน่วงของโทเค็นแรกอย่างชัดเจนเพิ่มชั้นแคช เพื่อไม่ให้คำขอซ้ำทุกครั้งไปถึงโมเดล

SDK ทางการ retry ให้แล้ว ยังต้องเขียน retry เองอีกหรือไม่?

ปกติไม่ต้องแก้โค้ดธุรกิจ แค่ปรับจังหวะการเรียกก็พอการลองใหม่คือก้าวแรกที่ได้ผลที่สุดเมื่อคิดค่าบริการแบบ p * 0 + c * 0 คำขอที่ล้มเหลวจะไม่ถูกนำไปรวมในปริมาณการใช้งานใช้การถอยแบบเอ็กซ์โปเนนเชียลกับข้อผิดพลาดที่ลองใหม่ได้ และคืนข้อผิดพลาดทันทีสำหรับส่วนที่เหลือ

ข้อผิดพลาดอื่นของโมเดลนี้

โมเดลอื่นที่เจอข้อผิดพลาดเดียวกัน

กลับไปหน้าโมเดล

อัปเดตข้อมูล: 2026-10-10 15:40

ฝ่ายสนับสนุนด้านเทคนิคบริการลูกค้าออนไลน์
กลับไปด้านบน