ข้อผิดพลาด 429: ทำอย่างไรเมื่อเรียก llama-3.3-70b-instruct ไม่สำเร็จ

429 หมายความว่าติดการจำกัดอัตรา จำนวนคำขอหรือโทเค็นในช่วงเวลาหนึ่งเกินโควตาของแพ็กเกจปัจจุบัน

429 Too Many Requests เป็นการตอบกลับแบบจำกัดอัตรา ไม่ใช่ข้อผิดพลาด หมายความว่าคำขอถูกต้อง แต่เกินอัตราการยิงหรือจำนวน concurrent ที่แพ็กเกจปัจจุบันอนุญาต เพียงรอตามเวลาที่ header ระบุแล้วลองใหม่ก็จะกลับมาใช้งานได้ โดยไม่ต้องแก้ body

llama-3.3-70b-instruct ให้บริการโดย Meta ทุกอย่างในหน้านี้ — สาเหตุ วิธีแก้ และข้อมูลที่วัดจริง — รวบรวมจากพฤติกรรมการทำงานจริงของโมเดลนี้บนชั้น gateway

ที่เกตเวย์นี้ สาเหตุที่พบบ่อยที่สุดคือ เรียกพร้อมกันมากเกินไป ขั้นตอนแรกที่แนะนำคือ จำกัดการเรียกพร้อมกันและหน่วงเวลาแบบ exponential

สาเหตุที่พบบ่อย

  • เรียกพร้อมกันมากเกินไป
  • โควตาของแพ็กเกจปัจจุบันหมด
  • ลองใหม่ทันทีโดยไม่หน่วงเวลา

วิธีแก้ไข

  • จำกัดการเรียกพร้อมกันและหน่วงเวลาแบบ exponential
  • เปลี่ยนเป็นแพ็กเกจโควตาสูงกว่า
  • แคชคำขอที่ซ้ำกัน

ตัวอย่างการลองใหม่แบบ Exponential Backoff

โค้ดด้านล่างจะลองใหม่เมื่อ llama-3.3-70b-instruct ตอบกลับ 429 สูงสุด 5 ครั้ง โดยเพิ่มเวลารอและใส่ jitter แบบสุ่ม เพื่อไม่ให้คำขอจำนวนมาก retry พร้อมกัน อ่าน base URL และ API key จาก environment variables อย่าเขียนลงในโค้ดตรงๆ

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'llama-3.3-70b-instruct'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

ข้อมูลสำคัญของโมเดลนี้

ปลายทาง APIhttps://api.airai.cc/v1
เข้ากันได้กับ OpenAIOpenAI-compatible
ผู้ให้บริการMeta
บริบท128K
ความสามารถTools, Files, Open Weights
รูปแบบ APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
สูตรคิดเงินp * 0 + c * 0

คำถามที่พบบ่อย

เปลี่ยนไปโมเดลเล็กลงช่วยลด 429 ได้หรือไม่?

ควรมีโมเดลสำรองเตรียมไว้ด้วยการมีทางสำรองระดับสถาปัตยกรรมเชื่อถือได้มากกว่าการแก้ข้อผิดพลาดทีละรายการโมเดลนี้จาก Meta มี upstream node หลายตัวที่ gateway สลับได้ใส่ชื่อโมเดลไว้ในคอนฟิก เปลี่ยนต้นทางโดยไม่ต้องแก้โค้ด

เมื่อ llama-3.3-70b-instruct ตอบ 429 อะไรมีโอกาสเป็นต้นเหตุมากกว่า gateway หรือ upstream?

ข้อผิดพลาดนี้ไม่เกี่ยวกับความสามารถของโมเดล แต่เป็นปัญหาระดับ gatewayส่วนใหญ่เป็นปัญหาชั่วคราวและกลับมาเองได้แท็กความสามารถของโมเดลนี้คือ Tools, Files, Open Weightsหากเกิดต่อเนื่องหลายนาที ติดต่อฝ่ายสนับสนุนของแพลตฟอร์มเพื่อยืนยันสถานะต้นทางตัดสินใจก่อนว่าอยู่ระดับบัญชีหรือระดับโมเดล สองแบบนี้ต้องการวิธีแก้ต่างกันโดยสิ้นเชิง

การประมวลผลแบบ async หรือ batch ช่วยหลีกเลี่ยง 429 ได้หรือไม่?

ตัวแปรที่แท้จริงที่นี่คือการทำงานพร้อมกันและเวลาหมดอายุ ไม่ใช่ตัวโมเดลลดการทำงานพร้อมกันก่อน ปัญหาด้านปริมาณงานส่วนใหญ่จะหายไปcontext 128K หมายความว่าอินพุตยาวจะเพิ่มความหน่วงของโทเค็นแรกอย่างชัดเจนสำหรับผลลัพธ์ยาว ให้เพิ่มเวลาหมดอายุเป็น 60 วินาทีหรือมากกว่าปรับยอดพีคให้เรียบด้วยการประมวลผลเป็นชุดหรือคิว เสถียรกว่าการเพิ่มการทำงานพร้อมกันตามสถานการณ์

429 บน llama-3.3-70b-instruct นานแค่ไหนจึงควรติดต่อซัพพอร์ต?

จัดกลุ่มข้อผิดพลาดตามเวลาและโหนดก่อน รูปแบบมักจะเห็นชัดหากเกิดเฉพาะในสภาพแวดล้อมจริง มักเป็นความแตกต่างของสภาพแวดล้อม ไม่ใช่ตัวโมเดลโมเดลนี้ให้บริการโดย Meta สถานะต้นทางจึงเป็นไปตามประกาศของผู้ให้บริการบันทึกรหัสคำขอทุกครั้งที่ล้มเหลว มีประโยชน์กว่ารหัสสถานะลองทำให้เกิดซ้ำในสภาพแวดล้อมทดสอบด้วยเนื้อหาคำขอเดียวกันก่อน

ข้อผิดพลาดอื่นของโมเดลนี้

โมเดลอื่นที่เจอข้อผิดพลาดเดียวกัน

อัปเดตข้อมูล: 2026-10-10 15:40

ฝ่ายสนับสนุนด้านเทคนิคบริการลูกค้าออนไลน์
กลับไปด้านบน