ฉันลดค่าใช้จ่าย API LLM ลง 70%: บันทึกการใช้งานจริงของ AirAi ที่เกี่ยวข้องกับการเรียกเส้นทาง (routing) และการค้างค่า (caching)

0. พื้นหลัง: ทำไมใบแจ้งหนี้ถึงบานปลายขนาดนี้

ฉันทำโปรเจกต์เสริม (side projects) หลายโปรเจกต์ ในช่วงแรกก็ต้องซื้อการสมัครสมาชิกจากผู้ให้บริการอย่างเป็นทางการในราคา $20/เดือน หรือไม่ก็พยายามใช้บัตรเครดิตระหว่างประเทศ แต่ก็ถูกปฏิเสธบ่อยครั้ง เมื่อมาคำนวณค่าใช้จ่ายในตอนสิ้นเดือน ฉันพบสองเรื่องที่น่าหงุดหงิด:

1. 80% ของการร้องขอเป็นงานเล็กๆ น้อยๆ เช่น การสรุปข้อมูล การจัดหมวดหมู่ และการจัดรูปแบบ การใช้โมเดลที่แพงที่สุดกับงานเหล่านี้เป็นเพียงการสิ้นเปลืองเท่านั้น;

1. การสมัครสมาชิกเป็นค่าใช้จ่ายที่คงที่ — ถ้ามีการเรียกใช้งานน้อยก็ขาดทุน แต่ถ้ามีการเรียกใช้งานมากก็ไม่เพียงพอ

ดังนั้นฉันจึงหันไปใช้ AirAi: ฉันใช้คีย์ API ของตัวเอง โดยมีการคิดค่าบริการตามปริมาณการใช้งาน และกำหนดให้ไคลเอนต์เชื่อมต่อกับอินเทอร์เฟซที่เข้ากันได้กับ OpenAI ของ AirAi

มีเรื่องเล็กๆ น้อยๆ เกิดขึ้นด้วย ฉันไม่เคยมีบัตรเครดิตระหว่างประเทศที่ใช้งานได้จริงเลย ทุกครั้งที่ถึงขั้นตอนการชำระเงินผ่านช่องทางการเชื่อมต่อโดยตรงกับทางระบบ บัตรของฉันก็จะถูกปฏิเสธทุกครั้ง มีช่วงหนึ่งที่ฉันใช้บัตรของญาติ แต่มันกลับทำให้ระบบตรวจสอบความเสี่ยงทางการเงิน (risk control) ทำงาน และบัญชีของฉันถูกล็อกทันที ฉันต้องร้องเรียนและใช้เวลาเกือบสองสัปดาห์กว่าจะได้รับการแก้ไข หลังจากนั้นฉันก็ตัดสินใจว่าจะหาช่องทางที่ไม่ต้องพึ่งพาบัตรเครดิตระหว่างประเทศเท่านั้น สุดท้ายฉันเลือกใช้เว็บเกตเวย์ (gateway) ที่รับเฉพาะ USDT เท่านั้น ซึ่งสำหรับคนอย่างฉันที่ไม่มีบัตรเครดิตระหว่างประเทศแล้ว มันถือเป็นตัวเลือกที่มีข้อกำหนดน้อยที่สุด: สามารถเติมเงินและใช้งานได้ทันที ไม่มีค่าธรรมเนียมรายเดือน และไม่ต้องผ่านกระบวนการตรวจสอบข้อมูลส่วนบุคคล (KYC) สิ่งที่สำคัญที่สุดคือราคา: จากที่ฉันลองใช้งานดู ราคาต่อหน่วยเงินถูกกว่าการเชื่อมต่อโดยตรงกับทางระบบประมาณ 10% นี่แหละคือเหตุผลที่ทำให้ฉันตัดสินใจใช้บริการนี้

1. การเปลี่ยนเกตเวย์ในหนึ่งบรรทัด: สามารถชี้ไปยังเกตเวย์ใดก็ได้ที่เข้ากันได้

เกือบทุกเครื่องมือที่รองรับ endpoint ที่กำหนดเอง (Claude Code, Cursor, Open WebUI, LibreChat, Cline ฯลฯ) สามารถเปลี่ยนเกตเวย์ได้ด้วยการใช้ตัวแปรสภาพแวดล้อมเพียงบรรทัดเดียว โดยไม่จำเป็นต้องแก้ไขโค้ด แค่ตั้งค่าตัวแปรต่อไปนี้ให้ชี้ไปยังเกตเวย์ของคุณเองก็พอ:

export OPENAI_BASE_URL="https://api.airai.cc/v1"
export ANTHROPIC_BASE_URL="https://api.airai.cc/v1"

การเลือกเกตเวย์ใดนั้นเป็นอีกเรื่องหนึ่ง บทความนี้จะพูดถึงเพียงวิธีการนำไปใช้งานจริงเท่านั้น

2. การใช้งานโค้ดจริง: การเรียกเส้นทาง (Routing) + การจัดเก็บข้อมูลในความจำ (Caching)

การเปลี่ยนแสงเพียงอย่างเดียวยังไม่เพียงพอ สิ่งที่ช่วยประหยัดเงินจริงๆ คือ “การใช้โมเดลที่เหมาะสมทำงานที่ควรทำ + การค้างคำขอที่ซ้ำกัน” นี่คือโครงสร้างพื้นฐานที่ฉันใช้ในการผลิต (สามารถทำงานร่วมกับ OpenAI SDK ได้) ทั้ง base_url และ api_key จะถูกอ่านมาจากตัวแปรสภาพแวดล้อม ไม่ได้ถูกกำหนดไว้ในโค้ดอย่างตายตัว:

import openai, hashlib, os

client = openai.OpenAI(
    base_url=os.getenv("OPENAI_BASE_URL"),
    api_key=os.getenv("OPENAI_API_KEY"),
)

# Routing: small model for light tasks, flagship only for complex reasoning
CHEAP  = "gpt-5.6-luna"   # classification / summarization / formatting
STRONG = "gpt-5.6-sol"    # only called for complex reasoning

_cache: dict[str, str] = {}   # swap for Redis in production

def ask(prompt: str) -> str:
    model = STRONG if len(prompt) > 400 else CHEAP
    key = hashlib.md5(prompt.encode()).hexdigest()
    if key in _cache:                      # cache hit, 0 cost
        return _cache[key]
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    answer = resp.choices[0].message.content
    _cache[key] = answer
    return answer

CHEAP / STRONG ปรับตามงบประมาณและผลลัพธ์ที่คุณต้องการนะครับ ชื่อของโมเดลควรตรงกับเอกสารของเกตเวย์ที่คุณใช้ สำหรับงานออฟไลน์ อย่าลืมใช้ API แบบ Batch ซึ่งโดยปกติแล้วจะช่วยประหยัดค่าใช้จ่ายได้อีกครึ่งหนึ่ง

3. การเปรียบเทียบค่าใช้จ่าย (เพียงเป็นตัวอย่าง)

ก่อนและหลังการปรับปรุงตัวอย่างข้อมูล (โปรดใช้ตัวเลขจริงจากใบแจ้งหนี้ของคุณ):

4. ความซื่อสัตย์ (พูดความจริง)

• ไม่ใช่ทุกคนที่จะประหยัดเงินมากขึ้น: เมื่อจำนวนครั้งที่ใช้งานต่อเดือนต่ำ การสมัครสมาชิกแบบคงที่อาจเป็นทางเลือกที่คุ้มค่ากว่า; การคิดค่าใช้จ่ายตามปริมาณการใช้งานจะมีข้อได้เปรียบเมื่อมีการใช้งานมาก ควรคำนวณจำนวนการใช้งานของตัวเองก่อน

• ความล่าช้าและความเสถียร: การเพิ่มเกตเวย์ (gateway) จะทำให้เกิดความล่าช้าเพิ่มขึ้น โดยเฉพาะในเส้นทางสำคัญที่มีปัญหาเรื่องเวลาการตอบสนอง (timeout) และการลดประสิทธิภาพ (degradation)

• ความปลอดภัยของคีย์ (key security): ควรเก็บคีย์ไว้ในตัวแปรสภาพแวดล้อม (environment variables) ไม่ควรเขียนไว้ในส่วนหน้า (frontend) หรือในคลังข้อมูลสาธารณะ (public repository)

5. สรุป

สาระสำคัญของการลดต้นทุน LLM ก็คือ: ให้โมเดลราคาถูกทำงานส่วนใหญ่ และใช้โมเดลราคาแพงเฉพาะเมื่อจำเป็นจริงๆ แล้วก็ตัดส่วนที่เสียเปล่าออกไป; เปลี่ยนจากการ “เชื่อมต่อกับ N บริษัท” มาเป็น “แก้ไขเพียงบรรทัดเดียว” (base_url) การเรียกเส้นทาง (routing) และการค้างค่า (caching) เป็นสองอย่างที่ใช้ฟรี ให้เริ่มนำมาใช้ก่อน.