ใช้ API ของ OpenAI ในการตรวจสอบที่อยู่ขนส่งในยุโรป: เราประหยัดค่าแรงได้ 32% และยังหลีกเลี่ยงข้อผิดพลาดร้ายแรงไปได้ 2 ข้ออีกด้วย

เมื่อสัปดาห์ที่แล้วโปรโมชั่นสัปดาห์สีดําเพิ่งสิ้นสุดลงทีมเทคนิคของเราเปิดการประชุมซ้ําเมื่อพบว่า: อัตราการผ่านการตรวจสอบที่อยู่อัตโนมัติในปีนี้สูงกว่าปีที่แล้ว 41% ก่อนหน้านี้จ้างเป็นพิเศษ 3 ที่จัดการกับที่อยู่ผิดปกติพาร์ทไทม์ในปีนี้เพียงแค่ต้องทิ้งไว้ 1 ก็เพียงพอแล้ว

แต่ไม่มีใครอยากจะพูดถึงหลุม 429 ที่เพิ่งเหยียบเมื่อเดือนที่แล้ว - ในช่วงสามชั่วโมงที่วุ่นวายที่สุดของวันแรกของโปรโมชั่นใหญ่แต่ไม่มีใครอยากพูดถึงปัญหาเรื่องข้อผิดพลาด 429 ที่เพิ่งเกิดขึ้นเมื่อเดือนที่แล้ว… ในช่วง 3 ชั่วโมงที่วุ่นวายที่สุดของวันแรกของงานส่งเสริมการขาย, <<<MGSEG_B443A50B9BFA_SOURCE>>> มีการส่งคืนคำขอแก้ไขที่อยู่ (address resolution requests) ถึง 13% <<<MGSEG_B443A50B9BFA_END>>>หลังเวทีบริการลูกค้าระเบิดและทีมปฏิบัติการเกือบจะมายกโต๊ะของเรา

ก่อนอื่นจะบอกคนที่ยังไม่ได้สัมผัส: OpenAI API คืออะไร

คือคุณไม่จําเป็นต้องฝึกแบบจําลองขนาดใหญ่ด้วยตัวคุณเองโดยตรงเรียก OpenAI ที่ได้รับการฝึกอบรมแล้วGPT-4o、GPT-3.5-turboอินเทอร์เฟซของรูปแบบเหล่านี้คุณจะได้รับผลลัพธ์ที่ส่งกลับเมื่อคุณร้องขอและคํานวณเงินตามจํานวนโทเค็นที่คุณใช้ รุ่นที่สนับสนุนบริบทสูงสุด 128k สําหรับคําขอเดียวเปิดให้บริการอย่างเต็มที่แล้ว

เหตุผลที่เราเลือกมันในตอนแรกเป็นเรื่องง่าย: รูปแบบที่อยู่ของประเทศในยุโรปยุ่งเกินไป รหัสไปรษณีย์ของสหราชอาณาจักรและรูปแบบของเยอรมนีแตกต่างกันอย่างสิ้นเชิง มีข้อผิดพลาดในการสะกดภาษาต่างๆ ฐานกฎที่เขียนไว้ก่อนหน้านี้ได้รับการอัปเดต 8 ครั้งในครึ่งปีหรือรั่วไหล ใช้ API สําหรับการวิเคราะห์ความหมายตราบใดที่ให้พร้อมท์อัตราที่ถูกต้องโดยตรงดึงไปมากกว่า 96%

ประโยชน์ 3 ประการที่เราได้จริง ไม่มีเท็จจริง

• โดยไม่ต้องพัฒนาทีมอัลกอริทึมเพื่อปรับแต่งแบบจําลองเป็นพิเศษ 3 ใช้เวลา 1 สัปดาห์ในการเชื่อมต่ออินเตอร์เฟซในเดือนแรกของการเปิดตัวออนไลน์เพื่อประหยัดค่าแรงงานของ 3 ก่อนหน้านี้ 32%
• มากกว่า 90% ของข้อผิดพลาดในการสะกดคําและที่อยู่ย่อที่ไม่สามารถจดจําได้ก่อนหน้านี้สามารถแก้ไขได้โดยอัตโนมัติ อัตราการคืนเงินของผู้ใช้ที่กรอกที่อยู่ผิดเมื่อสั่งซื้อลดลง 28% โดยตรง
• สนับสนุนการป้อนข้อมูลแบบผสมหลายภาษาที่อยู่ที่กรอกโดยผู้ใช้โปแลนด์ในโปแลนด์และผู้ใช้สเปนในสเปนโดยไม่ต้องปรับตัวเป็นท้องถิ่นแยกต่างหากสามารถวิเคราะห์เป็นรูปแบบโลจิสติกส์มาตรฐานได้โดยตรงกับอินเตอร์เฟซ

อย่ามองไปที่สิ่งที่ดี เราแทบจะเสียชีวิตจากหลุมสองแห่งนี้

หลุมแรกคือขีด จํากัด ปัจจุบันแบบจําลองเดี่ยวตามค่าเริ่มต้นก่อนหน้านี้เราได้รับเพียงGPT-4o-miniการ จํากัด ปัจจุบันระดับนาทีเริ่มต้นเพียงพอสําหรับการใช้งานตามปกติการส่งเสริมการร้องขอในวันนั้นเพิ่มขึ้น 3 เท่าโดยตรงการ จํากัด ปัจจุบัน 13% ของการร้องขอรายงาน 429 ตามด้วยตรรกะการย่อยสลายชั่วคราวการร้องขอที่ไม่ใช่จุดสูงสุดถูกโอนไปยังGPT-3.5-turboเพื่อให้มันกลับมา

หลุมที่สองคือการตัดสินผิดที่อยู่ที่ละเอียดอ่อนครั้งหนึ่งผู้ใช้กรอกที่อยู่ที่มีคําศัพท์ที่เกี่ยวข้องกับ "ฐานทหาร" โดยตรงถูกสกัดกั้นโดยการตรวจสอบเนื้อหาของ API เราไม่ได้ทําความล้มเหลวด้านล่างส่งผลให้บัตรสั่งซื้อนั้นไม่ได้ส่งเป็นเวลา 2 วันผู้ใช้ให้ความคิดเห็นที่ไม่ดีโดยตรง

ใครควรใช้มัน?ใครไม่เสียเงินจริงๆ

หากคุณทําธุรกิจเช่นเดียวกับเราที่เกี่ยวข้องกับการประมวลผลความหมายหลายภาษาและสถานการณ์ที่กฎไม่สามารถเขียนได้เช่นการตรวจสอบที่อยู่การตอบสนองอัตโนมัติของผู้ใช้การสร้างเนื้อหาหลายภาษาและไม่มีทีมงานอัลกอริทึมเฉพาะในทีมงานการใช้ OpenAI API จะคุ้มค่ากว่าการฝึกแบบจําลองของคุณเอง

แต่ถ้าคุณกําลังทําธุรกิจที่ข้อมูลหลักไม่สามารถออกจากโดเมนได้อย่างสิ้นเชิงเช่นการประมวลผลข้อมูลหลักทางการเงินการวิเคราะห์ข้อมูลความเป็นส่วนตัวทางการแพทย์หรือสถานการณ์ง่ายๆ ที่มีปริมาณการร้องขอที่มั่นคงเป็นพิเศษและกฎระเบียบที่ชัดเจนอย่าเข้าร่วมความสนุกสนานนี้เขียนกฎของคุณเองหรือปรับใช้แบบจําลองขนาดเล็กในท้องถิ่นมีต้นทุนต่ํากว่าและปลอดภัยกว่า

3 คําแนะนํามือสําหรับคนที่ใช้ครั้งแรกทั้งหมดที่เราเหยียบหลุมและเปลี่ยน

• อย่าใช้เพียงแบบจําลองเดียวเตรียมแบบจําลองเกรดที่แตกต่างกันอย่างน้อย 2 แบบเพื่อลดระดับ คําขอที่ดีที่สุดสูงใช้แบบจําลองที่มีความแม่นยําสูงและคําขอที่ดีที่สุดต่ําหรือสูงสุดใช้แบบจําลองขนาดเล็กราคาถูกซึ่งสามารถประหยัดค่าใช้จ่ายได้อย่างน้อย 40% และยังสามารถหลีกเลี่ยงการ จํากัด ปัจจุบันแบบจําลองเดียว
• คําขอทั้งหมดจะต้องพยายามซ้ําและตรรกะด้านล่าง การสกัดกั้นการตรวจสอบเนื้อหาการ จํากัด กระแสและการหมดเวลาควรเขียนแผนล่วงหน้า อย่ารอให้อินเทอร์เฟซแขวนก่อนที่จะนึกถึงการจัดการด้วยตนเอง
• แทนที่จะเริ่มต้นด้วยรุ่นพรีเมี่ยมที่สุดคุณควรเลือกราคาถูกที่สุดGPT-3.5-turboผลการทดสอบผลไม่เพียงพอที่จะเปลี่ยนขั้นสูงมากที่สุดฉากที่เรียบง่ายแบบจําลองขนาดเล็กสมบูรณ์พอ

ปิดท้ายด้วยคําถามสองประการที่คุณถามบ่อยๆ

ถาม: การโทรในยุโรปมีความล่าช้าสูงหรือไม่?
ตอบ: เราใช้โหนดแฟรงค์เฟิร์ต คําขอส่วนใหญ่จะเสร็จสมบูรณ์ภายใน 15ms มีเพียงไม่กี่เปอร์เซ็นต์เท่านั้นที่จะเพิ่มขึ้นอย่างกระทันหันมากกว่า 200ms เพิ่มแคชสามารถแก้ไขได้โดยไม่ส่งผลกระทบต่อธุรกิจ

ถาม: ผลการวิเคราะห์ไม่ถูกต้องอาจเกิดขึ้นได้หรือไม่?
ตอบ: ใช่ ตอนนี้เรากําลังเปลี่ยนผลลัพธ์ที่มีความเชื่อมั่นต่ํากว่า 80% เพื่อตรวจสอบด้วยตนเอง หลังจากเพิ่มกฎนี้อัตราข้อผิดพลาดโดยทั่วไปสามารถมองข้ามได้